Cortex 2.0 Cortex 2.0 de un vistazo Anticipación. Cortex 2.0 añade planificación a la manipulación: predice resultados futuros antes de comprometer el mejor de ellos en un movimiento. Menos fallos costosos. Esos futuros se puntúan por progreso, estabilidad y eficiencia, de modo que el robot descarta las ramas malas antes de que se conviertan en reintentos o recuperaciones. World modeling con el vídeo por delante. El world model aprende dinámicas predictivas en el espacio latente visual, mientras la generación de acciones permanece en la capa de ejecución. Cortex 2.0 Introducción Cortex 2.0 amplía nuestra arquitectura Cortex original introduciendo un world model en el bucle de aprendizaje. En lugar de sustituir a la VLA existente, el world model la complementa y permite razonar sobre los resultados futuros y evaluarlos. La manipulación robótica en entornos industriales reales plantea un conjunto de retos muy particular: las acciones son irreversibles, los fallos salen caros y las consecuencias de las decisiones se despliegan a menudo en horizontes largos. Aunque los modelos Vision–Language–Action (VLA) recientes han demostrado una generalización y una flexibilidad notables, siguen siendo sistemas fundamentalmente reactivos, optimizados para elegir la siguiente acción a partir de la observación actual. En tareas complejas como la gestión de devoluciones, el robot se enfrenta a menudo a contenedores desordenados, poses de objetos desconocidas y modos de fallo de horizonte largo, como deslizamientos progresivos, atascos o colisiones que solo aparecen tras varios pasos. Cortex 2.0 lo aborda pasando de un control try-and-see a un enfoque plan-and-try. Desde el estado actual genera un conjunto variable de trayectorias futuras candidatas en el espacio latente visual y puntúa cada candidata según el éxito y la eficiencia esperados. La puntuación se propaga como señal de advantage que guía la generación de acciones y desplaza la policy hacia movimientos asociados a resultados predichos de mayor calidad. Entrenamos nuestro world model en el espacio visual porque los datos son baratos y mucho más abundantes: vídeo ilimitado en internet y, en despliegue, las cámaras aportan un multiplicador gratuito: un robot produce un flujo de acciones, pero 10 cámaras pueden dar unas 10× más señal de entrenamiento observacional para world models. Esto ayuda al world model a aprender la semántica subyacente del mundo físico: los comandos articulares son números con una estructura semántica débil y una fuerte dependencia del embodiment, mientras que los píxeles codifican regularidades ricas y transferibles sobre objetos, contacto y movimiento. De las policies reactivas al razonamiento físico Cortex 1.0 se articula en torno a un stack VLA de tipo Mixture-of-Experts (MoE) que convierte la percepción multimodal —RGB, profundidad/geometría 3D, propiocepción y contexto de tarea— en una señal de control. Una capa VLM/MoE produce primero un estado de decisión de alto nivel condicionado por la tarea (por ejemplo, estructura de subobjetivos y restricciones ancladas), y la VLA combina después ese contexto con la observación actual para emitir action chunks que se encaminan a controladores de bajo nivel específicos de cada embodiment. Este diseño generaliza entre tareas y robots, pero sigue siendo fundamentalmente reactivo: las decisiones se optimizan para la siguiente acción dado el estado actual, sin evaluar explícitamente los futuros posibles. Cortex 2.0 introduce una separación entre planificación y ejecución. El world model opera en el espacio latente para planificar observaciones futuras: dado el estado actual del robot y del entorno, despliega estados futuros candidatos del entorno. Esos candidatos los evalúa nuestro módulo PRO, que asigna una puntuación a cada uno. Usamos esa puntuación como indicador de advantage para el control posterior. La VLA se condiciona con el rollout mejor puntuado y su puntuación de advantage asociada. El world model aporta anticipación visual, PRO aporta una señal de advantage sobre los futuros candidatos y la VLA traduce esa anticipación en acciones de bajo nivel robustas. Comparación: reactivo frente a planificación Visión general de la arquitectura Cortex 2.0 amplía la arquitectura de ejecución original de nuestro modelo anterior con un módulo de planificación complementario. A alto nivel, la observación actual se codifica en un estado latente . Un módulo de razonamiento MoE produce un contexto de tarea estructurado ; nuestro world model predice después observaciones futuras, rollouts planificados sobre un horizonte predefinido. Las outcome heads (módulo PRO) puntúan esos futuros planificados y seleccionan el candidato más prometedor, que la VLA materializa y se ejecuta en el robot. Arquitectura de Cortex 2.0 VLM Reasoning Dada la observación actual , que incluye la entrada visual, el estado propioceptivo del robot, las señales táctiles y la instrucción de la tarea, primero la codificamos en una representación latente compacta . Sobre , un módulo Mixture-of-Experts (MoE) produce un estado de razonamiento estructurado es un embedding aprendido y condicionado por la tarea que media entre percepción, planificación y control. Codifica una descomposición de la tarea a nivel de subobjetivos y variables de anclaje que alinean el lenguaje con las entidades y restricciones de la escena (objetos, relaciones espaciales, priors de contacto). Esta representación orienta el world model hacia futuros relevantes para la tarea y la capa de ejecución hacia materializar en acción el futuro seleccionado. Planning World Model Condicionado por la observación actual y por la salida del VLM, nuestro world model predice latentes de observación futuros sobre un horizonte : Al muestrear distintas condiciones iniciales del prior de ruido, el world model por flow matching genera varios rollouts candidatos desde el mismo estado de entrada. Esto también nos permite controlar la granularidad de los latentes generados, como el número de iteraciones de denoising o el número de rollouts candidatos, para equilibrar velocidad de inferencia y capacidad de planificación. Outcome heads: convertir el vídeo planificado en señales de decisión La planificación solo sirve si se puede evaluar. Cortex 1.6 introdujo el Process-Reward Operator (PRO) como señal densa de éxito/terminación calculada sobre trayectorias ejecutadas. Cortex 2.0 lleva esa idea al bucle de planificación: las cabezas PRO puntúan los rollouts planificados, lo que permite al sistema preferir futuros estables y orientados al objetivo y evitar los de alto riesgo. Para cada rollout candidato aplicamos nuestras cabezas de predicción ligeras (PRO), que estiman magnitudes relevantes para la decisión, como: progreso predicho , riesgo predicho , verosimilitud de terminación (consciente del resultado). Agregamos estas predicciones en una única puntuación de rollout y seleccionamos el mejor rollout planificado mediante Convertimos esta puntuación en un indicador de advantage y se lo pasamos a nuestra VLA. VLA Policy Execution La VLA se condiciona con el rollout seleccionado y su indicador de advantage para producir el action chunk ejecutable que necesita el control de bajo nivel. Donde es el advantage binarizado, para el que usamos la salida del módulo PRO como proxy, para condicionar la acción de la VLA. Durante el entrenamiento, la señal de advantage sirve para condicionar la VLA y enseñar a la policy a asociar los resultados predichos de mayor calidad con las acciones que los materializan. En inferencia, esta señal se fija para reflejar siempre un resultado favorable, lo que empuja a la VLA a generar las acciones que mejor materializan el futuro predicho con mayor puntuación a partir del estado actual. Rollout de trayectoria de Cortex 2.0 Planificación entre tareas Ya sea pick-and-place a un brazo, pick-and-place a dos brazos, doblado de toallas o gestión de devoluciones, Cortex 2.0 ejecuta el mismo bucle: generar rollouts en latente visual, puntuarlos por estabilidad/riesgo/eficiencia y comprometerse solo con la trayectoria mejor puntuada. Esto rompe el patrón reactivo habitual, en el que una VLA repite el mismo movimiento tras un fallo: la planificación filtra antes los malos futuros y después ejecuta la rama más prometedora. Como Cortex 2.0 evalúa los planes en el espacio visual, su planificación generaliza entre tareas y embodiments robóticos. Aprender y transferir planes directamente en el espacio de acciones es mucho más difícil, porque los comandos dependen de la cinemática y los controladores concretos de cada robot; un mismo comportamiento «bueno» puede exigir movimientos articulares muy distintos en robots distintos. Primeros resultados Evaluamos Cortex frente a las mejores policies visuomotoras de código abierto en una plataforma de manipulación bimanual con dos brazos UR5e. Tres tareas de complejidad creciente ponen a prueba el rendimiento en primitivas de manipulación diversas. Caja de zapatos Manipulación secuencial en varios pasos: abrir la tapa de la caja, retirar el papel de embalaje y extraer los zapatos a los contenedores. Clasificación de tornillos Agarre fino de tornillos metálicos pequeños y reflectantes y colocación en los compartimentos correctos de la caja de herramientas. Clasificación de artículos y residuos Clasificación por categorías desde contenedores desordenados, distinguiendo artículos cotidianos de residuos en condiciones variadas. Presupuesto de planificación Una ventaja clave de Cortex 2.0 es que podemos regular la cantidad de planificación por decisión cambiando , el número de rollouts futuros imaginados que se muestrean y puntúan antes de comprometerse con una acción. Presupuesto de planificación K frente a tasa de éxito La tasa de éxito (eje izquierdo) sube a medida que aumenta , mientras que el tiempo por paso (eje derecho) también crece: ese es el compromiso de diseño central de Cortex 2.0, más anticipación da mejores decisiones a mayor coste de cómputo y latencia. Para las evaluaciones de tareas que siguen fijamos una configuración de baja latencia con K=2. Como la planificación se ejecuta en el espacio latente visual, podemos ajustar el cómputo de planificación mediante (i) y (ii) la calidad de los rollouts (por ejemplo, los pasos de denoising), eligiendo presupuestos más altos para modos de fallo costosos (por ejemplo, el empaquetado) y más bajos cuando la recuperación es barata (por ejemplo, volver a agarrar). Caja de zapatos (tarea secuencial de horizonte largo) Cortex 2.0 logra la mayor tasa de éxito y, además, es considerablemente más rápido que las policies de referencia, y completa los rollouts sin intervenciones humanas. Las referencias o bien se ralentizan por reintentos repetidos y bloqueos en fases tardías, o bien no completan la secuencia completa de forma fiable. Resultados del benchmark: caja de zapatos, todas las métricas Clasificación de tornillos (precisión fina) Cortex 2.0 alcanza un éxito por operación casi perfecto con tornillos pequeños y reflectantes, con el menor tiempo medio de finalización y sin necesidad de intervención humana. Las referencias tienen dificultades para agarrar y colocar con precisión, lo que provoca caídas, colocaciones erróneas y bloqueos periódicos que exigen intervenir. Resultados del benchmark: clasificación de tornillos, todas las métricas Clasificación de artículos y residuos (pick-and-place repetido en contenedor desordenado) Cortex 2.0 logra el mayor éxito por objeto manteniendo el mejor rendimiento, y completa los rollouts de extremo a extremo sin intervención humana. Las referencias necesitan intervenciones para terminar y a menudo se ralentizan por replanificaciones locales repetidas alrededor de agarres fallidos, alcanzando con frecuencia el límite de tiempo sin completar del todo la tarea. Resultados del benchmark: clasificación de artículos y residuos, todas las métricas Ver todos los resultados del benchmark Dónde estamos hoy Actualmente estamos entrenando Cortex 2.0 con un volumen creciente de nuestros datos del mundo real. El foco inicial es validar el bucle de planificación en un conjunto reducido de flujos de alto impacto, empezando por tareas de gestión de devoluciones, donde los fallos de horizonte largo son habituales y donde una mejor anticipación reduce directamente el coste operativo. Mientras seguimos ampliando casos de uso y tareas, ya observamos el gran impacto de incorporar los posibles resultados futuros a las policies VLA. Hacia el aprendizaje en contexto Hacer que la policy sea consciente del vídeo y entrenar un world model junto con la policy es un paso hacia el aprendizaje en contexto para la robótica: dada una secuencia de demostraciones en forma de vídeo, el robot puede ejecutar esos mismos pasos sin reentrenamiento. Los LLM actuales muestran capacidades de aprendizaje en contexto en muchas aplicaciones: se puede condicionar a los agentes para que ejecuten ciertas tareas solo con lenguaje. Trabajamos hacia capacidades similares para los robots, con el fin de desbloquear la generalización de la physical AI. Cortex 2.0 en acción En estas cuatro tareas, la policy de referencia queda atrapada a menudo en un bucle: falla una vez, reintenta el mismo movimiento y agrava el fallo. Con Cortex 2.0, el robot evalúa primero unos cuantos resultados futuros y se compromete con la opción que se mantiene estable, de modo que los mismos montajes se completan sin sobresaltos en lugar de entrar en una espiral de recuperación. Gestión de devoluciones en Active Ants Manipulación de paquetes Manipulación de artículos y expedición Nuestro world model ayuda planificando una apertura segura de la caja y una secuencia sensata para recoger el artículo con eficiencia y evitar enganches u oclusiones. También predice qué trayectoria de colocación en el contenedor llevará al estado final más estable, reduciendo colocaciones erróneas y la necesidad de recuperación posterior. Kitting en Deltilog Recogida de artículos Llenado de cajas (dos brazos) En la recogida, un fallo suele quedarse en volver a agarrar: la recuperación es barata. En el llenado de cajas, los errores pequeños se acumulan: una aproximación algo desviada puede provocar colisiones con las paredes de la caja o con otros artículos, causar enganches o generar daños caros de deshacer. Por eso dedicamos más presupuesto de planificación (k más alto) durante el empaquetado: no buscamos solo una colocación correcta, sino la más segura. Las outcome heads de tipo PRO puntúan el riesgo de forma continua, penalizando futuros con contacto a alta velocidad, compresión, impactos en aristas o raspado de superficies, aunque el artículo acabe igualmente dentro de la caja. Cierre de paquetes en Arvato Proceso manual Automatizado (dos brazos) Nuestro world model ayuda prediciendo cómo se moverán y asentarán la lámina de cartón y los artículos durante la colocación, de modo que el robot pueda elegir un orden y una alineación que lo mantengan todo plano y listo para cerrar el paquete. Reubicación de devoluciones en Radial Este flujo se beneficia de la anticipación porque la reubicación es un traspaso de tiempos ajustados: la planificación ayuda a mantener el escaneo legible mientras evita interferencias entre brazos y con los bordes del contenedor. También favorece colocaciones que se asientan de forma estable (sin enganches, rebotes ni nuevas oclusiones), lo que reduce los reintentos posteriores en una clasificación de alto rendimiento. ¡También estamos contratando! Si te interesa unirte a nosotros, ponte en contacto. Si eres investigador y te interesa nuestro trabajo, una colaboración u otras consultas, escríbenos a research@sereact.ai. Cerrar Lightbox