Aprendizaje de recompensas densas a partir de despliegues robóticos reales Introducción Piensa en un robot de almacén que recoge miles de artículos por hora. Un agarre que va perdiendo vacío poco a poco, provoca reintentos y acaba dejando caer el objeto contiene una señal de aprendizaje muy rica, pero la mayoría de los sistemas de aprendizaje solo observan un único bit: fallo. En la manipulación física, el éxito y el fallo no son eventos discretos, sino procesos con estructura interna que se despliegan de forma gradual a través de las fuerzas de interacción, las restricciones temporales y la estabilidad del control. Nuestros despliegues robóticos industriales generan flujos continuos de datos operativos multimodales y, sin embargo, casi toda esa señal la descartan pipelines de aprendizaje que reducen la ejecución a un único resultado final. Ese desajuste entre la riqueza de la ejecución real y la escasez de la retroalimentación de aprendizaje es un cuello de botella central para el aprendizaje robótico en producción. Cortex 1.6 introduce el Process-Reward Operator (PRO), un reward model aprendido diseñado para extraer señales de aprendizaje densas y continuas directamente de la operación robótica real. En lugar de apoyarse en recompensas diseñadas a mano o en métricas propias de la simulación, PRO convierte las señales operativas observadas durante el despliegue en una noción unificada de progreso, probabilidad de finalización y riesgo. Eso hace posible el aprendizaje por refuerzo y la mejora de las políticas mientras los robots entregan valor al cliente de forma activa. Vídeo de Cortex 1.6 Telemetría rica de nuestros robots industriales para entrenar PRO (posiciones articulares, fuerzas/táctiles, identificadores de SKU, metadatos del WMS, prompts de tarea e indicadores de estado). Motivación: los límites de las recompensas escasas en physical AI Los modelos visión-lenguaje-acción (VLA) han mostrado un buen rendimiento en manipulación robótica gracias al preentrenamiento a gran escala y al fine-tuning supervisado. Aun así, su aprendizaje sigue estando limitado de raíz por una retroalimentación escasa y diferida, normalmente reducida a una noción binaria de éxito o fallo. En los despliegues industriales, el aprendizaje se sigue guiando por resultados finales, aunque la supervisión más rica aparece durante la ejecución. Ese aprendizaje centrado en el resultado dificulta identificar qué partes de una ejecución contribuyeron al éxito o al fallo. En sistemas robóticos reales, los fallos rara vez ocurren de golpe: agarres inestables, succión al límite, reintentos repetidos o pequeños desalineamientos que solo más tarde acaban en caídas, atascos o tareas abortadas. Las formulaciones clásicas del aprendizaje por refuerzo tienen dificultades para explotar esa estructura, porque dependen de funciones de recompensa diseñadas manualmente o de señales finales que llegan mucho después de la causa subyacente. Cortex 1.5 demostró que las políticas pueden corregirse de forma eficiente mediante policy patching guiado por personas, lo que permite recuperarse rápido de estados de fallo poco frecuentes. Sin embargo, ese enfoque exige una intervención humana explícita y deja sin aprovechar para el aprendizaje grandes porciones de la ejecución rutinaria, en especial los comportamientos frágiles pero finalmente exitosos. Los robots industriales ya generan una telemetría rica sobre fuerzas, estabilidad, tiempos y acciones de recuperación, pero un aprendizaje escaso basado en el resultado no puede aprovechar esa información. Como consecuencia, los algoritmos no pueden distinguir las ejecuciones robustas de las frágiles cuando ambas terminan con la misma etiqueta final, y la mayor parte de los datos operativos queda desconectada de la mejora de las políticas. La hipótesis central detrás de PRO es que esa brecha puede cerrarse aprendiendo las recompensas directamente de la ejecución. Al modelar la calidad de la ejecución en lugar de resultados binarios, PRO ofrece una retroalimentación densa alineada con objetivos operativos reales, como ilustra el vídeo, y permite una asignación de crédito más eficaz en tareas robóticas de horizonte largo. El Process-Reward Operator PRO es una función aprendida que evalúa la ejecución robótica en curso asignando a los estados intermedios del robot y a segmentos cortos de ejecución tres señales: Progreso: si la ejecución se acerca o se aleja de completar la tarea con éxito. Probabilidad de finalización: la probabilidad de que la trayectoria actual tenga éxito. Riesgo: la probabilidad de inestabilidad o fallo (por ejemplo, deslizamientos, caídas o atascos). Es importante señalar que PRO no es específico de una tarea en el sentido clásico. Está goal-conditioned y se entrena a lo largo de despliegues, tipos de objeto y contextos operativos, lo que permite generalizar entre tareas sin dejar de estar anclado en la ejecución física. Arquitectura de PRO (actualizada) Los módulos de PRO explicados Entradas PRO opera sobre observaciones multimodales procedentes de la ejecución real. En el instante , la observación consta de: Capturan aspectos complementarios del estado del robot: : la acción ejecutada, que permite a PRO evaluar la calidad de la acción, modelar progreso y riesgo condicionados a la acción, y distinguir si los cambios en el estado de ejecución se deben a las decisiones de control o a la dinámica del entorno. : observaciones visuales del codificador visual de Cortex. : propiocepción del robot, incluidos los estados articulares, la pose del TCP y el estado del efector final. : telemetría operativa de fuerzas e interacción, como los márgenes de presión de vacío, las estadísticas de fuerza-par, las fuerzas de contacto y los indicadores de deslizamiento, que reflejan directamente la estabilidad física y la calidad de la interacción. : un prompt de condicionamiento al objetivo, representado como embedding de texto y opcionalmente ampliado con contexto propio del centro o del despliegue. Estas entradas aportan señales continuas sobre la calidad de la ejecución y permiten a PRO razonar sobre ventanas temporales cortas y detectar tendencias como agarres que se degradan o inestabilidad creciente: información inaccesible para los métodos de recompensa escasa. Codificadores Cada modalidad se proyecta a una representación latente mediante codificadores específicos de la modalidad. Las acciones ejecutadas se codifican por separado, lo que permite a PRO condicionar de forma explícita sus predicciones de progreso, riesgo y terminación a los comandos de control aplicados y distinguir los efectos inducidos por la acción de la dinámica del entorno. Las observaciones visuales se proyectan a través de un pequeño adaptador situado sobre el codificador visual de Cortex. El estado del robot y la telemetría se codifican mediante un perceptrón multicapa ligero con capas de normalización, para garantizar estabilidad ante escalas de señal heterogéneas. El condicionamiento al objetivo y al centro emplea el codificador de lenguaje de Cortex para mantener la alineación semántica. Estos codificadores normalizan flujos sensoriales heterogéneos en un espacio latente común preservando la estructura propia de cada modalidad. Dado que PRO funciona como crítico y no como política, la capacidad del codificador se limita de forma intencionada para mejorar la generalización entre despliegues. Fusión Las features codificadas se fusionan mediante un backbone VLA compartido para producir una representación unificada del estado de ejecución actual. La información visual, propioceptiva, telemétrica y de objetivo se funde en un único token latente, al que después se concatena el embedding de la acción. Así se obtiene una representación de estado compacta que refleja tanto el entorno como las decisiones de control recientes del robot. El token fusionado resultante sirve de entrada al modelo de razonamiento temporal. Modelo temporal PRO evalúa la ejecución en ventanas temporales cortas en lugar de en pasos aislados. Un modelo temporal procesa una secuencia de estados recientes para producir una representación latente temporal que captura tanto la situación actual como las tendencias recientes. Esto es esencial en la manipulación del mundo real, donde los fallos suelen emerger de forma gradual y no instantánea. Patrones sutiles —presión de vacío en descenso, error de pose creciente o inestabilidad de contacto en aumento— anuncian a menudo los problemas mucho antes de que se produzca un fallo terminal. Estas dinámicas son invisibles para los evaluadores de un solo paso, pero se vuelven claras cuando se modelan a lo largo del tiempo. El latente temporal resultante es un resumen compacto de la calidad de la ejecución y constituye la base de las predicciones de PRO sobre progreso, probabilidad de finalización y riesgo. Salidas multicabeza A partir del latente temporal , PRO produce tres salidas complementarias. Todas las cabezas comparten el mismo backbone temporal, pero se entrenan con señales de supervisión distintas. Progreso La cabeza de progreso modela el potencial de finalización —lo cerca que está el sistema de completar la tarea con éxito— y no una recompensa instantánea. Predice una función de valor sobre los estados de ejecución, de la que se derivan señales densas de progreso. La cabeza de progreso predice un valor donde es una recompensa implícita derivada de los resultados de ejecución y de la telemetría (por ejemplo, éxito, reintentos o eventos de seguridad). El progreso denso se define como el cambio de valor: . Los valores positivos indican avance hacia la finalización con éxito; los negativos, degradación. Terminación Una cabeza de terminación predice la probabilidad de que el episodio termine en el paso temporal : y, opcionalmente, la probabilidad condicional de éxito dada la terminación: Riesgo La cabeza de riesgo predice la probabilidad de que ocurra un fallo o un evento que dispare una recuperación dentro de un horizonte futuro fijo : En el escenario multiclase, la cabeza produce una distribución categórica sobre modos de fallo predefinidos. Interfaz de ejecución y aprendizaje Las salidas de PRO las consumen los mecanismos de ejecución y aprendizaje posteriores sin modificar la política VLA subyacente. En inferencia, evalúa las acciones candidatas estimando su progreso acumulado esperado y su riesgo: donde controla la sensibilidad al riesgo. Las probabilidades de terminación sirven para regular los reintentos y evitar bucles de ejecución patológicos. Para el aprendizaje, PRO proporciona una señal de recompensa densa derivada de la ejecución real. Una vez entrenado, sus salidas de progreso y riesgo se tratan como señales de recompensa para la optimización de políticas. El aprendizaje por refuerzo offline usa estas señales para aprender de trayectorias registradas, mientras que el fine-tuning online emplea las salidas de PRO bajo restricciones adicionales de seguridad y no regresión para garantizar actualizaciones conservadoras durante el despliegue. Además, PRO aporta una métrica de evaluación unificada e interpretable entre centros y despliegues, lo que permite analizar de forma sistemática la calidad de la ejecución y los modos de fallo. Integración con el aprendizaje por refuerzo PRO actúa como backbone de recompensa compartido para varias vías de aprendizaje y control: Aprendizaje por refuerzo offline, donde las señales densas de progreso permiten aprender de trayectorias registradas que, de otro modo, solo ofrecerían supervisión escasa. Aprendizaje por refuerzo online, que permite una mejora continua de la política guiada por retroalimentación en tiempo real, sin esperar a que la tarea termine. Selección de acciones en inferencia, donde las acciones candidatas o los bloques de acciones se ordenan según el progreso y el riesgo esperados. Evaluación y monitorización, con una medida unificada y cuantitativa de la calidad de la ejecución entre centros y despliegues. Un punto clave: PRO no sustituye a la política VLA subyacente. La amplía aportando una señal de aprendizaje anclada en la física que refleja criterios reales de éxito operativo. Aprender de la operación real PRO se entrena por completo con datos de despliegues reales, sin recurrir a recompensas generadas en simulación ni a anotaciones sintéticas. Las señales de entrenamiento se derivan de comparaciones entre trayectorias y resultados observados en producción: Ejecuciones con éxito frente a ejecuciones fallidas Trayectorias con pocos reintentos frente a trayectorias con muchos Ejecuciones eficientes frente a aquellas con tiempo de ciclo inflado Agarres estables frente a aquellos que requieren recuperación Al aprender de estas comparaciones, PRO adquiere una comprensión implícita de qué estados intermedios y transiciones anticipan resultados deseables. Eso le permite asignar señales de recompensa densas en cada fase de la ejecución, incluso cuando el resultado final aún no se ha producido. Relación con el Real-World Learning Loop El Real-World Learning Loop parte de la idea de que los robots desplegados deberían mejorar de forma continua mientras realizan trabajo útil. PRO hace posible ese bucle al garantizar que cada segundo de operación aporta señal de aprendizaje, y no solo los éxitos o fallos poco frecuentes. A medida que crece el tamaño de la flota, PRO se beneficia de una mayor diversidad de estados y contextos de ejecución, lo que produce mejoras acumulativas en la calidad de la recompensa y en el rendimiento de las políticas posteriores.Así se crea un ciclo de retroalimentación positiva: mejores reward models permiten un aprendizaje más eficiente, que mejora la calidad de la ejecución, lo que a su vez genera datos más limpios e informativos para seguir entrenando. Resultados Evaluamos Cortex 1.6 en flujos de pick-and-place, apertura de cajas de zapatos y gestión de devoluciones con datos recogidos íntegramente en despliegues de producción en vivo. Todas las métricas se calculan directamente a partir de la telemetría operativa, sin entornos simulados ni recompensas de tarea diseñadas a mano. El rendimiento se compara con (i) una política VLA de referencia basada en aprendizaje por imitación, (ii) Cortex 1.5, que se apoya en señales binarias de éxito y en policy patching activado por personas, y (iii) Cortex 1.6, que aprende de recompensas escalares densas extraídas de la ejecución. Rendimiento y eficiencia en las tareas En todas las tareas, Cortex 1.6 muestra tasas de éxito superiores a las de los modelos anteriores. La VLA de referencia alcanza una tasa de éxito de aproximadamente el 80–82 %. Cortex 1.5 la eleva a ~95 %, sobre todo al aprender comportamientos de recuperación tras los fallos. Cortex 1.6 la mejora aún más, hasta ~98 %, con una manipulación más fiable y menos modos de fallo sin recuperar.Las recompensas densas de PRO aceleran el aprendizaje. El tiempo que necesitan las políticas para converger en cada tarea es: Tarea VLA de referencia Cortex 1.5 Cortex 1.6 Pick-and-place Apertura de cajas de zapatos Gestión de devoluciones En todos los flujos, Cortex 1.6 reduce el tiempo de convergencia en torno a 2× respecto a Cortex 1.5 y más de 3× respecto a la referencia. Comportamiento de recuperación y reintento Las mejoras en el éxito provienen de una mejor recuperación y de una intervención más temprana: El éxito de la recuperación tras un primer fallo sube de ~45 % (referencia) a ~65 % (Cortex 1.5) y ~80 % (Cortex 1.6). Los reintentos medios por episodio bajan un 30–50 % en todas las tareas tras entrenar con PRO. Eficiencia del aprendizaje La figura 3 muestra que PRO logra un rendimiento comparable o mejor que un reentrenamiento SFT completo con 4–5× menos episodios correctivos. Usar las señales densas de progreso y riesgo de PRO permite que las actualizaciones de aprendizaje por refuerzo se concentren en los segmentos de ejecución de mayor impacto en lugar de en trayectorias enteras. Frente a Cortex 1.5, que depende de una intervención humana explícita para desencadenar el aprendizaje, Cortex 1.6 sigue mejorando de forma autónoma durante el despliegue. Las señales de recompensa densas extraídas de la operación rutinaria permiten aprender incluso de ejecuciones exitosas pero frágiles que, de otro modo, no aportarían ninguna retroalimentación. Resumen En conjunto, Cortex 1.6 mejora: Tasa de éxito: +6–9 % sobre Cortex 1.5 y 15–25 % sobre la VLA de referencia Tasa de recuperación: ~1,7× sobre la referencia Tiempo de convergencia del entrenamiento: ~2× más rápido que Cortex 1.5 y ~3× más rápido que la VLA de referencia Estos resultados demuestran que aprender recompensas densas directamente de ejecuciones reales permite una mejora más robusta, eficiente y escalable que la retroalimentación binaria o la intervención humana episódica por sí solas. Discusión El Process-Reward Operator replantea el aprendizaje por refuerzo en sistemas físicos: pasa de ser un problema de ingeniería de recompensas a uno de aprendizaje de recompensas. Al anclar las recompensas en señales operativas en lugar de en definiciones abstractas de tarea, PRO alinea los objetivos de aprendizaje con métricas reales de rendimiento industrial como la fiabilidad, la eficiencia y la robustez. Aunque Cortex 1.6 no resuelve todos los retos del aprendizaje robótico, aborda un cuello de botella central para escalar el aprendizaje por refuerzo en el mundo real: la ausencia de una retroalimentación densa y fiable. Como tal, proporciona una base sobre la que construir mecanismos de aprendizaje más avanzados, como la planificación basada en world models o el aprendizaje jerárquico de políticas. Conclusión Cortex 1.6 presenta el Process-Reward Operator como un enfoque riguroso para el aprendizaje de recompensas densas en sistemas robóticos reales. Al extraer señales continuas de progreso y riesgo de los datos operativos, PRO habilita un aprendizaje por refuerzo escalable, compatible con el despliegue y estrechamente acoplado al rendimiento físico real. Supone un paso hacia sistemas robóticos que no solo actúan en el mundo, sino que mejoran sistemáticamente a través de él. ¡Además estamos contratando! Si te interesa unirte a nosotros, ponte en contacto. Los investigadores interesados en nuestro trabajo, en colaboraciones o en cualquier otra consulta pueden escribir a research@sereact.ai. Cerrar Lightbox