Apprentissage de récompenses denses à partir de déploiements robotiques réels Introduction Imaginez un robot d'entrepôt qui prélève des milliers d'articles par heure. Une prise qui perd lentement le vide, déclenche des reprises et finit par lâcher l'objet contient un signal d'apprentissage très riche — mais la plupart des systèmes d'apprentissage n'en observent qu'un seul bit : l'échec. En manipulation physique, la réussite et l'échec ne sont pas des événements discrets mais des processus dotés d'une structure interne, qui se déploient progressivement à travers les forces d'interaction, les contraintes de temps et la stabilité de la commande. Nos déploiements robotiques industriels génèrent des flux continus de données opérationnelles multimodales, et pourtant la quasi-totalité de ce signal est écartée par des pipelines d'apprentissage qui réduisent l'exécution à un unique résultat terminal. Cet écart entre la richesse de l'exécution réelle et la rareté du retour d'apprentissage constitue un goulot d'étranglement central pour l'apprentissage robotique en production. Cortex 1.6 introduit le Process-Reward Operator (PRO), un reward model appris conçu pour extraire des signaux d'apprentissage denses et continus directement de l'exploitation robotique réelle. Plutôt que de s'appuyer sur des récompenses conçues à la main ou des métriques propres à la simulation, PRO convertit les signaux opérationnels observés en déploiement en une notion unifiée de progression, de probabilité d'aboutissement et de risque. Cela rend possibles l'apprentissage par renforcement et l'amélioration des politiques pendant que les robots délivrent activement de la valeur au client. Vidéo Cortex 1.6 Une télémétrie riche issue de nos robots industriels pour entraîner PRO (positions articulaires, forces/tactiles, identifiants SKU, métadonnées WMS, prompts de tâche et indicateurs d'état). Motivation : les limites des récompenses éparses en physical AI Les modèles vision-langage-action (VLA) ont montré de solides performances en manipulation robotique grâce à un préentraînement à grande échelle et au fine-tuning supervisé. Leur apprentissage reste pourtant fondamentalement limité par un retour épars et différé, généralement réduit à une notion binaire de réussite ou d'échec. Dans les déploiements industriels, l'apprentissage est encore piloté par les résultats terminaux, alors même que la supervision la plus riche apparaît pendant l'exécution. Cet apprentissage centré sur le résultat rend difficile d'identifier quelles parties d'une exécution ont contribué à la réussite ou à l'échec. Dans les systèmes robotiques réels, les défaillances surviennent rarement d'un coup : prises instables, aspiration marginale, reprises répétées ou petits désalignements qui ne mènent que plus tard à des chutes, des blocages ou des tâches abandonnées. Les formulations classiques de l'apprentissage par renforcement peinent à exploiter cette structure, car elles dépendent de fonctions de récompense conçues manuellement ou de signaux terminaux qui arrivent longtemps après la cause sous-jacente. Cortex 1.5 a montré que les politiques peuvent être corrigées efficacement par un policy patching guidé par l'humain, permettant une reprise rapide depuis des états de défaillance rares. Cette approche exige toutefois une intervention humaine explicite et laisse de larges pans de l'exécution de routine — en particulier des comportements fragiles mais finalement réussis — inutilisés pour l'apprentissage. Les robots industriels produisent déjà une télémétrie riche sur les forces, la stabilité, la temporalité et les actions de reprise, mais un apprentissage épars fondé sur le résultat ne peut pas en tirer parti. Résultat : les algorithmes ne peuvent pas distinguer les exécutions robustes des exécutions fragiles lorsque les deux se terminent par la même étiquette terminale, laissant l'essentiel des données opérationnelles déconnecté de l'amélioration des politiques. L'hypothèse centrale derrière PRO est que cet écart peut être comblé en apprenant les récompenses directement à partir de l'exécution. En modélisant la qualité d'exécution plutôt que des résultats binaires, PRO fournit un retour dense aligné sur les objectifs opérationnels réels, comme l'illustre la vidéo, et permet une attribution de crédit plus efficace dans les tâches robotiques à long horizon. Le Process-Reward Operator PRO est une fonction apprise qui évalue l'exécution robotique en cours en associant les états intermédiaires du robot et de courts segments d'exécution à trois signaux : Progression – l'exécution se rapproche-t-elle ou s'éloigne-t-elle de l'aboutissement de la tâche. Probabilité d'aboutissement – la probabilité que la trajectoire actuelle réussisse. Risque – la probabilité d'instabilité ou d'échec (glissements, chutes, blocages, par exemple). Point important : PRO n'est pas spécifique à une tâche au sens classique. Il est goal-conditioned et entraîné sur l'ensemble des déploiements, types d'objets et contextes opérationnels, ce qui autorise la généralisation entre tâches tout en restant ancré dans l'exécution physique. Architecture PRO (mise à jour) Les modules de PRO expliqués Entrées PRO opère sur des observations multimodales issues de l'exécution réelle. À l'instant , l'observation se compose de : Elles capturent des aspects complémentaires de l'état du robot : – l'action exécutée, qui permet à PRO d'évaluer la qualité de l'action, de modéliser progression et risque conditionnés à l'action, et de distinguer si les changements d'état d'exécution proviennent des décisions de commande ou de la dynamique de l'environnement. – les observations visuelles issues de l'encodeur visuel de Cortex. – la proprioception du robot, incluant les états articulaires, la pose du TCP et l'état de l'effecteur. – la télémétrie opérationnelle des forces et des interactions, comme les marges de pression du vide, les statistiques force-couple, les efforts de contact et les indicateurs de glissement, qui reflètent directement la stabilité physique et la qualité de l'interaction. – un prompt de conditionnement au but, représenté sous forme d'embedding textuel et éventuellement enrichi d'un contexte propre au site ou au déploiement. Ces entrées fournissent des signaux continus sur la qualité d'exécution et permettent à PRO de raisonner sur de courtes fenêtres temporelles et de détecter des tendances telles que des prises qui se dégradent ou une instabilité croissante — une information inaccessible aux méthodes à récompense éparse. Encodeurs Chaque modalité est projetée dans une représentation latente à l'aide d'encodeurs propres à la modalité. Les actions exécutées sont encodées séparément, ce qui permet à PRO de conditionner explicitement ses prédictions de progression, de risque et de terminaison aux commandes appliquées, et de distinguer les effets induits par l'action de la dynamique de l'environnement. Les observations visuelles sont projetées via un petit adaptateur posé sur l'encodeur visuel de Cortex. L'état du robot et la télémétrie sont encodés par un perceptron multicouche léger doté de couches de normalisation, afin d'assurer la stabilité sur des échelles de signaux hétérogènes. Le conditionnement au but et au site utilise l'encodeur de langage de Cortex pour préserver l'alignement sémantique. Ces encodeurs normalisent des flux sensoriels hétérogènes dans un espace latent commun tout en préservant la structure propre à chaque modalité. Comme PRO fonctionne en critique et non en politique, la capacité des encodeurs est volontairement limitée afin d'améliorer la généralisation entre déploiements. Fusion Les features encodées sont fusionnées à l'aide d'un backbone VLA partagé pour produire une représentation unifiée de l'état d'exécution courant. Les informations visuelles, proprioceptives, télémétriques et de but sont fusionnées en un unique token latent, auquel l'embedding d'action est ensuite concaténé. On obtient une représentation d'état compacte qui reflète à la fois l'environnement et les décisions de commande récentes du robot. Le token fusionné résultant sert d'entrée au modèle de raisonnement temporel. Modèle temporel PRO évalue l'exécution sur de courtes fenêtres temporelles plutôt que sur des pas de temps isolés. Un modèle temporel traite une séquence d'états récents pour produire une représentation latente temporelle qui capture à la fois la situation courante et les tendances récentes. C'est essentiel pour la manipulation en conditions réelles, où les défaillances émergent typiquement de façon graduelle plutôt qu'instantanée. Des motifs subtils — baisse de la pression du vide, erreur de pose croissante ou instabilité de contact grandissante — signalent souvent les problèmes bien avant qu'une défaillance terminale ne survienne. Ces dynamiques sont invisibles pour des évaluateurs à pas unique, mais deviennent claires lorsqu'on les modélise dans le temps. Le latent temporel résultant constitue un résumé compact de la qualité d'exécution et sert de base aux prédictions de PRO en matière de progression, de probabilité d'aboutissement et de risque. Sorties multi-têtes À partir du latent temporel , PRO produit trois sorties complémentaires. Toutes les têtes partagent le même backbone temporel mais sont entraînées avec des signaux de supervision distincts. Progression La tête de progression modélise le potentiel d'aboutissement — à quelle distance le système se trouve de l'achèvement de la tâche — plutôt qu'une récompense instantanée. Elle prédit une fonction de valeur sur les états d'exécution, dont sont dérivés des signaux de progression denses. La tête de progression prédit une valeur où est une récompense implicite dérivée des résultats d'exécution et de la télémétrie (réussite, reprises, événements de sécurité, par exemple). La progression dense se définit comme la variation de valeur : . Des valeurs positives indiquent un rapprochement de l'aboutissement, des valeurs négatives une dégradation. Terminaison Une tête de terminaison prédit la probabilité que l'épisode s'achève au pas de temps : et, éventuellement, la probabilité conditionnelle de réussite sachant la terminaison : Risque La tête de risque prédit la probabilité qu'une défaillance ou un événement déclenchant une reprise survienne dans un horizon futur fixe : En configuration multiclasse, la tête produit une distribution catégorielle sur des modes de défaillance prédéfinis. Interface d'exécution et d'apprentissage Les sorties de PRO sont consommées par les mécanismes d'exécution et d'apprentissage en aval sans modifier la politique VLA sous-jacente. Au moment de l'inférence, il évalue les actions candidates en estimant leur progression cumulée attendue et leur risque : où contrôle la sensibilité au risque. Les probabilités de terminaison servent à encadrer les reprises et à éviter les boucles d'exécution pathologiques. Pour l'apprentissage, PRO fournit un signal de récompense dense dérivé de l'exécution réelle. Une fois entraîné, ses sorties de progression et de risque sont traitées comme des signaux de récompense pour l'optimisation des politiques. L'apprentissage par renforcement hors ligne utilise ces signaux pour apprendre à partir de trajectoires journalisées, tandis que le fine-tuning en ligne exploite les sorties de PRO sous contraintes supplémentaires de sécurité et de non-régression afin de garantir des mises à jour conservatrices en déploiement. PRO fournit en outre une métrique d'évaluation unifiée et interprétable entre sites et déploiements, permettant une analyse systématique de la qualité d'exécution et des modes de défaillance. Intégration à l'apprentissage par renforcement PRO sert de socle de récompense partagé pour plusieurs voies d'apprentissage et de commande : Apprentissage par renforcement hors ligne, où des signaux de progression denses permettent d'apprendre à partir de trajectoires journalisées qui n'offriraient sinon qu'une supervision éparse. Apprentissage par renforcement en ligne, qui permet une amélioration continue de la politique guidée par un retour en temps réel, sans attendre la fin de la tâche. Sélection d'action à l'inférence, où les actions candidates ou les blocs d'actions sont classés selon la progression et le risque attendus. Évaluation et supervision, avec une mesure unifiée et quantitative de la qualité d'exécution entre sites et déploiements. Point crucial : PRO ne remplace pas la politique VLA sous-jacente. Il l'augmente en fournissant un signal d'apprentissage physiquement ancré qui reflète de véritables critères de réussite opérationnelle. Apprendre de l'exploitation réelle PRO est entraîné entièrement à partir de données de déploiement réelles, sans recours à des récompenses générées en simulation ni à des annotations synthétiques. Les signaux d'entraînement sont dérivés de comparaisons entre trajectoires et résultats observés en production : Exécutions réussies contre exécutions échouées Trajectoires avec peu de reprises contre trajectoires en comptant beaucoup Exécutions efficaces contre exécutions au temps de cycle allongé Prises stables contre prises nécessitant une reprise En apprenant de ces comparaisons, PRO acquiert une compréhension implicite des états intermédiaires et des transitions qui annoncent des résultats souhaitables. Il peut ainsi attribuer des signaux de récompense denses à chaque étape de l'exécution, même lorsque le résultat final n'est pas encore survenu. Lien avec la Real-World Learning Loop La Real-World Learning Loop repose sur l'idée que des robots déployés doivent s'améliorer en continu tout en accomplissant un travail utile. PRO rend cette boucle possible en garantissant que chaque seconde d'exploitation apporte du signal d'apprentissage, et pas seulement de rares réussites ou échecs. À mesure que la flotte grandit, PRO profite d'une plus grande diversité d'états et de contextes d'exécution, ce qui produit des gains cumulatifs sur la qualité des récompenses et sur les performances des politiques en aval.Il en résulte une boucle de rétroaction positive : de meilleurs reward models permettent un apprentissage plus efficace, qui améliore la qualité d'exécution, laquelle génère à son tour des données plus propres et plus informatives pour la suite de l'entraînement. Résultats Nous évaluons Cortex 1.6 sur des flux de pick-and-place, d'ouverture de boîtes à chaussures et de traitement des retours, à partir de données collectées exclusivement dans des déploiements en production. Toutes les métriques sont calculées directement depuis la télémétrie opérationnelle, sans environnements simulés ni récompenses de tâche conçues à la main. Les performances sont comparées à (i) une politique VLA de référence issue d'apprentissage par imitation, (ii) Cortex 1.5, qui s'appuie sur des signaux de réussite binaires et un policy patching déclenché par l'humain, et (iii) Cortex 1.6, qui apprend de récompenses scalaires denses extraites de l'exécution. Performance et efficacité sur les tâches Sur l'ensemble des tâches, Cortex 1.6 affiche des taux de réussite supérieurs à ceux des modèles précédents. La VLA de référence atteint un taux de réussite d'environ 80–82 %. Cortex 1.5 porte la réussite à ~95 %, principalement en apprenant des comportements de reprise après échec. Cortex 1.6 la porte encore à ~98 %, avec une manipulation plus fiable et moins de modes de défaillance non rattrapés.Les récompenses denses de PRO accélèrent l'apprentissage. Le temps nécessaire à la convergence des politiques sur chaque tâche est le suivant : Tâche VLA de référence Cortex 1.5 Cortex 1.6 Pick-and-place Ouverture de boîtes à chaussures Traitement des retours Sur l'ensemble des flux, Cortex 1.6 réduit le temps de convergence d'environ 2× par rapport à Cortex 1.5 et de plus de 3× par rapport à la référence. Comportement de reprise et de nouvelle tentative Les gains de réussite proviennent d'une meilleure reprise et d'une intervention plus précoce : La réussite de la reprise après un premier échec passe de ~45 % (référence) à ~65 % (Cortex 1.5) et ~80 % (Cortex 1.6). Le nombre moyen de reprises par épisode diminue de 30–50 % sur l'ensemble des tâches après entraînement avec PRO. Efficacité de l'apprentissage La figure 3 montre que PRO atteint des performances comparables ou supérieures à un réentraînement SFT complet avec 4–5× moins d'épisodes correctifs. Les signaux denses de progression et de risque issus de PRO permettent aux mises à jour d'apprentissage par renforcement de se concentrer sur les segments d'exécution à fort impact plutôt que sur des trajectoires entières. Comparé à Cortex 1.5, qui dépend d'une intervention humaine explicite pour déclencher l'apprentissage, Cortex 1.6 continue de s'améliorer de façon autonome en déploiement. Les signaux de récompense denses extraits de l'exploitation courante permettent d'apprendre même d'exécutions réussies mais fragiles, qui n'offriraient sinon aucun retour. Synthèse Globalement, Cortex 1.6 améliore : Taux de réussite : +6–9 % par rapport à Cortex 1.5 et 15–25 % par rapport à la VLA de référence Taux de reprise : ~1,7× par rapport à la référence Temps de convergence de l'entraînement : ~2× plus rapide que Cortex 1.5 et ~3× plus rapide que la VLA de référence Ces résultats montrent qu'apprendre des récompenses denses directement à partir d'exécutions réelles permet une amélioration plus robuste, plus efficace et plus scalable qu'un retour binaire ou que des interventions humaines ponctuelles. Discussion Le Process-Reward Operator déplace l'apprentissage par renforcement dans les systèmes physiques : d'un problème d'ingénierie de la récompense vers un problème d'apprentissage de la récompense. En ancrant les récompenses dans des signaux opérationnels plutôt que dans des définitions abstraites de tâche, PRO aligne les objectifs d'apprentissage sur de véritables indicateurs de performance industrielle : fiabilité, efficacité et robustesse. Si Cortex 1.6 ne résout pas tous les défis de l'apprentissage robotique, il s'attaque à un goulot d'étranglement central dans le passage à l'échelle de l'apprentissage par renforcement en conditions réelles : l'absence d'un retour dense et fiable. Il constitue à ce titre une base sur laquelle bâtir des mécanismes d'apprentissage plus avancés — planification fondée sur un world model ou apprentissage hiérarchique de politiques, par exemple. Conclusion Cortex 1.6 introduit le Process-Reward Operator comme approche rigoureuse de l'apprentissage de récompenses denses dans les systèmes robotiques réels. En extrayant des signaux continus de progression et de risque à partir des données d'exploitation, PRO rend possible un apprentissage par renforcement scalable, compatible avec le déploiement et étroitement couplé à la performance physique réelle. C'est un pas vers des systèmes robotiques qui n'agissent pas seulement dans le monde, mais s'améliorent systématiquement à travers lui. Nous recrutons également ! Si nous rejoindre vous intéresse, n'hésitez pas à nous contacter. Les chercheurs intéressés par nos travaux, des collaborations ou toute autre question peuvent écrire à research@sereact.ai. Fermer Lightbox