Le déploiement de modèles vision-langage-action (VLA) révèle une limite critique : le décalage de distribution entre un pré-entraînement statique et un monde réel dynamique. Face à des configurations inédites, même des politiques robustes présentent des modes de défaillance systématiques. Pour y remédier, nous proposons un changement de paradigme inspiré de l'intelligence biologique. Les humains et les animaux apprennent par l'auto-exploration autant que par l'interaction avec des enseignants. Nous sommes convaincus que l'avenir de l'apprentissage robotique repose sur les principes de l'auto-apprentissage et de l'interaction avec des enseignants humains. Apprendre par l'exploration Nous présentons l'Interactive RL Policy Patching, un cadre distribué qui permet l'auto-apprentissage à partir d'une récompense humaine ainsi que la mise à jour des politiques via de brèves interventions correctives humaines. Pour cela, nous adaptons le reinforcement learning off-policy en ligne. Notre approche permet une adaptation rapide à de nouvelles conditions de tâche tout en préservant les compétences déjà acquises : le comportement de la politique s'aligne mieux sur les préférences humaines et demande moins de temps d'exploration que les approches traditionnelles. Au-delà du réentraînement : l'amélioration continue par le policy patching Lorsqu'une politique adopte un comportement incorrect, l'approche courante consiste à collecter des données supplémentaires puis à réentraîner ou à affiner largement le modèle. Cela peut corriger la défaillance observée, mais reste inefficace : il faut enchaîner de nombreux cycles complets de réentraînement et de déroulé jusqu'à ce que toutes les erreurs soient observées et que l'espace état-action soit bien couvert. Nous traitons plutôt la correction de politique comme une mise à jour légère. Une brève intervention humaine montre le comportement souhaité dans l'état de défaillance, et cette information est ensuite intégrée à la politique par reinforcement learning. Cela permet de corriger précisément des modes de défaillance spécifiques sans réentraîner l'ensemble de la politique. Interactive RL Policy Patching Nous présentons l'Interactive RL Policy Patching, un cadre qui intègre le guidage par démonstration au reinforcement learning afin d'obtenir une adaptation efficace avec une meilleure généralisation. 1. Modèle de fondation Notre modèle Cortex fournit un a priori solide, entraîné sur des centaines de millions d'interactions robotiques réelles. Il capture les principes généraux du pick-and-place industriel mais, comme tout modèle pré-entraîné, rencontre des cas limites où la politique apprise ne suffit pas. 2. Démonstration guidée par l'humain Lorsque le robot échoue dans un scénario inédit, un opérateur intervient par téléopération et fournit une brève démonstration qui résout ce cas de défaillance précis. 3. Déroulé RL interactif Plutôt que d'entraîner le modèle à minimiser l'erreur de trajectoire par rapport à la démonstration, nous utilisons l'intervention humaine comme guidage pour façonner un signal de récompense destiné au reinforcement learning off-policy : Patch : l'opérateur démontre le comportement correctif. Mise à jour de la politique : nous mettons à jour le modèle par reinforcement learning off-policy en ligne. Déroulé : le robot exécute la politique mise à jour dans l'environnement réel. Vérification : si la tâche réussit, une récompense positive renforce le nouveau comportement. (Actuellement, cette récompense est attribuée par l'opérateur en raison de la grande complexité des tâches auxquelles nous faisons face ; nous évoquons plus bas les pistes futures.) Figure 1 : architecture générale du système Cette architecture crée une boucle de rétroaction qui contourne la phase d'exploration peu efficace en échantillons du RL pur, tout en évitant un réentraînement complet de la politique. Mémoire de rejeu L'entraînement s'effectue sur une infrastructure GPU centralisée, à partir d'un replay buffer qui agrège trois sources de données : Données hors ligne : un extrait de nos données de manipulation industrielle collectées sur plus de 100 stations robotisées déployées, complété par des enregistrements de téléopération humaine. Elles fournissent la distribution de base pour le pré-entraînement du modèle VLA. Données en ligne : des déroulés collectés en continu à partir des politiques déployées en production. Elles capturent le décalage de distribution et la variabilité de l'environnement que les seules données hors ligne ne peuvent représenter. Données de patch comportemental : de courts épisodes ciblés dans lesquels des opérateurs humains démontrent des actions correctives en réponse aux défaillances observées. Architecture acteur-critique Nous utilisons un cadre acteur-critique pour l'optimisation de la politique. L'acteur génère les actions, le critique apprend la valeur attendue d'un couple état-action. Cette conception permet des mises à jour rapides de la politique, l'acteur pouvant intégrer des comportements correctifs en relativement peu d'étapes de gradient. Elle nous permet en outre d'entraîner la chaîne de bout en bout à partir de signaux directs issus de l'environnement, sans avoir besoin d'un modèle de récompense appris complexe. Synchronisation distribuée des paramètres Pour propager les améliorations à l'ensemble de la flotte déployée, nous maintenons une file de paramètres distribuée. L'apprenant centralisé publie périodiquement les poids de politique mis à jour, que chaque robot récupère de façon asynchrone. Lorsqu'un opérateur fournit une démonstration corrective sur un site, la mise à jour de politique qui en résulte devient disponible pour toute la flotte, amortissant le coût de chaque intervention humaine sur l'ensemble des déploiements. Expériences en conditions réelles Nous évaluons l'Interactive RL Policy Patching sur deux tâches de manipulation, en le comparant à notre Cortex VLA de référence pré-entraîné par imitation learning. La première est le déballage d'une boîte à chaussures : le robot ouvre la boîte, retire le papier d'emballage et place les chaussures dans un bac séparé. La seconde consiste à trier des vis dans une boîte à outils, le robot devant déposer chaque vis dans le bon compartiment de l'organiseur. Patch de la tâche de déballage de chaussures (patch de prise du papier) Patch de la tâche de déballage de chaussures (patch de prise de la semelle) Patch de la tâche de tri de vis (patch de prise) Votre navigateur ne prend pas en charge la balise vidéo. Empiriquement, le policy patching suggère une réduction à la fois des besoins en données et de la charge de calcul. Comme les erreurs sont souvent localisées à des points précis d'une trajectoire, la collecte d'épisodes partiels permet des corrections plus ciblées que la collecte d'épisodes complets. Nous avons observé que le patch intervient dès le premier signe de défaillance, ce qui raccourcit la séquence d'actions que le robot doit apprendre. Le problème s'en trouve simplifié, car l'accent est mis sur la correction immédiate plutôt que sur une récupération à long terme. Ces observations indiquent que le policy patching est une direction prometteuse pour améliorer la robustesse des politiques avec un moindre coût en données. Premiers résultats Les premiers résultats indiquent que la limite principale du Cortex VLA pré-entraîné par imitation learning ne tient pas à l'exécution nominale de la tâche, mais à son incapacité à se remettre de manière fiable et efficace d'états de défaillance rares ou inédits. Le policy patching cible directement ces faiblesses en injectant, aux points de défaillance, des trajectoires de récupération supervisées par l'humain, ce qui permet à la politique d'apprendre un nouveau comportement à partir d'un minimum de données supplémentaires. Les gains de taux de réussite proviennent ainsi surtout d'une meilleure capacité de récupération, et non d'une exploration prolongée ou d'un entraînement plus long. La réduction de la longueur des épisodes et la rapidité d'adaptation suggèrent en outre que le policy patching concentre l'apprentissage sur les transitions d'état à fort impact, ce qui le rend plus efficace et plus robuste pour un déploiement en conditions réelles. Cela abaisse également les barrières à l'entraînement dans le monde réel. Les environnements réels sont impitoyables : les réinitialisations sont lentes, le matériel est fragile et la reproduction exacte d'un état (essentielle pour des méthodes comme le RL en ligne par paires) est souvent impossible. En exigeant moins de déroulés et d'heures de téléopération pour converger, notre méthode compose avec ces contraintes physiques de façon plus sûre et plus économique que les approches standard. Notre évaluation expérimentale porte avant tout sur les arbitrages entre policy patching et réentraînement complet de la politique, et met en évidence des avantages nets en efficacité de données et en robustesse des performances. Pour élargir le contexte, nous sommes également en train de comparer ces méthodes à des approches d'auto-exploration reposant uniquement sur le reinforcement learning. Effet du policy patching sur la longueur des épisodes selon les tâches Figure 2 : effet du policy patching sur la longueur des épisodes selon les tâches Efficacité en échantillons de l'Interactive Policy Patching comparée à un réentraînement SFT complet Figure 3 : efficacité en échantillons de l'Interactive Policy Patching comparée à un réentraînement SFT complet Perspectives Le policy patching permet des corrections ciblées sans réentraîner des politiques entières. En démarrant les épisodes depuis des états de défaillance précis et en fournissant des démonstrations ciblées, nous pouvons traiter des modes de défaillance avec très peu de données, en évitant le coût de cycles complets de réentraînement. Notre méthode constitue par ailleurs un pas vers l'apprentissage de flotte sur plusieurs tâches et produit des politiques plus orientées vers l'objectif que les politiques d'imitation learning pures. Quels que soient les progrès des modèles de fondation ou des méthodes de collecte de données, la correction de comportement efficace en échantillons restera un défi central du déploiement de systèmes robotiques à grande échelle. Les approches d'apprentissage interactif comme celle décrite ici offrent une voie concrète vers l'amélioration continue des flottes déployées, où un réentraînement depuis zéro est souvent irréalisable. Nous avons hâte de partager des résultats détaillés dans un prochain article. Lightbox Vidéo précédente Vidéo suivante Aller à la vidéo {{number}} Fermer