Cortex 2.0 Cortex 2.0 en bref Anticipation. Cortex 2.0 ajoute la planification à la manipulation en prédisant les résultats futurs avant d'engager le meilleur d'entre eux dans le mouvement. Moins d'échecs coûteux. Ces futurs sont notés selon la progression, la stabilité et l'efficacité, si bien que le robot écarte les mauvaises branches avant qu'elles ne se transforment en reprises ou en récupérations. World modeling d'abord vidéo. Le world model apprend une dynamique prédictive dans l'espace latent visuel, tandis que la génération d'actions reste dans la couche d'exécution. Cortex 2.0 Introduction Cortex 2.0 prolonge notre architecture Cortex d'origine en introduisant un world model dans la boucle d'apprentissage. Plutôt que de remplacer la VLA existante, le world model la complète et permet de raisonner sur les résultats futurs et de les évaluer. La manipulation robotique dans des environnements industriels réels pose des défis bien particuliers : les actions sont irréversibles, les échecs coûtent cher et les conséquences des décisions se déploient souvent sur de longs horizons. Si les modèles Vision–Language–Action (VLA) récents font preuve d'une généralisation et d'une souplesse impressionnantes, ils restent fondamentalement des systèmes réactifs, optimisés pour choisir l'action suivante à partir de l'observation courante. Dans des tâches complexes comme le traitement des retours, le robot fait souvent face à des bacs encombrés, à des poses d'objets inconnues et à des modes d'échec à long horizon : glissement progressif, blocages ou collisions qui n'apparaissent qu'après plusieurs étapes. Cortex 2.0 y répond en passant d'un contrôle en try-and-see à une logique de plan-and-try. À partir de l'état courant, il génère un ensemble variable de trajectoires futures candidates dans l'espace latent visuel, puis note chacune selon la réussite et l'efficacité attendues. Cette note est transmise en aval comme signal d'advantage qui guide la génération d'actions et oriente la policy vers les mouvements associés aux résultats prédits de meilleure qualité. Nous entraînons notre world model dans l'espace visuel parce que les données y sont peu coûteuses et bien plus abondantes : de la vidéo en quantité illimitée sur internet et, en déploiement, les caméras offrent un multiplicateur gratuit : un robot produit un flux d'actions, mais 10 caméras peuvent fournir environ 10× plus de signal d'entraînement observationnel pour les world models. Cela aide le world model à apprendre la sémantique sous-jacente du monde physique : les commandes articulaires sont des nombres à faible structure sémantique et fortement dépendants de l'embodiment, tandis que les pixels encodent des régularités riches et transférables sur les objets, le contact et le mouvement. Des policies réactives au raisonnement physique Cortex 1.0 s'organise autour d'une stack VLA en Mixture-of-Experts (MoE) qui transforme une perception multimodale – RGB, profondeur/géométrie 3D, proprioception et contexte de tâche – en signal de commande. Une couche VLM/MoE produit d'abord un état de décision de haut niveau, conditionné par la tâche (structure de sous-objectifs et contraintes ancrées, par exemple), puis la VLA combine ce contexte avec l'observation courante pour émettre des action chunks acheminés vers des contrôleurs bas niveau spécifiques à l'embodiment. Cette conception généralise entre tâches et robots, mais reste fondamentalement réactive : les décisions sont optimisées pour l'action suivante à partir de l'état courant, sans évaluation explicite des futurs possibles. Cortex 2.0 introduit une séparation entre planification et exécution. Le world model travaille dans l'espace latent pour planifier les observations futures : à partir de l'état courant du robot et de l'environnement, il déroule états futurs candidats de l'environnement. Ces candidats sont évalués par notre module PRO, qui attribue une note à chacun. Nous utilisons cette note comme indicateur d'advantage pour la commande en aval. La VLA est conditionnée sur le rollout le mieux noté et sur son score d'advantage. Le world model fournit l'anticipation visuelle, PRO fournit un signal d'advantage sur les futurs candidats, et la VLA traduit cette anticipation en actions bas niveau robustes. Comparaison : réactif vs planification Vue d'ensemble de l'architecture Cortex 2.0 prolonge l'architecture d'exécution d'origine de notre modèle précédent par un module de planification complémentaire. À haut niveau, l'observation courante est encodée en un état latent . Un module de raisonnement MoE produit un contexte de tâche structuré ; notre world model prédit ensuite les observations futures, des rollouts planifiés sur un horizon prédéfini. Les outcome heads (module PRO) notent ces futurs planifiés et retiennent le candidat le plus prometteur, que la VLA réalise ensuite et qui est exécuté sur le robot. Architecture de Cortex 2.0 VLM Reasoning À partir de l'observation courante , qui comprend l'entrée visuelle, l'état proprioceptif du robot, les signaux tactiles et l'instruction de tâche, nous l'encodons d'abord en une représentation latente compacte . Au-dessus de , un module Mixture-of-Experts (MoE) produit un état de raisonnement structuré est un embedding appris, conditionné par la tâche, qui fait le lien entre perception, planification et commande. Il encode une décomposition de la tâche au niveau des sous-objectifs ainsi que des variables d'ancrage qui alignent le langage sur les entités et contraintes de la scène (objets, relations spatiales, a priori de contact). Cette représentation oriente le world model vers des futurs pertinents pour la tâche, et la couche d'exécution vers la réalisation en actes du futur retenu. Planning World Model Conditionné par l'observation courante et la sortie du VLM, notre world model prédit latents d'observation futurs sur un horizon : En échantillonnant différentes conditions initiales à partir du bruit a priori, le world model par flow matching génère plusieurs rollouts candidats depuis un même état d'entrée. Cela nous permet aussi de contrôler la granularité des latents produits – nombre d'itérations de débruitage ou nombre de rollouts candidats – afin d'arbitrer entre vitesse d'inférence et capacité de planification. Outcome heads : transformer la vidéo planifiée en signaux de décision La planification n'est utile que si elle est évaluable. Cortex 1.6 a introduit le Process-Reward Operator (PRO) comme signal dense de réussite/terminaison calculé sur les trajectoires exécutées. Cortex 2.0 fait remonter cette idée dans la boucle de planification : les têtes PRO notent les rollouts planifiés, ce qui permet au système de privilégier des futurs stables et orientés vers l'objectif tout en évitant ceux à haut risque. Pour chaque rollout candidat , nous appliquons nos têtes de prédiction légères (PRO), qui estiment des grandeurs utiles à la décision, par exemple : progression prédite , risque prédit , vraisemblance de terminaison (sensible au résultat). Nous agrégeons ces prédictions en une note unique de rollout et sélectionnons le meilleur rollout planifié via Nous convertissons cette note en un indicateur d'advantage que nous transmettons à notre VLA. VLA Policy Execution La VLA se conditionne sur le rollout retenu et son indicateur d'advantage pour produire l'action chunk exécutable dont a besoin la commande bas niveau. Où est l'advantage binarisé, pour lequel nous utilisons la sortie du module PRO comme proxy afin de conditionner l'action de la VLA. Pendant l'entraînement, le signal d'advantage sert à conditionner la VLA, apprenant à la policy à associer les résultats prédits de meilleure qualité aux actions qui les réalisent. À l'inférence, ce signal est fixé pour refléter toujours un résultat favorable, ce qui pousse la VLA à générer les actions qui réalisent au mieux le futur prédit le mieux noté à partir de l'état courant. Rollout de trajectoire Cortex 2.0 Planification inter-tâches Qu'il s'agisse de pick-and-place à un bras, de pick-and-place à deux bras, de pliage de serviettes ou de traitement des retours, Cortex 2.0 exécute la même boucle : générer rollouts en latent visuel, les noter selon stabilité/risque/efficacité et ne s'engager que sur la trajectoire la mieux notée. Cela rompt avec le schéma réactif habituel, où une VLA répète le même geste après un échec : la planification écarte d'abord les mauvais futurs, puis exécute la branche la plus prometteuse. Parce que Cortex 2.0 évalue les plans dans l'espace visuel, sa planification généralise entre tâches et embodiments robotiques. Apprendre et transférer des plans directement dans l'espace des actions est bien plus difficile, car les commandes dépendent de la cinématique et des contrôleurs propres à chaque robot ; un même « bon » comportement peut exiger des mouvements articulaires très différents d'un robot à l'autre. Premiers résultats Nous évaluons Cortex face aux meilleures policies visuomotrices open source sur une plateforme de manipulation bimanuelle équipée de deux bras UR5e. Trois tâches de complexité croissante mesurent les performances sur des primitives de manipulation variées. Boîte à chaussures Manipulation séquentielle en plusieurs étapes : ouvrir le couvercle de la boîte, retirer le papier d'emballage et extraire les chaussures vers les bacs. Tri de vis Préhension fine de petites vis métalliques réfléchissantes et dépose dans les bons compartiments de la boîte à outils. Tri d'articles et de déchets Tri par catégorie depuis des bacs encombrés, en distinguant les articles courants des déchets dans des conditions variées. Budget de planification Un atout majeur de Cortex 2.0 est de pouvoir régler la quantité de planification par décision en modifiant , le nombre de rollouts futurs imaginés qui sont échantillonnés et notés avant de s'engager dans une action. Budget de planification K vs taux de réussite Le taux de réussite (axe de gauche) augmente avec , tandis que le temps par pas (axe de droite) augmente lui aussi : c'est l'arbitrage de conception central de Cortex 2.0, une plus grande anticipation donne de meilleures décisions, au prix d'un coût de calcul et de latence plus élevé. Pour les évaluations de tâches ci-dessous, nous fixons un réglage à faible latence de K=2. Comme la planification s'effectue dans l'espace latent visuel, nous pouvons ajuster le calcul de planification via (i) et (ii) la qualité des rollouts (nombre d'étapes de débruitage, par exemple), en choisissant des budgets plus élevés pour les modes d'échec coûteux (l'emballage, par exemple) et plus faibles lorsque la récupération est bon marché (une reprise de prise, par exemple). Boîte à chaussures (tâche séquentielle à long horizon) Cortex 2.0 obtient le meilleur taux de réussite tout en étant nettement plus rapide que les policies de référence – et il achève les rollouts sans intervention humaine. Les références ralentissent sous l'effet des reprises répétées et des blocages tardifs, ou n'achèvent pas la séquence complète de façon fiable. Résultats du benchmark : boîte à chaussures – toutes les métriques Tri de vis (précision fine) Cortex 2.0 atteint une réussite quasi parfaite par opération sur de petites vis réfléchissantes, avec le temps moyen d'exécution le plus court et sans intervention humaine. Les références peinent à saisir et à déposer avec précision, d'où des chutes, des erreurs de placement et des blocages périodiques qui exigent une intervention. Résultats du benchmark : tri de vis – toutes les métriques Tri d'articles et de déchets (pick-and-place répété en bac encombré) Cortex 2.0 obtient la meilleure réussite par objet tout en conservant le meilleur débit, et achève les rollouts de bout en bout sans intervention humaine. Les références ont besoin d'interventions pour terminer et ralentissent souvent en replanifiant localement après des prises manquées, atteignant fréquemment la limite de temps sans achever complètement la tâche. Résultats du benchmark : tri d'articles et de déchets – toutes les métriques Voir tous les résultats du benchmark Où nous en sommes aujourd'hui Nous entraînons actuellement Cortex 2.0 sur un volume croissant de nos données issues du terrain. La priorité initiale est de valider la boucle de planification sur un ensemble restreint de flux à fort impact, en commençant par des tâches du traitement des retours, où les échecs à long horizon sont fréquents et où une meilleure anticipation réduit directement le coût opérationnel. Tout en continuant d'élargir les cas d'usage et les tâches, nous constatons déjà l'effet considérable de l'intégration des résultats futurs possibles dans les policies VLA. Vers l'apprentissage en contexte Rendre la policy sensible à la vidéo et entraîner un world model conjointement à la policy est un pas vers l'apprentissage en contexte pour la robotique : à partir d'une séquence de démonstrations sous forme de vidéo, le robot peut exécuter ces mêmes étapes sans réentraînement. Les LLM d'aujourd'hui montrent des capacités d'apprentissage en contexte dans de nombreuses applications : des agents peuvent être conditionnés à exécuter certaines tâches par le seul langage. Nous travaillons à des capacités analogues pour les robots, afin de débloquer la généralisation de la physical AI. Cortex 2.0 en action Sur ces quatre tâches, la policy de référence se retrouve souvent piégée dans une boucle : elle échoue une fois, réessaie le même mouvement et aggrave l'échec. Avec Cortex 2.0, le robot évalue d'abord quelques résultats futurs et s'engage sur l'option qui reste stable : les mêmes configurations se déroulent sans accroc au lieu de partir en spirale de récupération. Traitement des retours chez Active Ants Traitement des colis Traitement des articles et expédition Notre world model aide à planifier une ouverture sûre de la boîte et un enchaînement pertinent pour prélever l'article efficacement et éviter les accrochages ou les occlusions. Il prédit aussi quelle trajectoire de dépose dans le bac mènera à l'état final le plus stable, réduisant les erreurs de placement et le besoin de récupération en aval. Kitting chez Deltilog Prélèvement d'articles Remplissage de boîtes (deux bras) Au prélèvement, un échec se solde généralement par une reprise de prise : la récupération est bon marché. Au remplissage des boîtes, les petites erreurs s'accumulent : une approche légèrement décalée peut provoquer des collisions avec les parois ou d'autres articles, causer des accrochages ou créer des dommages coûteux à réparer. C'est pourquoi nous consacrons davantage de budget de planification (k plus élevé) à l'emballage : nous ne cherchons pas seulement une dépose réussie, mais la plus sûre. Des outcome heads de type PRO notent le risque en continu – pénalisant les futurs comportant un contact à grande vitesse, une compression, des impacts sur les arêtes ou un frottement de surface – même si l'article finit malgré tout dans la boîte. Fermeture de colis chez Arvato Processus manuel Automatisé (deux bras) Notre world model aide en prédisant comment la plaque de carton et les articles vont bouger et se stabiliser pendant la dépose, afin que le robot choisisse un ordre et un alignement qui gardent tout bien à plat et prêt à fermer le colis. Remise en stock des retours chez Radial Ce flux tire parti de l'anticipation, car la remise en stock est un transfert au timing serré : la planification aide à garder le scan lisible tout en évitant les interférences entre les bras et avec les bords des bacs. Elle favorise aussi les déposes qui se stabilisent proprement (sans accrochage, rebond ni nouvelle occlusion), réduisant les reprises en aval dans un tri à haut débit. Nous recrutons aussi ! Si nous rejoindre vous intéresse, n'hésitez pas à nous contacter. Chercheurs intéressés par nos travaux, collaborations ou toute autre question : écrivez-nous à research@sereact.ai. Fermer Lightbox