Introduction L'intelligence robotique polyvalente dépend de la couverture des données et de l'alignement des distributions, et non de la seule taille du modèle. Lorsque les systèmes rencontrent des scénarios hors distribution, la généralisation est limitée et les performances se dégradent. Une généralisation robuste exige donc un entraînement sur des données d'interaction qui couvrent progressivement les tâches, les environnements et les contraintes physiques rencontrés en exploitation, au moyen d'une progression structurée à travers des tâches adjacentes. D'où une approche délibérée de la manière dont les données réelles sont collectées et étendues dans le temps. La généralisation se dégrade lors de grands sauts de distribution Les systèmes robotiques généralisent de façon fiable dans les domaines bien représentés dans leurs données d'entraînement, mais les performances chutent fortement lors de grands sauts de distribution — par exemple lors d'un transfert direct de la manipulation industrielle vers des tâches domestiques humanoïdes. Dans ces cas, les politiques rencontrent des régimes d'interaction hors distribution, avec une dynamique de contact, une structure temporelle et une incertitude environnementale inhabituelles, ce qui conduit à des correspondances perception-action mal calibrées et à des comportements de reprise manquants. Une généralisation robuste dépend donc du maintien d'une continuité entre les distributions d'entraînement et de déploiement, plutôt que d'une tentative de transfert direct entre environnements structurellement différents. Une voie stratégique vers la généralisation Nous obtenons cette continuité en structurant délibérément la manière dont les données d'interaction réelles sont collectées au fil du temps. Plutôt que de maximiser d'emblée la diversité des tâches, nous élargissons progressivement la distribution d'entraînement à des tâches adjacentes qui réutilisent les primitives d'interaction existantes tout en introduisant une complexité accrue de façon contrôlée. Chaque étape étend l'expérience du modèle selon des axes précis — coordination, incertitude ou horizon temporel — tout en préservant le recouvrement distributionnel avec les données antérieures. Cette expansion stratégique permet au système d'acquérir progressivement une connaissance transférable de la physique réelle, de la dynamique des systèmes et de la structure des interactions, rendant possible une généralisation stable et cumulative sans chute brutale de performance. Étape 1 : le pick-and-place en entrepôt comme domaine d'ancrage contrôlé Le pick-and-place en entrepôt constitue un point de départ idéal pour la généralisation, car il est dense en interactions, répétable et borné en sécurité, tout en couvrant déjà une part significative de la variété des manipulations. La tâche expose les robots à des géométries d'objets, des matériaux d'emballage, des configurations de désordre et des affordances de préhension variés, sous de fortes contraintes de débit et de fiabilité. Point essentiel : ce domaine permet une collecte de données réelles à grande échelle avec une haute fidélité d'action, ce qui permet aux modèles d'apprendre un alignement visuomoteur robuste, la dynamique de contact et les comportements de reprise. Du point de vue des données, il forme un noyau dense dans l'espace d'embedding des actions, auquel des tâches adjacentes peuvent être rattachées progressivement. Compilation pick-and-place Ce domaine offre : Des données d'interaction réelles en grand volume et répétables Des métriques de réussite claires et une supervision dense Un couplage fort entre perception et manipulation Du point de vue de l'apprentissage, le pick-and-place en entrepôt échantillonne densément : La perception centrée objet en environnement encombré Les primitives de préhension et de dépose La reprise d'erreur en boucle fermée Les distributions d'objets en longue traîne Ces primitives sont directement réutilisées dans le traitement des retours ; sans la reprise de préhension robuste, la correction de pose et la gestion du désordre apprises ici, des tâches multi-objets ou bimanuelles plus complexes échoueraient de façon catastrophique. Étape 2 : extension adjacente — traitement des retours et coordination bi-bras Le traitement des retours prolonge naturellement le picking en entrepôt tout en introduisant de nouveaux régimes d'interaction plutôt que des primitives entièrement nouvelles. Des tâches comme déballer des colis, trier des articles hétérogènes et effectuer des contrôles qualité grossiers exigent une perception accrue sous incertitude, la manipulation d'objets déformables et un raisonnement tolérant aux erreurs. Les configurations bi-bras ajoutent une dimension nouvelle et décisive : la coordination bimanuelle et la spécialisation des rôles, qui élargissent l'espace d'action sans abandonner les affordances déjà apprises. Fait important, les distributions de données sous-jacentes — objets, emballages, environnements logistiques — restent partiellement communes avec les opérations d'entrepôt, ce qui permet un transfert efficace tout en obligeant le modèle à généraliser au-delà des séquences mono-bras à action unique. Traitement des retours — extrait Emballages déformables et états initiaux inconnus Raisonnement multi-objets au sein d'un même épisode Coordination bimanuelle et dynamique de transfert entre bras La coordination bimanuelle et les relations objet-à-objet apprises ici sont des prérequis pour le kitting et le séquencement, où la justesse dépend du placement relatif, de l'ordre et de la coordination plutôt que d'actions isolées. Étape 3 : kitting et séquencement en logistique automobile Les tâches de kitting et de séquencement introduisent une structure temporelle et une manipulation conditionnée par un objectif, obligeant le robot à raisonner sur des ensembles ordonnés, des états intermédiaires et des tolérances serrées. Toujours ancrées dans des environnements industriels, ces tâches déplacent le signal d'apprentissage des préhensions isolées vers la cohérence sur long horizon, le placement de précision et la satisfaction de contraintes. Du point de vue de la généralisation, cette étape étend le jeu de données selon les axes de planification et de mémoire, plutôt que de simplement ajouter de nouveaux objets. Les données obtenues font le pont entre manipulation réactive et exécution au niveau de la tâche, prérequis de formes plus complexes d'intelligence incarnée. Kitting BMW Exécution de tâche sensible à l'ordre Tolérances plus serrées et précision de dépose Couplage renforcé entre perception, planification et action La cohérence sur long horizon et le séquencement sont nécessaires en production, où les actions doivent respecter les dépendances de processus et les assemblages partiels. Étape 4 : production et interaction en cours de processus Les environnements de production étendent les domaines précédents en introduisant le couplage au processus et la manipulation riche en contacts. Les robots doivent interagir avec des assemblages partiellement terminés, des outils et des montages, souvent sous de fortes contraintes d'effort, d'alignement et de précision. Les actions ne sont plus isolées mais intégrées à un contexte de processus, ce qui rend la distribution des actions plus structurée et les échecs moins pardonnables. Cela exige des représentations de meilleure qualité de l'état, de l'intention, de la dynamique de contact et de l'incertitude. Cette étape enrichit le corpus de données d'interaction causales, guidées par le contact, permettant aux modèles de dépasser la reconnaissance de motifs pour comprendre comment des séquences d'actions transforment de façon prévisible des systèmes partiellement assemblés. Tâches d'assemblage et d'insertion riches en contacts Usage d'outils et interactions via des montages Tolérances et contraintes dépendant du processus Environnements semi-structurés mais évolutifs Apprendre les contraintes de processus et la manipulation riche en contacts médiée par des outils est un prérequis pour opérer dans des environnements publics semi-structurés, où les erreurs coûtent plus cher et où le comportement réussi dépend d'un contrôle anticipatif plutôt que purement réactif. Étape 5 : réapprovisionnement en magasin et espaces publics semi-structurés Les tâches de réapprovisionnement en magasin poussent les robots vers des environnements semi-structurés à plus forte variabilité visuelle, avec des obstacles dynamiques et des a priori environnementaux plus faibles. Bien que toujours contraints commercialement, ces contextes introduisent la présence humaine, les occlusions et des dérives de distribution fréquentes. À ce stade, la réussite du modèle ne dépend plus d'un réglage spécifique à la tâche, mais de sa capacité à adapter ses politiques en ligne, en tirant parti de la diversité accumulée des données d'interaction antérieures. Notamment : Réapprovisionnement en magasin et espaces semi-structurés Agencements en monde ouvert Dérives de distribution fréquentes (saisonnalité, planogrammes) Interaction critique pour la sécurité avec des humains L'exposition à des environnements en contact avec le public, partiellement prévisibles, prépare le système aux domaines domestique et de la santé, où la structure est minimale et où les exigences de sécurité dominent. Étape 6 : domaines domestique et de la santé Les contextes domestique et de santé représentent l'aboutissement de cette trajectoire : environnements non structurés, grande diversité d'objets, objets déformables, interactions critiques pour la sécurité et cas limites en longue traîne. Fait important, ces domaines ne sont pas abordés directement, mais avec un modèle pré-entraîné et post-entraîné sur un maillage riche de tâches adjacentes. Parce que le système a déjà exploré de larges portions des variétés de manipulation, de perception et de coordination, ces domaines deviennent une question de densité et d'alignement des données, et non de réinvention architecturale. Ces domaines comprennent : Des objets et des environnements très divers Une faible répétabilité et une supervision éparse De fortes exigences de sécurité, de fiabilité et de confiance Domaines domestique et de la santé