La boucle d'apprentissage en conditions réelles
Blog|

La boucle d'apprentissage en conditions réelles

S
Sereact4 min de lecture
The Real-World Learning Loop

Un point de départ différent pour l'intelligence robotique

Sereact fonctionne à la fois comme un laboratoire de recherche de pointe et comme une entreprise d'IA robotique de qualité production. L'opinion dominante dans notre secteur veut que l'intelligence robotique polyvalente commence par les modèles : réseaux plus grands, nouvelles architectures ou simulations toujours plus sophistiquées. Chez Sereact, nous défendons une vision à contre-courant : l'intelligence robotique polyvalente doit s'apprendre à partir de déploiements en service.

La couverture des régimes d'interaction réels par les données et l'alignement des distributions entre entraînement et déploiement sont déterminants. Les systèmes qui doivent percevoir, raisonner et agir sous contraintes physiques évoluent dans un monde régi par le contact, le frottement, l'incertitude et la variation en longue traîne. Les robots doivent apprendre par des interactions abondantes et des retours issus des environnements mêmes où ils sont déployés.

Notre approche consiste à bâtir une boucle d'apprentissage en conditions réelles. Plutôt que de séparer la recherche du déploiement, l'apprentissage est piloté directement par l'exploitation en production. Chaque prélèvement réussi, chaque échec et chaque reprise devient un signal d'entraînement riche.

À notre connaissance, cette approche est inédite à l'échelle industrielle en dehors de la conduite autonome, et c'est ce qui fait de Sereact une entreprise qui définit sa catégorie.

Le déficit de données de l'IA physique

Les résultats empiriques de la recherche récente en robotique indiquent que la performance est souvent davantage limitée par la disponibilité de données d'interaction réelles à grande échelle que par la capacité des modèles.

La manipulation est régie par une dynamique riche en contacts — forces, frottement, compliance et contacts transitoires — qui n'est que partiellement observable et mal représentée dans la plupart des autres modalités de données. La vidéo égocentrique et exocentrique fournit un contexte sémantique et géométrique, mais n'encode pas les signaux d'effort et tactiles qui sous-tendent la stabilité de la manipulation, la précision d'insertion et les comportements de reprise.

Les données synthétiques et la simulation peuvent approcher ces interactions, mais dans une mesure limitée. Elles s'appuient sur des modèles de contact simplifiés et des hypothèses idéalisées qui ne capturent pas la structure propre aux environnements réels : entrepôts, sites de production, magasins. Ces environnements présentent des distributions très non uniformes, façonnées par les contraintes du secteur, les flux de travail humains et l'usure du matériel, difficiles à reproduire de façon synthétique.

En conséquence, les politiques entraînées principalement sur des données synthétiques ou hors ligne tendent à sur-apprendre des schémas d'interaction idéalisés et se dégradent en conditions réelles. Une généralisation robuste exige donc une exposition à grande échelle à des données d'interaction réelles, qui ancrent l'apprentissage dans la véritable distribution conjointe de perception, d'action et de réponse physique rencontrée en exploitation.

En robotique, la généralisation émerge de l'expérience, et non de la seule abstraction. Cette expérience doit refléter les distributions réelles d'objets, d'environnements et d'interactions rencontrées en production.

La boucle d'apprentissage en conditions réelles

La boucle d'apprentissage en conditions réelles met en œuvre le principe selon lequel une intelligence robotique robuste doit s'apprendre par une interaction réelle soutenue. Au lieu de découpler la collecte de données du déploiement, l'apprentissage est piloté directement par des robots qui effectuent un travail de production chez les clients. À tout instant, une large flotte de robots opère activement sur des sites, des tâches et des conditions variés, générant des flux continus de données d'interaction comme sous-produit de la résolution de problèmes réels.

Amorcer une boucle d'apprentissage en conditions réelles est difficile. Passer d'une poignée de systèmes à 10, 20 et au-delà doit se faire tout en respectant des KPI clients stricts en matière de disponibilité, de débit et de fiabilité. Les systèmes sous-performants sont rapidement retirés et la confiance des clients est difficile à gagner ; seuls les systèmes qui apportent une valeur immédiate et fiable sont autorisés à monter en charge.

Cette échelle de déploiement est essentielle. Avec plus de 100 systèmes physiques en exploitation, la flotte Sereact échantillonne un large éventail de conditions réelles : variabilité des objets, différences d'environnement, tolérances matérielles et contraintes opérationnelles. Les données comprennent non seulement les exécutions nominales, mais aussi les échecs, les quasi-échecs et les comportements de reprise — des événements qui surviennent naturellement en exploitation continue.

À mesure que les modèles s'améliorent, les robots intériorisent la physique réelle et la dynamique des systèmes, bouclant l'apprentissage : les données se cumulent, les capacités progressent et la couverture de l'espace d'interaction s'élargit. La généralisation émerge progressivement de l'exploitation réelle continue, formant le socle de l'architecture d'apprentissage décrite ci-après.


Architecture pour l'apprentissage continu

L'architecture d'apprentissage ci-dessous place le déploiement au centre du processus. Tous les robots alimentent en données réelles un Cortex unique et centralisé, qui met continuellement à jour des politiques redéployées sur l'ensemble de la flotte.

Exécution de la politique in situ

La politique courante est exécutée sur des robots déployés dans des environnements de production réels. L'exécution est contrainte par des exigences de sécurité, de latence et de fiabilité, tout en exposant des signaux internes utiles à l'apprentissage en aval. Plutôt que de traiter le déploiement comme un point d'arrivée figé, l'exécution est considérée comme la source première du signal d'apprentissage.

Acquisition continue de données

En exploitation, les robots annotent automatiquement leurs interactions en enregistrant des observations sensorielles synchronisées, l'état du robot, les trajectoires d'action, le retour d'effort du préhenseur et les résultats de tâche — en préservant la structure temporelle et causale et en reflétant la distribution pertinente rencontrée en déploiement.

Curation des données et apprentissage

Les données collectées sont filtrées et priorisées selon des critères tels que la nouveauté, l'incertitude, les événements d'échec et la dérive de distribution. Les échantillons retenus servent à mettre à jour les représentations et les politiques du modèle, garantissant que l'apprentissage reste ancré dans l'interaction réelle. Cela concentre l'apprentissage sur la longue traîne des interactions rares et incertaines, moteur d'une généralisation significative.

Évaluation et redéploiement des politiques

Les modèles mis à jour sont évalués automatiquement au sein d'un pipeline continu entraînement–évaluation–déploiement, à l'aide de métriques hors ligne et de critères pertinents pour le déploiement, y compris des contrôles de robustesse et de non-régression. Les politiques qui franchissent des seuils de validation prédéfinis sont ensuite déployées de manière automatisée sur la flotte, bouclant l'apprentissage.

La généralisation naît de l'expérience (un sous-produit du déploiement)

En manipulation robotique, de faibles variations de géométrie, de conditions de contact ou de synchronisation peuvent conduire à des résultats qualitativement différents, ce qui rend la généralisation intrinsèquement difficile. L'exploitation continue en environnement de production expose le système à cette variation à grande échelle.

Comme le montre la figure 2, augmenter la quantité de données d'interaction réelles conduit à une expansion systématique de la compétence sur les tâches. Avec peu de données réelles, les modèles ne réussissent que sur un sous-ensemble étroit de tâches, avec des performances inégales et fragiles. Lorsque les données réelles deviennent le signal d'entraînement dominant, les taux de réussite progressent de façon constante sur l'ensemble des tâches, produisant un paysage tâche-performance plus dense et plus uniforme. Ces gains n'apparaissent qu'à des régimes élevés de données réelles, ce qui indique que l'interaction réelle apporte une structure transférable plutôt qu'un réglage propre à chaque tâche.

Illustration de la boucle d'apprentissage en conditions réelles

Figure 2. L'échelle des données réelles détermine l'étendue des tâches et la généralisation. Carte de chaleur des taux de réussite sur des tâches de manipulation tenues à l'écart, en fonction de l'échelle croissante des données réelles. Des proportions plus élevées de données d'interaction réelles produisent des performances plus larges et plus régulières, signe d'une meilleure généralisation.

Au-delà de la généralisation entre tâches, les données réelles permettent aussi le transfert entre corps de robots. Les politiques entraînées sur des données réelles de pick-and-place en entrepôt généralisent nettement mieux entre morphologies de robots que celles entraînées uniquement en simulation. Les données réelles apportent des gains constants sur toutes les plateformes. Ce transfert est possible parce que les données réelles ancrent l'apprentissage dans des lois physiques invariantes et des primitives de manipulation partagées, permettant à la dynamique d'interaction de généraliser d'un facteur de forme à l'autre.

À mesure que la performance s'améliore, les robots peuvent être déployés sur des scénarios plus exigeants, élargissant encore la couverture de l'espace d'interaction. Cela crée un effet cumulatif : des données réelles supplémentaires améliorent non seulement la performance sur les tâches existantes, mais réduisent aussi l'effort marginal nécessaire pour prendre en charge de nouvelles tâches et de nouveaux corps. Dans ce régime, la généralisation émerge naturellement comme conséquence du fait d'opérer et d'apprendre à grande échelle dans le monde réel, plutôt que comme objectif d'optimisation explicite.

Figure 3. Les données réelles permettent la généralisation entre corps de robots.

Efficacité de généralisation normalisée entre corps de robots, pour un entraînement sur données de simulation uniquement contre des données réelles de pick-and-place en entrepôt. L'entraînement sur données réelles produit un transfert nettement supérieur pour tous les corps, tandis que l'entraînement en simulation seule montre une généralisation inter-corps constamment faible.

Un avantage de données et de performance impossible à répliquer

Sereact Cortex est conçu, entraîné et déployé dans le monde réel, ce qui crée un très fort avantage en données et en performance. Une conséquence centrale de cette approche est que l'acquisition de données est indissociable de la création de valeur. Plutôt que de s'appuyer sur la téléopération ou des collectes de données mises en scène — des approches dont le coût croît linéairement et qui restent déconnectées de la valeur client —, Cortex apprend par une exécution soutenue en production.

Les robots produisent des données en faisant un vrai travail. Chaque exécution réussie, chaque reprise et chaque échec survient dans un contexte opérationnel réel et porte une pertinence économique directe. À mesure que les déploiements montent en charge, le système n'accumule pas seulement plus de données ; il acquiert des données de plus en plus diverses, alignées en distribution et représentatives des contraintes réelles. Les cas limites ne sont pas fabriqués mais rencontrés naturellement à l'usage, et à mesure que la performance progresse, on confie aux robots des scénarios plus complexes, ce qui élargit encore le signal d'apprentissage.

Schéma de l'architecture de la boucle d'apprentissage en conditions réelles

Ressources de l'article

Accédez au contenu et aux fichiers de cet article

Contenu texte

Copiez l'intégralité du texte de l'article dans le presse-papiers pour le lire ou le partager facilement.

Ressources visuelles

Téléchargez dans un fichier ZIP toutes les images haute résolution utilisées dans cet article.

Derniers articles