Le partenariat fait tourner le flywheel de données de Sereact - des épisodes réels en entrée, des politiques validées en sortie - sur le Physical AI Workbench de Nebius. Le premier workflow commun est un pipeline sim-to-real en boucle fermée, que des agents IA construisent et exploitent à l'aide de NVIDIA Isaac, NVIDIA Cosmos et NVIDIA Cosmos Data Factory, et qui est d'abord déployé pour les robots Sereact chargés du réapprovisionnement des rayons en magasin.
Sereact, l'entreprise d'IA incarnée à l'origine du cerveau robotique Cortex, et Nebius, l'entreprise d'infrastructure IA, ont annoncé aujourd'hui un partenariat visant à raccourcir la boucle grâce à laquelle les robots en service sur des sites d'entreprise s'améliorent. Sereact exécutera sa boucle d'apprentissage - collecter, simuler, entraîner, évaluer, déployer - sur le Physical AI Workbench de Nebius, afin que ce qu'un robot apprend sur le site d'un client parvienne au site suivant en quelques jours plutôt qu'en plusieurs semaines. Le premier pipeline commun est déjà opérationnel : un workflow sim-to-real en boucle fermée, que des agents IA assemblent et pilotent, utilisé d'abord pour les robots Sereact chargés du réapprovisionnement des rayons en magasin.
Une flotte de robots ne progresse jamais plus vite que sa boucle la plus lente. Le modèle Cortex de Sereact apprend à partir de prélèvements réels, mais transformer un échec survenu sur le site d'un client en une meilleure politique sur le robot devait encore passer par le monde physique. Il fallait collecter des épisodes sur site, réentraîner, tester sur le robot, puis recommencer. Chaque cycle prenait des semaines et ne couvrait que les scénarios qu'une équipe pouvait mettre en scène à la main. Lorsqu'un robot de réapprovisionnement manipule des milliers de SKU, avec un mobilier, des emballages et un éclairage qui varient d'un magasin à l'autre, chaque nouveau magasin représente un nouvel ensemble de conditions inédites, et la surface de vente n'est pas un laboratoire d'essais. La simulation pouvait couvrir ces conditions, mais mettre en place NVIDIA Isaac Sim, NVIDIA Cosmos, des clusters d'entraînement et des environnements d'évaluation sur des GPU cloud, puis relier le tout, relevait d'un lourd projet d'infrastructure, et non d'un projet de robotique.
Sur le Physical AI Workbench de Nebius, la boucle devient un workflow unique reposant sur une seule couche de données partagée. Les épisodes réels - vidéo et cinématique - arrivent dans un unique bucket de stockage objet Nebius. À partir de là, le pipeline enchaîne sept étapes : ingestion ; simulation et augmentation (Isaac Lab génère 10 000 variantes d'environnement et Cosmos en produit de nouveaux rendus selon différentes conditions d'éclairage, de mobilier et d'emballage) ; versionnage du jeu de données avec une répartition 80/20 ; entraînement de la politique sur 8 000 environnements ; évaluation sur 2 000 environnements exclus de l'entraînement, à l'aide d'une grille d'évaluation notée par un VLM ; comparaison du score à un seuil ; et, en cas de réussite, déploiement sur le robot en magasin pour un test en conditions réelles. En cas d'échec, le pipeline génère une augmentation ciblée pour les scénarios manqués, réentraîne la politique et la réévalue. Résultat : un robot de réapprovisionnement qui arrive dans un nouveau magasin déjà validé sur des milliers de variantes des conditions propres à ce magasin.
La nouveauté, c'est qui construit et exécute le pipeline. Au lieu d'ingénieurs qui relient cinq outils à la main, c'est un agent IA qui assemble le workflow à partir de skills. Les blueprint skills NVIDIA Cosmos Data Factory sont des fichiers d'instructions ouverts et versionnés qu'un agent de codage lit directement ; chacun prend en charge la sélection du flux, les vérifications préalables des identifiants et du pool de GPU, le contrôle du cache des modèles, la soumission, le suivi et la récupération des résultats. Nebius y ajoute des skills Workbench pour la simulation à grande échelle, l'entraînement, l'évaluation et le seuil de validation. L'agent orchestre ensuite l'exécution : il estime la durée et le coût GPU avant tout lancement, démarre chaque étape, vérifie le seuil de validation et, lorsqu'une exécution échoue, décide des scénarios à augmenter, relance l'exécution et rend compte de l'écart. Les ingénieurs décrivent le résultat attendu - "valider la politique de réapprovisionnement pour le nouveau mobilier de rayonnage" - et approuvent les décisions au-delà d'un seuil de coût. L'agent s'occupe du reste.
"Une flotte de robots est un système d'apprentissage, et aujourd'hui, l'essentiel de ce système repose sur des ingénieurs épuisés", a déclaré Evan Helda, responsable de l'IA physique chez Nebius. "Sereact dispose déjà du plus difficile - un milliard de prélèvements réels et des clients qui font confiance à ses robots. Ce que nous apportons, c'est la boucle : les épisodes réels entrent, une politique validée en sort, et un agent exécute les étapes intermédiaires. Commencer par le réapprovisionnement en magasin est un choix délibéré. Des milliers de SKU, des centaines de magasins, et pas deux allées identiques."
"Cortex s'est amélioré en apprenant à partir de prélèvements réels, et cela ne changera pas. Ce que ce partenariat apporte, c'est la couverture et la vitesse : le magasin que nous n'avons pas encore ouvert, le mobilier livré au prochain trimestre, l'éclairage à l'heure de la fermeture, testés sur dix mille variantes", a déclaré Ralf Gulde, PDG de Sereact.
Le pipeline sim-to-real en boucle fermée est disponible dès aujourd'hui sous la forme d'une architecture de référence Workbench, avec les blueprint skills NVIDIA Cosmos Data Factory préinstallés, pour toute équipe robotique travaillant sur Nebius. Il fonctionne dans les régions européennes de Nebius ; les clients paient la puissance de calcul et le stockage qu'ils utilisent, sans frais Workbench distincts. Les équipes robotiques peuvent demander une place de partenaire de conception auprès de leur équipe commerciale Nebius.
Sereact conçoit de l'IA physique pour les entrepôts et l'industrie. Son cerveau Cortex équipe des cellules de picking mono-bras, des stations de retours bi-bras, des robots humanoïdes et Sereact Lens, un système de perception 3D dédié à l'inventaire et au contrôle qualité. Fondée en 2021, l'entreprise a son siège à Stuttgart. Parmi ses clients figurent IKEA, Arvato, alza.cz, Flaschenpost, Sonepar, Monta part of DHL, Daimler Truck, Mercedes-Benz, BMW, MS Direct, Paxon part of Bnode, DeltiLog, Rohlik Group et Austrian Post. Avec la participation de Zalando, Sereact a désormais levé plus de 145 millions de dollars à ce jour.
NVIDIA (NASDAQ : NVDA) est le pionnier du calcul accéléré et une force motrice de l'ère moderne de l'IA, fournissant les plateformes utilisées dans tous les secteurs, du cloud computing à la robotique. À travers sa plateforme Isaac, NVIDIA accompagne les développeurs en robotique avec des outils de simulation, d'entraînement et de déploiement - notamment NVIDIA Isaac Sim, qui permet à des entreprises comme Sereact de développer et de valider des robots dans des environnements virtuels physiquement fidèles avant de les déployer en exploitation réelle.
Nebius, l'entreprise du cloud IA, construit la plateforme full-stack qui permet aux développeurs et aux entreprises de prendre en main leur avenir dans l'IA - des données et de l'entraînement des modèles jusqu'au déploiement en production. Forte d'une expertise technologique interne approfondie et opérant à grande échelle avec une présence mondiale en rapide expansion, Nebius accompagne les startups et les entreprises qui développent des produits, des agents et des services d'IA dans le monde entier. Nebius est cotée au Nasdaq (NASDAQ : NBIS) et son siège se trouve à Amsterdam.
Accédez au contenu et aux fichiers de cet article
Copiez l'intégralité du texte de l'article dans le presse-papiers pour le lire ou le partager facilement.
Téléchargez dans un fichier ZIP toutes les images haute résolution utilisées dans cet article.