L'automatisation full-stack, c'est résoudre les problèmes difficiles de bout en bout. Le monde réel offre rarement un problème simple avec un seul robot et un seul préhenseur. Il offre un centre de préparation mode avec des postes de picking servis par des bras uniques, des stations de retours qui exigent deux bras pour tout ce qui revient par le réseau, et des humanoïdes qui chargent des chariots en surface. Faire tourner un seul modèle sur l'ensemble, c'est précisément ce pour quoi Cortex a été conçu dès le premier jour. Pour atteindre une véritable généralisation en robotique, l'intelligence a besoin des bons outils pour agir. Le secteur aime célébrer les percées matérielles isolément. Nous les voyons comme un moyen au service d'une fin. Un préhenseur seul n'est pas une solution, c'est un composant. Le travail intéressant consiste à l'intégrer dans un système qui fonctionne réellement : perception, planification, récupération, savoir quand s'engager et quand corriger. Sans un modèle qui sait déjà utiliser n'importe quel outil qu'on lui présente, chaque nouveau matériel devient un projet d'intégration de plus, et la valeur de meilleurs bouts de doigts est absorbée par le coût d'apprendre au reste du système à s'en servir. Les distributions d'objets ne restent pas figées. Les stations de retours voient des milliers de SKU que personne n'avait prévus. Le modèle en production doit généraliser sur l'ensemble : sur les robots, sur les préhenseurs, sur toute la longue traîne du catalogue. Vidéo de déploiement Cortex sur boîtes à chaussures Comment Cortex 2.0 prend en main un nouveau préhenseur Le préhenseur change, le modèle non. Nous avons récemment intégré un nouvel effecteur conçu pour la chaussure. Cortex l'a pris en main sans réentraînement. Un petit jeu de démonstrations téléopérées a suffi à ancrer les nouveaux mouvements ; le reste du modèle a été repris tel quel. Cette seule intégration a multiplié par un ordre de grandeur les articles que notre flotte traite de façon fiable et a ouvert toute la gamme des produits mode. Les boîtes à chaussures représentent une part importante des entrepôts de nos clients mode. Un humanoïde qui charge et décharge des chariots en surface. Une station de retours bi-bras qui manipule des cartons déjà ouverts, remballés et déformés par leur passage dans le réseau. Une cellule de picking mono-bras avec un effecteur sur mesure conçu spécifiquement pour les boîtes à chaussures : rapide, robuste et capable de déplacer des milliers d'unités par équipe sans rater un temps. Comment Cortex 2.0 prend en main un nouveau préhenseur Cortex 2.0 traite chaque préhenseur comme une entité à part entière. Chacun dispose de son propre embedding dynamique appris dans une table d'embeddings partagée, et cet embedding est injecté dans le world model, le VLM bas niveau et les têtes d'action VLA. Comme la planification a lieu dans l'espace latent visuel, où les pixels portent des régularités sur les objets, le contact et le mouvement, elle se transfère d'un corps à l'autre : le modèle est conditionné sur la main qu'il porte à chaque niveau où cette information compte. Parmi les différents futurs candidats déroulés par le world model, PRO évalue chacun selon la progression, le risque et la stabilité. Le tout conditionné sur le préhenseur actif. Le décodeur d'action produit la représentation de commande. Deux têtes de sortie légères, au-dessus, produisent la commande du bras et celle de l'effecteur. Comme l'embedding et l'essentiel du décodeur sont partagés entre modules et préhenseurs, changer de matériel n'oblige pas à réentraîner le planificateur. Intégrer un nouveau préhenseur consiste à ajouter une ligne à la table d'embeddings, à collecter un petit jeu ciblé de démonstrations téléopérées pour l'ancrer, et à laisser la tête préhenseur apprendre le comportement propre au nouvel actionneur. Tout le reste suit sans changement. Le préhenseur à boîtes à chaussures — notre effecteur mono-bras conçu de zéro pour les boîtes à chaussures. Les boîtes à chaussures sont trompeusement difficiles. Assez rigides pour récompenser une prise assurée, assez fragiles pour punir une mauvaise. Elles s'empilent serré. Elles existent en une douzaine de tailles chez une même marque et en une centaine à l'échelle d'un catalogue mode. Elles arrivent couvercle desserré, coins écrasés, film rétractable à moitié arraché. Notre préhenseur à boîtes à chaussures est conçu spécifiquement pour cette catégorie. Sa géométrie est calée sur la plage d'encombrement standard des boîtes, avec de la souplesse dans les surfaces de contact pour absorber la variation. Il s'engage en un seul mouvement : pas de reprise, pas de tâtonnement. Effecteur préhenseur à boîtes à chaussures Là où le préhenseur à boîtes à chaussures excelle : Cellules de picking à haut débit avec des équipes soutenues au régime maximal, où chaque seconde de temps de cycle compte. Préparation sortante pour les enseignes de chaussures — la qualité de dépose et l'orientation comptent pour l'emballage en aval. Cortex a pris en main le préhenseur à boîtes à chaussures comme il prend en main toute nouvelle main : un petit ensemble de démonstrations téléopérées, aucun réentraînement du planificateur, déployé sur un site client quelques semaines après que le matériel était prêt. Là où il excelle : Préhenseur à deux doigts Le préhenseur à deux doigts est la bête de somme. Mécanisme simple, robuste, rapide, facile à entretenir. Deux mors opposés, une géométrie de pointe configurable, une plage d'effort qui couvre la plupart des articles rigides et semi-rigides d'un catalogue mode ou e-commerce. Station de retours Marchandises en carton de tailles variées Articles qui exigent une pince assurée Préhenseur à deux doigts manipulant une boîte à chaussures Main humanoïde La main humanoïde est l'effecteur le plus général que nous exploitons, et celui dont le plafond de dextérité est le plus élevé. Cinq doigts, un pouce opposable, un espace de travail qui recoupe celui des humains. C'est le préhenseur de choix pour les environnements conçus autour des personnes : surfaces de vente, entrepôts aux rayonnages à échelle humaine, stations de retours qui doivent traiter tout ce qu'un client a renvoyé. Chargement et déchargement de chariots et de bacs Manipulation d'objets hétérogènes Marchandises souples et irrégulières Main humanoïde manipulant une boîte à chaussures Préhenseur à ventouse La ventouse est la prise la plus rapide dont nous disposons quand la géométrie s'y prête : une surface plane ou quasi plane, une étanchéité nette, un unique prélèvement vertical. Cortex l'exploite comme tout le reste : une option parmi plusieurs, choisie quand la scène l'appelle. Picking de polybags Cartons et boîtes à dessus plat Cellules mono-bras à haut débit Préhenseur à ventouse manipulant un polybag Au-delà de l'entrepôt La préparation de commandes mode est le moteur immédiat. Chaussure, habillement et retours sont des catégories où la manipulation de boîtes, la manipulation textile et la grande diversité de SKU sont le quotidien, et où l'économie unitaire dépend d'un débit maximal sans compromis sur la qualité de dépose. Le même déploiement Cortex qui traite les retours chez un client peut migrer vers un centre de préparation mode et commencer à prélever des boîtes à chaussures la semaine suivante, sur du matériel qui n'existait pas dans le jeu d'entraînement un mois plus tôt. La même logique va plus loin. Les cellules de production ont besoin d'effecteurs différents selon les pièces, et le modèle qui les pilote doit savoir quand et comment changer. Les environnements domestiques, prochaine frontière de l'IA physique, exigeront une palette d'outils encore plus large, car aucune main unique ne couvrira jamais la diversité des objets d'une vraie maison. Les entreprises de robotique qui gagneront dans ces environnements seront celles dont les modèles se moquent de la main qu'ils portent, et dont la feuille de route matérielle est dictée par ce dont la couche d'intelligence a besoin ensuite, plutôt que l'inverse. Chaque nouveau préhenseur que nous intégrons rend le suivant plus rapide. Chaque boîte à chaussures prélevée, sur n'importe quel robot, rend le prélèvement suivant plus fiable sur tous les autres. Le matériel est l'infrastructure. L'intelligence est le levier. Nous avons bâti un système où ajouter du premier démultiplie la valeur du second, et nous livrons ce système aujourd'hui sur plus de 200 déploiements en production.