Der Einsatz von Vision-Language-Action-Modellen (VLA) offenbart eine entscheidende Grenze: den Distribution Shift zwischen statischem Pretraining und der dynamischen realen Welt. Bei neuartigen Konfigurationen zeigen selbst robuste Policies systematische Fehlermodi. Um das zu überwinden, schlagen wir einen Paradigmenwechsel vor, der von biologischer Intelligenz inspiriert ist. Menschen und Tiere lernen durch Selbsterkundung ebenso wie durch die Interaktion mit Lehrenden. Wir sind überzeugt, dass die Zukunft des Roboterlernens auf den Prinzipien des Selbstlernens und der Interaktion mit menschlichen Lehrenden beruht. Lernen durch Exploration Wir stellen Interactive RL Policy Patching vor, ein verteiltes Framework, das Selbstlernen aus menschlichem Reward sowie Policy-Updates durch kurze menschliche Korrektureingriffe ermöglicht. Dafür passen wir Online-Off-Policy-Reinforcement-Learning an. Unser Ansatz erlaubt eine schnelle Anpassung an neue Aufgabenbedingungen und bewahrt zugleich bereits erworbene Fähigkeiten: Das Verhalten der Policy stimmt besser mit den menschlichen Präferenzen überein und benötigt im Vergleich zu klassischen Ansätzen weniger Explorationszeit. Mehr als Retraining: kontinuierliche Verbesserung durch Policy Patching Wenn eine Policy falsches Verhalten zeigt, besteht der übliche Ansatz darin, zusätzliche Daten zu sammeln und das Modell neu zu trainieren oder umfassend zu feintunen. Das kann den beobachteten Fehler zwar beheben, ist aber ineffizient, weil es viele Runden aus vollständigem Retraining und Rollout erfordert, bis alle Fehler beobachtet sind und der gesamte Zustands-Aktions-Raum gut abgedeckt ist. Stattdessen behandeln wir die Korrektur einer Policy als leichtgewichtiges Update. Eine kurze menschliche Anleitung zeigt im Fehlerzustand das gewünschte Verhalten, und diese Information wird anschließend per Reinforcement Learning in die Policy eingearbeitet. So lassen sich einzelne Fehlermodi gezielt korrigieren, ohne die gesamte Policy neu zu trainieren. Interactive RL Policy Patching Wir stellen Interactive RL Policy Patching vor, ein Framework, das demonstrationsbasierte Anleitung in Reinforcement Learning integriert, um eine effiziente Anpassung bei verbesserter Generalisierung zu erreichen. 1. Foundation Model Unser Cortex-Modell liefert einen starken Prior, trainiert auf Hunderten Millionen realer Roboterinteraktionen. Es erfasst die allgemeinen Prinzipien des industriellen Pick-and-Place, stößt aber – wie jedes vortrainierte Modell – auf Edge Cases, in denen die gelernte Policy nicht ausreicht. 2. Menschlich geführte Demonstration Scheitert der Roboter in einem neuartigen Szenario, greift eine Bedienperson per Teleoperation ein und liefert eine kurze Demonstration, die den konkreten Fehlerfall löst. 3. Interaktives RL-Rollout Statt das Modell darauf zu trainieren, den Trajektorienfehler gegenüber der Demonstration zu minimieren, nutzen wir die menschliche Eingabe als Anleitung und formen daraus ein Reward-Signal für Off-Policy-Reinforcement-Learning: Patch: Die Bedienperson demonstriert das korrigierende Verhalten. Policy-Update: Wir aktualisieren das Modell mit Online-Off-Policy-Reinforcement-Learning. Rollout: Der Roboter führt die aktualisierte Policy in der realen Umgebung aus. Verifikation: Gelingt die Aufgabe, verstärkt ein positiver Reward das neue Verhalten. (Derzeit wird dieser Reward wegen der hohen Komplexität der Aufgaben von der Bedienperson vergeben; mögliche Weiterentwicklungen diskutieren wir weiter unten.) Abbildung 1: Gesamtarchitektur des Systems Diese Architektur schafft einen Feedback-Kreislauf, der die sample-ineffiziente Explorationsphase reinen RLs umgeht und zugleich ein vollständiges Retraining der Policy vermeidet. Replay Memory Das Training läuft auf zentraler GPU-Infrastruktur und speist sich aus einem Replay Buffer, der drei Datenquellen zusammenführt: Offline-Daten: ein Auszug unserer industriellen Manipulationsdaten aus über 100 im Einsatz befindlichen Roboterstationen, ergänzt um Aufzeichnungen menschlicher Teleoperation. Sie bilden die Basisverteilung für das Pretraining des VLA-Modells. Online-Daten: laufend erfasste Rollouts der ausgerollten Policies im Produktivbetrieb. Sie erfassen den Distribution Shift und die Umgebungsvariabilität, die Offline-Daten allein nicht abbilden können. Behavioral-Patch-Daten: kurze, gezielte Episoden, in denen Bedienpersonen als Reaktion auf beobachtete Fehler korrigierende Handlungen demonstrieren. Actor-Critic-Architektur Für die Policy-Optimierung setzen wir auf ein Actor-Critic-Framework. Der Actor erzeugt Aktionen, der Critic lernt den erwarteten Wert eines Zustands-Aktions-Paars. Dieses Design ermöglicht schnelle Policy-Updates, da der Actor korrigierendes Verhalten mit vergleichsweise wenigen Gradientenschritten aufnehmen kann. Zudem können wir die Pipeline damit End-to-End mit direkten Signalen aus der Umgebung trainieren und benötigen kein komplexes gelerntes Reward-Modell. Verteilte Parametersynchronisation Um Verbesserungen über die ausgerollte Flotte zu verteilen, betreiben wir eine verteilte Parameter-Queue. Der zentrale Learner veröffentlicht regelmäßig aktualisierte Policy-Gewichte, die von den einzelnen Robotern asynchron abgerufen werden. Liefert eine Bedienperson an einem Standort eine korrigierende Demonstration, steht das daraus resultierende Policy-Update flottenweit zur Verfügung – die Kosten jedes menschlichen Eingriffs verteilen sich damit auf alle Installationen. Experimente in der realen Welt Wir evaluieren Interactive RL Policy Patching an zwei Manipulationsaufgaben und vergleichen es mit unserem Baseline-Cortex-VLA, das per Imitation Learning vortrainiert wurde. Die erste Aufgabe ist das Auspacken eines Schuhkartons: Der Roboter öffnet den Karton, entfernt das Packpapier und legt die Schuhe in einen separaten Behälter. Die zweite Aufgabe ist das Sortieren von Schrauben in einen Werkzeugkasten, wobei der Roboter jede Schraube in das richtige Sortierfach legen muss. Patching der Schuhkarton-Auspackaufgabe (Patch für das Greifen des Papiers) Patching der Schuhkarton-Auspackaufgabe (Patch für das Greifen der Sohle) Patching der Schraubensortier-Aufgabe (Greif-Patch) Ihr Browser unterstützt das Video-Tag nicht. Empirisch deutet Policy Patching auf eine Reduktion sowohl des Datenbedarfs als auch des Rechenaufwands hin. Da Fehler oft auf bestimmte Punkte einer Trajektorie begrenzt sind, erlaubt das Sammeln von Teilepisoden gezieltere Korrekturen als die Aufnahme vollständiger Episoden. Wir haben beobachtet, dass der Patch beim ersten Anzeichen eines Fehlers eingreift und so die Aktionssequenz verkürzt, die der Roboter lernen muss. Das vereinfacht das Problem, weil es auf die unmittelbare Korrektur statt auf eine langfristige Wiederherstellung fokussiert. Diese Beobachtungen deuten darauf hin, dass Policy Patching eine vielversprechende Richtung ist, um die Robustheit von Policies mit geringerem Datenaufwand zu verbessern. Erste Ergebnisse Erste Ergebnisse zeigen, dass die zentrale Schwäche des per Imitation Learning vortrainierten Cortex VLA nicht in der nominalen Aufgabenausführung liegt, sondern darin, sich zuverlässig und effizient aus seltenen oder ungesehenen Fehlerzuständen zu erholen. Policy Patching setzt genau dort an, indem es an den Fehlerpunkten menschlich überwachte Recovery-Trajektorien einspeist und die Policy neues Verhalten aus minimalen zusätzlichen Daten lernen lässt. Verbesserungen der Erfolgsquote stammen dadurch vor allem aus der besseren Recovery-Fähigkeit und nicht aus längerer Exploration oder längerem Training. Die kürzeren Episoden und die schnelle Anpassung legen zudem nahe, dass Policy Patching das Lernen auf besonders wirkungsvolle Zustandsübergänge konzentriert – effizienter und robuster für den Einsatz in der realen Welt. Das senkt auch die Hürden für Training in der realen Welt. Reale Umgebungen verzeihen wenig: Resets sind langsam, Hardware ist empfindlich, und die exakte Reproduktion eines Zustands (entscheidend für Methoden wie paarweises Online-RL) ist oft unmöglich. Weil unsere Methode weniger Rollouts und Teleoperationsstunden bis zur Konvergenz benötigt, meistert sie diese physischen Randbedingungen sicherer und kostengünstiger als Standardverfahren. Unsere experimentelle Auswertung konzentriert sich in erster Linie auf die Abwägungen zwischen Policy Patching und vollständigem Retraining der Policy und zeigt klare Vorteile bei Dateneffizienz und Robustheit der Leistung. Um den Kontext zu erweitern, benchmarken wir diese Verfahren derzeit zusätzlich gegen rein reinforcement-learning-basierte Ansätze der Selbstexploration. Wirkung von Policy Patching auf die Episodenlänge über verschiedene Aufgaben hinweg Abbildung 2: Wirkung von Policy Patching auf die Episodenlänge über verschiedene Aufgaben hinweg Sample-Effizienz von Interactive Policy Patching im Vergleich zu vollständigem SFT-Retraining Abbildung 3: Sample-Effizienz von Interactive Policy Patching im Vergleich zu vollständigem SFT-Retraining Ausblick Policy Patching ermöglicht gezielte Korrekturen, ohne ganze Policies neu zu trainieren. Indem wir Episoden aus bestimmten Fehlerzuständen heraus starten und fokussierte Demonstrationen liefern, können wir Fehlermodi mit minimalen Daten beheben und die Kosten vollständiger Retraining-Zyklen vermeiden. Darüber hinaus ist unsere Methode ein Schritt in Richtung Flottenlernen über mehrere Aufgaben hinweg und führt zu Policies, die zielorientierter sind als reine Imitation-Learning-Policies. Unabhängig davon, wie sich Foundation Models oder Methoden der Datenerhebung weiterentwickeln, bleibt eine sample-effiziente Verhaltenskorrektur eine Kernherausforderung beim Betrieb robotischer Systeme im großen Maßstab. Interaktive Lernansätze wie der hier beschriebene bieten einen praktikablen Weg zu kontinuierlicher Verbesserung in ausgerollten Flotten, in denen ein Training von Grund auf oft nicht machbar ist. Wir freuen uns darauf, detaillierte Ergebnisse im kommenden Paper zu teilen. Lightbox Vorheriges Video Nächstes Video Zu Video {{number}} springen Schließen