Auf einen Blick Aufgabenbewusstsein. Ein eigenes Modul zur Subtask-Vorhersage teilt der Policy mit, welche Phase einer Long-Horizon-Aufgabe gerade aktiv ist, und beseitigt damit eine wesentliche Fehlerquelle bei langen Aufgaben. Video-native Wahrnehmung. Unser Subtask Predictor verarbeitet die letzten Frames der visuellen Historie. Konditionierung ohne Umbau. Subtask-Embeddings fließen direkt als Konditionierungssignal in das World Model ein, bevor mögliche Zukünfte erzeugt werden. So wird die Planungsschleife phasenbewusst, ohne dass die nachgelagerte Action-Pipeline verändert werden muss. 95 % Klassifikationsgenauigkeit auf unserem Evaluationsdatensatz, mit messbaren Zuwächsen bei der Ende-zu-Ende-Erfolgsquote gegenüber Policies ohne Subtask-Konditionierung. Einleitung Mit Cortex 2.0 hielt World-Model-basierte Planung Einzug in unseren Manipulations-Stack: Bevor sich der Roboter auf eine Aktion festlegt, stellt er sich mögliche Zukünfte vor und wählt die vielversprechendste aus. Damit ist die Frage beantwortet, was als Nächstes zu tun ist. In industriellen Long-Horizon-Abläufen wie Retourenbearbeitung, Kitting oder mehrstufiger Montage muss die Policy jedoch eine ergänzende Frage beantworten: Wo stehe ich in der Gesamtaufgabe? Nehmen wir einen Retourenprozess. Der Roboter muss ein Paket öffnen, den Artikel erkennen, ihn greifen, seinen Zustand bewerten und ihn in den richtigen Behälter legen. Eine reaktive Policy führt jede einzelne Aktion für sich gut aus, ist aber ohne explizites Bewusstsein für die aktuelle Aufgabenphase anfällig für eine subtile Fehlerklasse: Nicht der Griff selbst misslingt, sondern es wird missverstanden, welcher Griff auszuführen ist, oder es wird gescannt, bevor der Artikel vollständig entnommen ist. Solche Fehler summieren sich über lange Abläufe und sind schwer zu korrigieren, weil der Fehler nicht in der Bewegung liegt, sondern im Kontext. Das Modul zur Subtask-Vorhersage begegnet dem, indem es die aktuelle Aufgabenphase fortlaufend aus der visuellen Historie klassifiziert. Statt auf handgeschriebene Zustandsautomaten oder sprachbasierte Aufgabenzerlegung zu setzen, trainieren wir unseren Subtask Predictor, ein VLM, darauf, Subtask-Grenzen unmittelbar aus dem zu erkennen, was der Roboter sieht. Der klassifizierte Subtask wird eingebettet und als Konditionierungseingabe an das World Model übergeben, sodass die möglichen Zukunfts-Rollouts im Bewusstsein der auszuführenden Aufgabenphase erzeugt werden. Pick & Place: 2 Subtasks Pick-and-Place-Ablauf mit den Subtasks Greifen und Ablegen Retourenbearbeitung: 6 Subtasks Retourenablauf mit den Subtasks Paket öffnen, auspacken, entfalten, reinigen, falten und neu verpacken Warum Subtask-Bewusstsein zählt Die meisten Manipulationsfehler im Produktivbetrieb haben nichts mit der Physik des Greifens zu tun. Sie betreffen die Reihenfolge. Ein Roboter, der hervorragend greift, aber nicht weiß, ob er gerade greifen oder ablegen soll, scheitert an der Gesamtaufgabe. Kurze Aufgaben wie Pick-and-Place, bei denen Start- und Endzustand klar definiert sind, funktionieren mit reaktiven Policies zuverlässig. Komplexere Abläufe sind jedoch Kompositionen vieler solcher Schritte – und an den Übergängen dazwischen bricht es. Zwei unserer zentralen Deployments zeigen das: Retourenbearbeitung Ein einzelner Retourenzyklus umfasst das Öffnen des Pakets, die Entnahme des Artikels, dessen Prüfung und Einstufung sowie das erneute Verpacken. Jede Phase stellt andere Anforderungen an die Manipulation: vorsichtiges Auspacken, präzises Bewerten, sauberes Wiederverpacken. Ohne explizites Phasenbewusstsein wendet die Policy gelegentlich die falsche Manipulationsstrategie auf den aktuellen Kontext an, was zu misslungenen Entnahmen oder falsch verteilten Artikeln führt. Kitting Kitting-Abläufe verlangen vom Roboter, bestimmte Artikel in einer festen Reihenfolge zu greifen und in unterteilte Verpackungen zu legen. Ein Artikel wird womöglich an dieselbe Position wie der vorherige gelegt, oder der Auftrag gilt als abgeschlossen, obwohl noch Artikel fehlen. Je länger und komplexer das Kit, desto entscheidender wird es, dass die Policy nachverfolgt, wo sie in der Sequenz steht. Cross-Embodiment und Multi-Tasks: Wir untersuchen Subtask-Vorhersagen über unsere Forschungsaufgaben und Embodiments hinweg: Mobile Trossen: Zum Schrank fahren, Schrank öffnen, Flasche aus dem Schrank greifen, Flasche in den Behälter legen, Schrank schließen Humanoid Bottle: Herannahenden Menschen erkennen, Wasserflasche greifen, Flasche an die Person übergeben Dualarm Candy: Karton greifen, Karton zur Füllstation bewegen, Süßigkeit greifen, Süßigkeit in den Karton legen, Karton schließen, Karton in das Fach stellen Verzerrung der Aktionsverteilung reduzieren Subtask-Konditionierung hilft außerdem, die Verzerrung der Aktionsverteilung zu verringern. Wenn das World Model weiß, welche Phase aktiv ist, greift es seltener automatisch auf das häufigste Manipulationsprimitiv der Trainingsdaten zurück und erzeugt eher Zukünfte, die die für die aktuelle Aufgabenphase passende Dynamik widerspiegeln. Architektur Das Modul zur Subtask-Vorhersage ist ein schlankes Aufgabenkontext-Modul, das in die Planungsschleife von Cortex 2.0 einspeist und das World Model mit Phasenkontext konditioniert, bevor die Planung beginnt. Auf hoher Ebene besteht das Modul aus zwei aufeinander ausgerichteten Strängen mit je einem Video- und einem Text-Encoder. Visuelles Encoding mit dem Subtask Predictor Der Subtask Predictor verarbeitet die jüngsten Frames der visuellen Historie aus dem Kamerastream des Roboters. Ein einzelnes Bild kann „Anfahren zum Greifen“ nicht von „Anfahren zum Ablegen“ unterscheiden: Die Hand ist ungefähr an derselben Stelle, der Greifer sieht gleich aus, nur die jüngste Historie unterscheidet sich. Indem das Modell mehrere Frames der Vergangenheit auf einmal verarbeitet, löst es diese Mehrdeutigkeiten direkt aus Bewegung und Szenendynamik auf, statt aus handgeschriebenen Heuristiken. Es ist dieselbe Beobachtung, die auch in der Literatur zur Aktionssegmentierung die zeitliche Aggregation motiviert. Um diese Sequenz zu einer Repräsentation fester Größe zu aggregieren, hängen wir eine kleine Menge gelernter Subtask-Query-Tokens an. Der Subtask Predictor kodiert diese Frames in ein gemeinsames Embedding, das sowohl den aktuellen Szenenzustand als auch die zeitliche Dynamik der jüngsten Aktionen erfasst. Textstrang und kontrastives Training Parallel zum Vision-Strang bildet ein kleiner Text-Encoder jede Ground-Truth-Beschreibung eines Subtasks (zum Beispiel „Jeans falten“ oder „Artikel in Karton legen“) auf ein Subtask Query Embedding zt derselben Dimensionalität wie zv ab, ebenfalls L2-normalisiert. Beide Stränge werden gemeinsam trainiert. Für jeden Trainingsclip erzeugt das Modell zwei Embeddings: zv und zt. Diese beiden Embeddings beschreiben dasselbe zugrunde liegende Ereignis aus zwei verschiedenen Modalitäten, und das Trainingsziel besteht darin, sie aufeinander auszurichten. Konkret minimieren wir einen symmetrischen InfoNCE-Loss mit gelernter Temperatur, identisch zum kontrastiven Ziel aus CLIP. Innerhalb jedes Batches von N Paaren aus (Clip, Beschreibung) maximiert der Loss die Kosinusähnlichkeit der zusammengehörenden Paare (positiver Subtask) und minimiert sie für alle nicht zusammengehörenden Paare (negative Subtasks) in beide Richtungen (Clip-zu-Text und Text-zu-Clip). Das formt die visuelle Repräsentation so, dass Nähe im projizierten Raum semantischer Ähnlichkeit der Aufgabenphase entspricht. Damit wird das Design Open-Vocabulary: Der Vision-Encoder hat eine allgemeine Abbildung von Videos in einen sprachlich geformten Embedding-Raum gelernt. Weil dieser Raum durch Sprache und nicht durch eine feste Klassenliste geformt ist, genügt es, für einen neuen Subtask lediglich dessen Beschreibung in die Sammlung aufzunehmen – ohne die Klassifikationsschicht neu zu trainieren. Das funktioniert gut, wenn der neue Subtask eine Neukombination vertrauter Primitive und visueller Elemente ist; wirklich neuartige Manipulationsfähigkeiten erfordern selbstverständlich weiterhin zusätzliche Trainingsdaten. Zur Inferenzzeit reduziert sich die Architektur auf einen einzigen Strang. Der Text-Encoder wird nicht geladen, und der Roboter sieht im Betrieb nie Ground-Truth-Labels. Nur der Vision-Strang läuft und erzeugt ein Beobachtungs-Embedding zv, das bereits im sprachlich ausgerichteten Subtask-Raum liegt. Integration in Cortex 2.0 Das kontinuierliche Beobachtungs-Embedding zv und das dekodierte diskrete Subtask-Label gehen als Konditionierungseingaben in das World Model, bevor mögliche Zukunftstrajektorien erzeugt werden. Die Rollouts des World Models sind damit von Anfang an phasenbewusst: Bei der Vorhersage künftiger Zustände weiß es, ob sich der Roboter gerade in der Phase des Paketöffnens oder der Prüfung befindet, und erzeugt die Kandidaten entsprechend. Die nachgelagerte PRO-Bewertung und die Aktionserzeugung arbeiten dann auf Rollouts, die den richtigen Aufgabenkontext bereits widerspiegeln. Das ist eine zentrale Architekturentscheidung. Statt die Policy nach der Planung zu korrigieren (indem wir den Action Expert konditionieren), konditionieren wir die Planung selbst. Das World Model erzeugt je nach aktuellem Subtask grundlegend andere Zukunftskandidaten. Das PRO-Modul bewertet anschließend diese phasengerechten Kandidaten, und die VLA führt den besten aus. Dadurch ist die gesamte Planungsschleife subtask-bewusst – nicht nur die finale Aktionsausgabe. Die Inferenz läuft kontinuierlich und asynchron. Sobald die vorherige Klassifikation abgeschlossen ist, wird unmittelbar eine neue Inferenz auf den aktuellsten Frames ausgelöst. Evaluation Wir bewerten das Modul zur Subtask-Vorhersage entlang zweier Achsen: der Klassifikationsgenauigkeit des Predictors selbst und der nachgelagerten Wirkung auf den Ende-zu-Ende-Aufgabenerfolg, wenn die Policy auf Subtask-Vorhersagen konditioniert wird. Genauigkeit der Subtask-Klassifikation Auf einem zurückgehaltenen Testdatensatz annotierter Manipulationssequenzen erreicht der Subtask Predictor eine Klassifikationsgenauigkeit von 94,6 % auf Frame-Ebene. Wir messen dies, indem wir die Subtask-Vorhersagen des Modells pro Frame mit Ground-Truth-Annotationen menschlicher Labeler auf einem zurückgehaltenen Satz von Manipulationssequenzen vergleichen, die im Training nicht vorkamen. Jedem Frame ist ein Ground-Truth-Subtask-Label zugeordnet, und die Genauigkeit ergibt sich als Anteil der Frames, in denen das vorhergesagte Label übereinstimmt. Die Fehler konzentrieren sich an den Subtask-Grenzen und sind keine systematischen Fehlklassifikationen ganzer Phasen. Ende-zu-Ende-Aufgabenerfolg Wir vergleichen die vollständige Cortex-2.0-Policy mit und ohne Subtask-Vorhersage über unsere Deployment-Abläufe hinweg anhand des Ende-zu-Ende-Aufgabenerfolgs. Der Evaluationsdatensatz enthält eine ungleiche Verteilung der einzelnen Aufgaben, mit Schwerpunkt auf Pick-and-Place, gefolgt von Retourenbearbeitung und Kitting. Über unsere Deployment-Abläufe hinweg hebt die Subtask-Konditionierung den Ende-zu-Ende-Aufgabenerfolg von 91,8 % auf 97,4 %. Der Effekt skaliert mit der Aufgabenlänge: Die Retourenbearbeitung (5+ Phasenübergänge) verzeichnet mit 16,1 Prozentpunkten (pp) den größten Zuwachs, Kitting 9,3 pp, während kurze Pick-and-Place-Aufgaben wie erwartet nur eine minimale Verbesserung zeigen (1,4 pp). Bei wenigen Übergängen hat die reaktive Policy bereits genügend Kontext aus der aktuellen Beobachtung. Ende-zu-Ende-Erfolgsquote je Ablauf, mit und ohne Subtask-Vorhersage Fehleranalyse Ohne Subtask-Vorhersage ist der häufigste Fehlermodus bei Long-Horizon-Aufgaben kein verfehlter Griff und keine Kollision, sondern die Policy, die für die aktuelle Phase die falsche Manipulationsstrategie anwendet. Etwa der Versuch einer Ablegebewegung, obwohl der Artikel noch nicht vollständig entnommen ist, oder das erneute Starten einer Greifsequenz, obwohl der Artikel bereits gegriffen ist. Solche Fehler sind besonders teuer, weil sie oft menschliches Eingreifen erfordern: Der Zustand des Roboters hat sich von jeder wiederherstellbaren Trajektorie entfernt.Mit Subtask-Vorhersage wird diese Fehlerklasse deutlich reduziert. Die Policy erhält ein explizites Signal über die aktuelle Phase, was die gravierendsten Reihenfolgefehler verhindert. Verbleibende Fehler sind eher Ausführungsfehler innerhalb einer Phase (etwa ein Griff, der abrutscht) als Verwechslungen zwischen Phasen. Relative Fehlerreduktion je Fehlermodus, mit und ohne Subtask-Vorhersage Erfolgreiche Ausführung aller Subtasks Fehlermodus: Reihenfolgefehler Fehlermodus: Greiffehler Fehlermodus: Kollisionen Wo wir heute stehen Das Modul zur Subtask-Vorhersage ist derzeit gemeinsam mit Cortex 2.0 in unseren Abläufen für Retourenbearbeitung und Kitting im Einsatz. Wir erweitern die Menge der Subtask-Beschreibungen, während wir weitere Aufgaben aufnehmen, und erhöhen die Vielfalt der Trainingsdaten, um die Robustheit über verschiedene Lagerumgebungen und Artikelspektren hinweg zu verbessern. Der Ansatz kontrastiver Text-Embeddings bringt uns bereits näher an eine Open-Vocabulary-Erkennung von Subtasks, bei der das Modell Aufgabenphasen aus Daten identifiziert, ohne dass eine feste Klassenliste manuell annotiert werden muss. Das senkt den Engineering-Aufwand, um die Subtask-Vorhersage auf neuen Abläufen einzuführen, und erlaubt dem System, sich zur Laufzeit an neue Aufgabenstrukturen anzupassen. Zusammen mit den Planungsfähigkeiten von Cortex 2.0 bringt uns die Subtask-Vorhersage näher an Manipulationssysteme, die nicht nur darüber nachdenken, was als Nächstes zu tun ist, sondern auch verstehen, wo sie im größeren Zusammenhang der Aufgabe stehen. Diese Fähigkeit hilft uns, Long-Horizon-Autonomie zuverlässiger zu lösen. Video-Platzhalter {{index}}