Blog

Über die Selbstwahrnehmung eines Roboters

Über Selbstwahrnehmung eines Roboters

In der Forschungsarbeit über das Robotics Transformer Model RT-1 stellten die Forscher Roboter vor, die in der realen Welt Probleme lösen und Aufgaben im Rahmen ihrer eigenen Möglichkeiten erfüllen. Hier ist eine kurze Einführung in das Paper.

"Roses are red, violets are blue, bring me the rice chips from the drawer, and a napkin too.“ Dies ist eigentlich eine Aufgabenbeschreibung, die einem Roboter gegeben wurde. Sie war Teil eines Forschungsprojekts von Robotics at Google, Everyday Robotics und Google Research. 

Der Roboter ist in der Lage, eine Aufgabe in natürlicher Sprache zu erhalten und sie entsprechend zu verarbeiten. Zusätzlich wird die Aufgabe gefiltert, sodass der Roboter einschätzen kann, welcher Teil der Aufgabe mit seinen eigenen Fähigkeiten gelöst werden kann. Zu diesem Zweck werden Transformer eingesetzt. Ein großer Vorteil dabei ist, dass sie sowohl natürliche Sprache, als auch visuelle Daten verstehen.

Das Paper "RT-1: Robotics Transformer for Real-World Control at Scale" zeigt, wie die Integration von Robotern in die menschliche (häusliche) Umgebung auf einfache Weise erreicht werden kann. Mit der Eingabe von Bildern der realen Umgebung und einer Aufgabenbeschreibung in natürlicher Sprache ist der RT-1 Ansatz in der Lage, die Aktionen umzusetzen, und zwar durch:

1. Verarbeitung der Aufgabe in natürlicher Sprache und Extraktion aufgabenrelevanter visueller Merkmale 2. Berechnen einer Menge von Token (Planung) 3. Umwandlung der Token in Aktionen (und Ausführung von Bewegungen)

Weitere Informationen und den Link zur vollständigen Veröffentlichung finden Sie hier: https://robotics-transformer.github.io/