PickGPT ist der erste kommerziell erhältliche Robotik-Transformer, der es Robotern ermöglicht, natürliche Sprache zu verstehen und ihre Umgebung mit einem noch nie dagewesenen Maß an Intelligenz und Präzision wahrzunehmen.
PickGPT kann mittels natürlicher Sprache genutzt werden und ermöglicht es, Roboter ohne Expertenwissen zu instruieren und zu programmieren.
Auf Grundlage synthetischer und realer Erfahrungen kann sich PickGPT an unbekannte Umgebungen problemlos anpassen.
PickGPT kann den Umfang und den Kontext einer Aufgabe erfassen und somit auch implizite Problemstellungen ohne zusätzliche Instruktionen lösen.
Anders als herkömmliche Modelle nutzt PickGPT die Zero-Shot-Planung, die es ihm ermöglicht, auch in komplexen, dynamischen und unstrukturierten Umgebungen ohne spezifisches Training Handlungssequenzen zu berechnen und auszuführen, um einen Zielzustand zu erreichen.
Die Fähigkeiten von PickGPT beruhen auf seinem umfassenden Training anhand von Web-scale-Datensätzen, kombiniert mit synthetischen und realen Robotikdaten. Dieses umfangreiche und vielfältige Training verbessert nicht nur das Szenenverständnis, sondern ermöglicht auch die Generalisierung auf neue und bisher ungesehene Objekte.
PickGPT fusioniert multimodale Sensordaten (RGB, Tiefe und andere) und überträgt sie in ein Large Language Model, kombiniert mit Instruktionen in natürlicher Sprache von einem menschlichen Bediener oder einem übergeordneten System. Durch die Analyse dieser Daten mittels Segmentierung, Szenendekomposition und Sequenzierung kann PickGPT die allgemeine Bedeutung verstehen, Antworten generieren und Entscheidungen durch einen Roboter ausführen.
PickGPT bietet eine neue Art der Kommunikation mit Robotern, die ein unbändiges Potenzial für eine Vielzahl von Anwendungsbereichen bietet. Vor allem in der Logistik ermöglicht PickGPT den Robotern die Lösung wichtiger Probleme.
PickGPT unterstützt die nahtlose Kommunikation zwischen menschlichen Bedienern und KI-fähigen Robotern und erlaubt die Erteilung von Anweisungen über Sprachbefehle und eine intuitive Schnittstelle. Dies ermöglicht eine nahtlose Anbindung an andere Lagersysteme und erlaubt es der bedienenden Person, Pickpunkte zu definieren und Artikel auf die Blacklist zu setzen.
PickGPT ermöglicht es Robotern, Objekte und Produkte in Echtzeit allein anhand ihres Aussehens zu erkennen und zu identifizieren. Es analysiert automatisch Produktbilder und gleicht sie mit Artikeln in jedem realen Szenario ab. PickGPT versteht und interpretiert Produkttitel, Beschreibungen und andere Textinformationen, um entsprechende Produkte automatisch zu identifizieren und Regionen in einem Bild zuzuordnen.
PickGPTs unvergleichliche Objekterkennungsfähigkeiten bieten entscheidende Vorteile in der Logistik. PickGPT kann zum Beispiel die Retourenabwicklung revolutionieren, da der Transformer in der Lage ist, Verpackungsmaterial von Produkten zu unterscheiden und auszusortieren. Darüber hinaus bietet PickGPT eine zusätzliche Qualitätskontrolle, indem es beschädigte Artikel erkennt.