Multimodales Vision-Modul für Robotikplattformen

STMicroelectronics und Leopard Imaging haben ein multimodales Vision-Modul vorgestellt, das für humanoide und fortschrittliche Robotiksysteme entwickelt wurde und Bildgebung, Tiefensensorik sowie Bewegungserfassung in einer kompakten, energieeffizienten Architektur für Edge-AI-Systeme integriert.

Integrierte Wahrnehmung für Robotersysteme
Das Modul adressiert eine zentrale Anforderung der Robotikvision: die Zusammenführung mehrerer Sensormodalitäten in einer einheitlichen, synchronisierten Datenpipeline. Durch die Integration von 2D-Bildgebung, 3D-Tiefensensorik und inertialer Bewegungserfassung können Roboter ihre Umgebung mit höherer Kontextgenauigkeit erfassen und interpretieren.

Dieser Ansatz unterstützt Anwendungen in der Fertigung, Automobilproduktion, Logistik, Lagerhaltung sowie im Servicebereich, in denen Maschinen in dynamischen und unstrukturierten Umgebungen arbeiten müssen. Die Architektur steht im Einklang mit der Weiterentwicklung des automotive data ecosystem und der industriellen Robotik, in der Sensorfusion eine zentrale Rolle für Echtzeitentscheidungen spielt.

Das Modul wurde speziell für die Anforderungen an Größe, Gewicht und Energieverbrauch (SWaP) humanoider Robotersysteme ausgelegt.

Native Integration in das NVIDIA-Robotik-Ökosystem
Ein zentrales Merkmal ist die Kompatibilität mit dem NVIDIA-Robotik-Stack. Die Integration der NVIDIA Holoscan Sensor Bridge ermöglicht eine Datenübertragung im Multi-Gigabit-Bereich über Ethernet und unterstützt die Echtzeitverarbeitung von Sensordaten auf NVIDIA Jetson-Plattformen.

Diese Architektur vereinfacht die Systemintegration durch Plug-and-Play-Konnektivität und reduziert den Bedarf an kundenspezifischen Schnittstellen. Das Modul wird vollständig durch die NVIDIA Isaac-Plattform unterstützt, die KI-Modelle, Simulationswerkzeuge und Entwicklungsbibliotheken bereitstellt.

APIs, Build-Systeme und vorkonfigurierte KI-Algorithmen ermöglichen eine beschleunigte Entwicklung. Simulationsfunktionen wie Domain Randomization und Sensormodelle tragen dazu bei, die Lücke zwischen Simulation und realem Robotereinsatz zu verringern.

Sensorfusion und technische Spezifikationen
Das Modul kombiniert drei zentrale Sensortechnologien, die jeweils unterschiedliche Aspekte der robotischen Wahrnehmung abdecken:

Bildbasierte Sensorik - Integriert ist der VB1940 RGB-IR-Bildsensor mit einer Auflösung von 5,1 Megapixeln sowie Unterstützung für Rolling- und Global-Shutter-Modi. Diese Kombination ermöglicht verzerrungsfreie Aufnahmen schnell bewegter Objekte bei gleichzeitig hoher Bildqualität unter variierenden Lichtbedingungen.

Zusätzlich ist mit dem V943 aus der BrightSense-Familie eine Variante für industrielle und Massenmarktanwendungen verfügbar, wahlweise in monochromer oder RGB-IR-Ausführung.

Bewegungssensorik - Die Bewegungserfassung erfolgt über die LSM6DSV16X-Inertialmesseinheit (IMU) mit 6 Achsen und integrierter Machine-Learning-Core (MLC). Diese ermöglicht Edge-AI-Verarbeitung direkt im Sensor sowie energieeffiziente Sensorfusion (SFLP).

Die Qvar-elektrostatische Sensorik unterstützt zusätzlich die Erkennung von Benutzerinteraktionen.

3D-Tiefensensorik - Für die Tiefenmessung wird das VL53L9CX dToF-LiDAR-Modul eingesetzt. Es ermöglicht Distanzmessungen bis zu 9 Metern bei einer Auflösung von 54 × 42 Zonen (ca. 2.300 Messpunkte).

Mit einem Sichtfeld von 55° × 42° und einer Winkelauflösung von etwa 1° können sowohl kleine Objekte als auch komplexe Szenen erfasst werden. Die Bildrate von bis zu 100 fps ermöglicht eine Echtzeit-3D-Rekonstruktion der Umgebung.

Beitrag zur Entwicklung physischer KI-Systeme
Die Kombination synchronisierter Sensordaten mit hoher Datenbandbreite ermöglicht es Robotern, ihre Umgebung in Echtzeit zu analysieren. Diese Fähigkeit ist entscheidend für Physical-AI-Anwendungen, bei denen Wahrnehmung, Entscheidungsfindung und Handlung unter geringen Latenzanforderungen erfolgen müssen.

Durch die Standardisierung der Sensorintegration innerhalb des NVIDIA-Ökosystems reduziert das Modul die Komplexität der Entwicklung und unterstützt die Skalierung robotischer Anwendungen. Die enge Verzahnung von Hardware, Software und Simulationswerkzeugen beschleunigt Entwicklungszyklen und Validierungsprozesse.

Diese Entwicklung steht exemplarisch für den Trend zu integrierten Sensor- und Rechenplattformen, bei denen Interoperabilität und Datenkonsistenz entscheidend für den Fortschritt autonomer Systeme sind.

Bearbeitet von der Industriejournalistin Sucithra Mani mit Unterstützung von KI.

www.st.com