Neuromorphe Sensorplattform für sichere Mensch-Roboter-Kollaboration

Wie kann eine sichere und reaktionsschnelle Zusammenarbeit zwischen Mensch und Roboter in der Produktion technisch umgesetzt werden? Im Leitprojekt NeurOSmart haben mehrere Fraunhofer-Institute eine Technologieplattform entwickelt, die LIDAR-basierte 3D-Sensorik mit KI-gestützter Datenverarbeitung und neuromorphem Computing kombiniert. Ziel ist eine energieeffiziente, echtzeitfähige Steuerungsarchitektur für kollaborative Robotersysteme in der industriellen Fertigung.

Systemintegration im Leitprojekt NeurOSmart
Koordiniert wurde das Projekt vom Fraunhofer-Institut für Siliziumtechnologie ISIT. Beteiligt waren außerdem das Fraunhofer-Institut für Photonische Mikrosysteme IPMS, das Fraunhofer-Institut für Mikroelektronische Schaltungen IMS, das Fraunhofer-Institut für Werkzeugmaschinen und Umformtechnik IWU sowie das Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS.

Die Partner entwickelten und integrierten Sensorik, Datenverarbeitung und KI-Modelle in ein Gesamtsystem, das direkt an der Roboterzelle arbeitet. Durch die enge Kopplung von Sensor und Recheneinheit werden Latenzen reduziert und sicherheitskritische Reaktionen innerhalb weniger Millisekunden ermöglicht.

LIDAR-Sensorsystem mit MEMS-Spiegeln
Das Sensorsystem überwacht den Arbeitsbereich aus der Vogelperspektive mittels LIDAR-Technologie (Light Detection and Ranging). Kurze Impulse im Nahinfrarotbereich werden ausgesendet und die reflektierten Signale zur 3D-Entfernungsmessung genutzt. Bewegliche MEMS-Spiegel (Micro-Electro-Mechanical Systems) lenken den Laserstrahl über die gesamte Arbeitsfläche und erzeugen ein hochauflösendes 3D-Bild der Szene.

Zur Steigerung von Leistungsfähigkeit und Energieeffizienz setzen die Forschenden piezoelektrisches Aluminiumscandiumnitrid (AlScN) mit einer Schichtdicke von 1 Mikrometer in den MEMS-Spiegeln ein. Dadurch werden sowohl die Ansteuerbarkeit als auch die Energieeffizienz verbessert – ein entscheidender Faktor für energieoptimierte Sensorsysteme in der Produktion.

Edge-KI zur Datenreduktion
Ein wesentliches Merkmal der Plattform ist die unmittelbare Datenverarbeitung im Sensorsystem. Aufgrund des großen Sichtfelds entstehen hohe Datenraten. KI-Algorithmen, entwickelt vom Fraunhofer IMS, analysieren die Rohdaten direkt am Sensor und identifizieren relevante Bereiche im Arbeitsraum.

Diese Vorverarbeitung reduziert die Datenmenge und ermöglicht eine gezielte Ausrichtung des Sensors auf sicherheitskritische Zonen. Gleichzeitig sinkt der Energiebedarf, da nur relevante Informationen an nachgelagerte Verarbeitungsschritte übergeben werden.




Neuromorphic Computing für Echtzeitreaktionen
Für die eigentliche Entscheidungslogik setzen die Forschenden des Fraunhofer IPMS auf Neuromorphic Computing. Hierbei wird ein Beschleuniger-Chip eingesetzt, der aus zahlreichen miteinander verschalteten Recheneinheiten besteht. Jede Einheit fungiert als autonome „Zelle“ und verarbeitet Informationen dezentral – analog zur Funktionsweise neuronaler Netzwerke im menschlichen Gehirn.

Die hierfür benötigten spezialisierten KI-Modelle wurden vom Fraunhofer IAIS entwickelt. Vom Eingang des Sensorsignals bis zur mechanischen Reaktion des Roboters vergehen nur wenige Millisekunden. In sicherheitskritischen Situationen kann ein Schwerlastroboter so automatisch verlangsamt oder gestoppt werden, wenn sich eine Person nähert.

Zur Entwicklung und Absicherung der Modelle wurde die gesamte Roboterzelle simuliert. Dadurch konnten auch potenzielle Gefahrensituationen trainiert werden, die unter realen Bedingungen nicht nachstellbar sind.

Plattformansatz für industrielle Anwendungen
NeurOSmart ist als standardisierte Technologieplattform konzipiert. Unternehmen können darauf aufbauend individuelle Anwendungen für spezifische Produktionsszenarien entwickeln.

Neben der industriellen Mensch-Roboter-Kollaboration sind auch weitere Einsatzfelder denkbar. Die energieeffiziente Architektur mit integrierter Sensor- und Datenverarbeitung eignet sich perspektivisch für mobile Systeme wie Drohnen oder autonome Sensorsysteme in der Landwirtschaft.

Mit der Kombination aus LIDAR-Sensorik, Edge-KI und neuromorphem Computing adressiert NeurOSmart zentrale Anforderungen moderner Produktionsumgebungen: minimale Latenzzeiten, hohe Energieeffizienz und sichere Interaktion zwischen Mensch und Maschine.