MITs LiDAR-Trick sieht um Ecken

Stellen Sie sich eine Superkraft vor: die Fähigkeit, Objekte zu sehen, die um Ecken versteckt sind. Dieses Konzept, bekannt als Non-Line-of-Sight (NLOS) imaging, beinhaltet die Detektion von Licht, das indirekt von unsichtbaren Objekten abprallt, von einer sichtbaren Oberfläche streut und dann zum Sensor zurückkehrt. Diese hochentwickelte Technik enthüllt, was außerhalb des direkten Sichtfeldes liegt, und bietet einen Einblick in verdeckte Umgebungen.

Historisch gesehen erforderte die Verwirklichung dieser Vision eine enorme Investition: eine spezialisierte 50.000-Dollar-Laborausstattung. Diese hochentwickelten Systeme waren auf Forschungseinrichtungen beschränkt und benötigten leistungsstarke, pikosekundengenaue Laser und hochempfindliche Detektoren, um die unglaublich schwachen, verrauschten Mehrfachreflexionssignale von versteckten Zielen zu erfassen.

Nun durchbricht ein Durchbruch des MIT MIT Media Lab diese Barriere. Forscher haben dieselbe „Um-die-Ecke“-Sicht mit handelsüblichen LiDAR-Sensoren demonstriert, wie sie in modernen Smartphones und AR/VR-Headsets integriert sind und weniger als 100 Dollar kosten. Diese seismische Verschiebung verlagert eine einst exklusive Fähigkeit von spezialisierten Laboren auf potenziell Millionen alltäglicher Geräte.

Diese radikale Demokratisierung verspricht, Bereiche von der Robotik und autonomen Fahrzeugen bis hin zur Suche und Rettung zu transformieren. Durch die Veröffentlichung ihres Codes als Open Source auf dem GitHub Project hat MIT diese fortschrittliche Wahrnehmungstechnologie zugänglich gemacht und ermöglicht so eine weitreichende Innovation ohne die unerschwinglichen Kosten proprietärer Hardware.

MIT-Forscher entwickelten den Algorithmus Motion-Induced Aperture Sampling (MAS), die Kerninnovation, die es Consumer-LiDAR ermöglicht, Non-Line-of-Sight (NLOS) imaging durchzuführen. Dieser Durchbruch verwandelt das, was einst als Rauschen galt – das natürliche Handzittern eines Smartphones oder die Vibration eines Roboters – in einen entscheidenden Vorteil für die Datenerfassung.

MAS funktioniert, indem es unglaublich schwache, mehrfach reflektierte Laserreflexionen erfasst. Wenn ein LiDAR-Puls eine Wand trifft, streuen Photonen, einige treffen ein verstecktes Objekt um eine Ecke, bevor sie zur Wand zurückprallen und schließlich in den Sensor gelangen. Während ein einzelner Frame eines Consumer-Sensors nur chaotische Daten liefert, nutzt MAS die inhärente Bewegung des Geräts über mehrere Frames hinweg.

Dieser Prozess funktioniert ähnlich wie die burst photography, die zahlreiche verrauschte Bilder stapelt, um ein klares, bei schwachem Licht aufgenommenes Foto zu erzeugen. Eine weitere Parallele besteht zum synthetic aperture radar, bei dem Bewegung auf geniale Weise zur Erzeugung hochauflösender Bilder genutzt wird. Der Algorithmus modelliert akribisch die Form des versteckten Objekts, seine Bewegung und die präzise Position der Kamera über die Zeit.

Durch die Erzwingung zeitlicher Kohärenz über eine Sequenz dieser bewegungsabgetasteten Frames hinweg entfernt der MAS-Algorithmus effektiv das überwältigende Rauschen. Er extrahiert dann das schwache, zugrunde liegende Signal, wodurch das System die 3D-Formen vollständig versteckter statischer Objekte rekonstruieren und mehrere bewegliche Ziele verfolgen kann, obwohl ein Sensor mit etwa 100 Pixeln verwendet wird. Das MIT MIT Media Lab hat den Code bereits auf einem GitHub Project als Open Source veröffentlicht.

Die Ergebnisse des bescheidenen 100-Pixel-Verbraucher-LiDAR-Sensors sind schlichtweg verblüffend. Der MAS algorithm wandelt geschickt verrauschte, mehrfach reflektierte Photonenrückläufe in verwertbare Informationen um und rekonstruiert präzise 3D shapes von vollständig verborgenen statischen Objekten. Diese Fähigkeit war zuvor teuren Laboraufbauten vorbehalten.

Über die statische Rekonstruktion hinaus zeichnet sich das System durch dynamisches Tracking aus. Es verfolgt präzise mehrere sich bewegende Ziele außerhalb des Sichtfelds und verarbeitet komplexe Szenenänderungen in Echtzeit mit flüssigen 30 frames per second. Diese Echtzeitleistung eröffnet Türen für kritische Anwendungen in der Robotik und autonomen Systemen, wo unsichtbare Hindernisse oder Ziele erhebliche Herausforderungen darstellen.

Entscheidend ist, dass das System auch eine Echtzeit-Kamera-Selbstlokalisierung durchführt. Es nutzt versteckte Landmarken, um die genaue räumliche Position der Kamera im Laufe der Zeit zu berechnen, eine wichtige Funktion für die Navigation in Umgebungen, in denen GPS oder direkte visuelle Odometrie nicht verfügbar sind. Forscher des MIT MIT Media Lab haben diese transformative Technologie weithin zugänglich gemacht.

Sie haben den Code als Open Source veröffentlicht und das `sidsoma/consumer-nlos` GitHub Project publiziert. Dieser strategische Schritt ermöglicht es Entwicklern weltweit, Verbraucher-LiDAR für fortschrittliche Non-Line-of-Sight-Bildgebung zu nutzen und die Integration in Bereiche wie AR/VR, autonome Fahrzeuge und anspruchsvolle Umweltkartierung zu beschleunigen.

Die Auswirkungen des MIT-Durchbruchs bei Verbraucher-LiDAR reichen weit über das Labor hinaus. Autonome Fahrzeuge können sofort lebensrettende Fähigkeiten erlangen, indem sie Fußgänger oder andere Fahrzeuge an blind intersections erkennen, bevor diese sichtbar werden. Diese Fähigkeit, mehrere sich bewegende Ziele außerhalb des Sichtfelds zu verfolgen, definiert das Situationsbewusstsein für selbstfahrende Systeme grundlegend neu.

Die Robotik wird ein transformatives Potenzial erleben, indem Maschinen komplexe, überfüllte Lagerhallen navigieren können, indem sie um Hindernisse herum „sehen“ und versteckte Landmarken für die real-time self-localization nutzen. Für AR/VR verspricht die Technologie eine deutlich genauere Körperverfolgung und räumliches Bewusstsein, indem sie sich bewegende Ziele wie Hände mit 30 frames per second verfolgt, um wirklich immersive, reaktionsschnelle virtuelle Umgebungen zu schaffen.

Über kommerzielle Anwendungen hinaus bietet die Technologie tiefgreifende humanitäre Vorteile. Such- und Rettungsmissionen könnten sich dramatisch verbessern, indem Ersthelfer Personen in eingestürzten Gebäuden oder anderen komplexen Strukturen ohne direkte Sichtlinie lokalisieren können. Dies könnte in Notfällen entscheidende Zeit sparen.

Letztendlich demokratisiert der Open-Source-Code, verfügbar auf dem GitHub Project, diese leistungsstarke Bildgebungsfähigkeit. Er inspiriert eine neue Generation von Sensoren, die nicht nur für sichtbares Licht, sondern auch für das Verstehen und Kartieren verborgener Szenen entwickelt wurden, und leitet eine Ära ein, in der unsere Geräte die Welt mit einer beispiellosen Tiefe des Bewusstseins wahrnehmen.

Was ist Non-Line-of-Sight (NLOS) Bildgebung?

NLOS imaging ist eine Technologie, die die Rekonstruktion von Objekten ermöglicht, die vollständig vor einer direkten Sichtlinie verborgen sind, wodurch Systeme im Wesentlichen um Ecken „sehen“ können.

Wie funktioniert die neue Methode des MIT, um um Ecken zu sehen?

Es verwendet einen Algorithmus namens Motion-Induced Aperture Sampling (MAS), um schwache, mehrfach reflektierte Lichtsignale zu verarbeiten, die von einem Verbraucher-LiDAR-Sensor erfasst werden. Der Algorithmus nutzt die natürliche Bewegung des Geräts, um verrauschte Daten aus mehreren Frames zu einer klaren 3D-Rekonstruktion verborgener Szenen zusammenzufügen.

Welche Geräte können diese Technologie nutzen?

Die Technologie ist für LiDAR-Sensoren der Verbraucherklasse konzipiert, die bereits in Geräten wie der Apple iPhone Pro-Serie, der Apple Vision Pro und verschiedenen Heimrobotern zu finden sind.

Was sind die Hauptanwendungen für diese Technologie?

Zu den Hauptanwendungen gehören die Verbesserung der Sicherheit für autonome Fahrzeuge durch die Erkennung von Gefahren an unübersichtlichen Kreuzungen, die Verbesserung der Navigation für Roboter in komplexen Umgebungen und die Ermöglichung eines immersiveren Trackings in AR/VR-Systemen.

Ist der Code für diese Technologie öffentlich zugänglich?

Ja, die MIT-Forscher haben ihren Code quelloffen gemacht. Er ist auf GitHub unter dem Projektnamen 'consumer-nlos' für Entwickler und Forscher verfügbar, um ihn zu nutzen und darauf aufzubauen.