Трюк LiDAR от MIT видит за углами

Представьте себе суперспособность: возможность видеть объекты, скрытые за углами. Эта концепция, известная как Non-Line-of-Sight (NLOS) imaging, включает обнаружение света, который косвенно отражается от невидимых объектов, рассеивается от видимой поверхности, а затем возвращается к датчику. Эта сложная техника раскрывает то, что находится вне прямой видимости, предлагая заглянуть в скрытые среды.

Исторически, достижение такого видения требовало значительных инвестиций: специализированной лабораторной установки стоимостью 50 000 долларов. Эти сложные системы были ограничены исследовательскими учреждениями, требуя мощных, пикосекундно-точных лазеров и высокочувствительных детекторов для улавливания невероятно слабых, зашумленных многократно отраженных сигналов от скрытых целей.

Теперь прорыв от MIT MIT Media Lab разрушает этот барьер. Исследователи продемонстрировали это же видение «за углами» с использованием легкодоступных потребительских датчиков LiDAR, таких как те, что интегрированы в современные смартфоны и гарнитуры AR/VR, стоимостью менее 100 долларов. Этот сейсмический сдвиг переносит некогда эксклюзивную возможность из специализированных лабораторий в потенциально миллионы повседневных устройств.

Эта радикальная демократизация обещает преобразовать такие области, как робототехника и автономные транспортные средства, до поисково-спасательных операций. Открыв исходный код своего проекта на GitHub Project, MIT сделал эту передовую технологию восприятия доступной, что позволяет широко распространять инновации без непомерных затрат на проприетарное оборудование.

Исследователи MIT разработали алгоритм Motion-Induced Aperture Sampling (MAS), ключевое новшество, позволяющее потребительским LiDAR выполнять визуализацию вне прямой видимости (NLOS imaging). Этот прорыв превращает то, что раньше считалось шумом — естественное дрожание руки смартфона или вибрацию робота — в критически важный актив для сбора данных.

MAS работает, улавливая невероятно слабые, многократно отраженные лазерные лучи. Когда импульс LiDAR попадает в стену, фотоны рассеиваются, некоторые из них попадают в скрытый объект за углом, прежде чем отскочить обратно к стене и, наконец, в датчик. В то время как один кадр с потребительского датчика дает только хаотичные данные, MAS использует присущее устройству движение в нескольких кадрах.

Этот процесс функционирует аналогично burst photography (серийной съемке), которая объединяет многочисленные зашумленные кадры для получения четкой фотографии при слабом освещении. Другая параллель существует с synthetic aperture radar (радиолокатором с синтезированной апертурой), где движение искусно используется для создания изображений высокого разрешения. Алгоритм тщательно моделирует форму скрытого объекта, его движение и точное положение камеры с течением времени.

Обеспечивая временную когерентность в последовательности этих кадров, полученных с помощью выборки движения, алгоритм MAS эффективно устраняет подавляющий шум. Затем он извлекает слабый, основной сигнал, позволяя системе реконструировать 3D-формы полностью скрытых статических объектов и отслеживать несколько движущихся целей, несмотря на использование датчика с примерно 100 пикселями. MIT MIT Media Lab уже открыла исходный код на GitHub Project.

Результаты скромного 100-пиксельного потребительского LiDAR-сенсора просто поразительны. Алгоритм MAS умело преобразует шумные, многократно отраженные фотонные сигналы в полезную информацию, точно реконструируя 3D-формы полностью скрытых статических объектов. Эта возможность ранее была доступна только в дорогих лабораторных установках.

Помимо статической реконструкции, система превосходно справляется с динамическим отслеживанием. Она точно отслеживает несколько движущихся целей вне поля зрения, обрабатывая сложные изменения сцены в реальном времени с плавной скоростью 30 frames per second. Эта производительность в реальном времени открывает двери для критически важных применений в робототехнике и автономных системах, где невидимые препятствия или цели представляют серьезные проблемы.

Что особенно важно, система также выполняет самолокализацию камеры в реальном времени. Она использует скрытые ориентиры для вычисления точного пространственного положения камеры с течением времени, что является жизненно важной функцией для навигации в средах, где GPS или прямая визуальная одометрия недоступны. Исследователи из MIT MIT Media Lab сделали эту преобразующую технологию широко доступной.

Они открыли исходный код, опубликовав проект `sidsoma/consumer-nlos` GitHub Project. Этот стратегический шаг позволяет разработчикам по всему миру использовать потребительский LiDAR для передовой визуализации вне прямой видимости, ускоряя интеграцию в такие области, как AR/VR, автономные транспортные средства и сложное картографирование окружающей среды.

Последствия прорыва MIT в области потребительского LiDAR выходят далеко за пределы лаборатории. Автономные транспортные средства могут получить немедленные, спасающие жизни возможности, обнаруживая пешеходов или другие транспортные средства на слепых перекрестках до того, как они станут видимыми. Эта способность отслеживать несколько движущихся целей вне поля зрения принципиально переопределяет ситуационную осведомленность для систем автономного вождения.

Робототехника увидит трансформационный потенциал, позволяя машинам перемещаться по сложным, загроможденным складам, «видя» вокруг препятствий и используя скрытые ориентиры для самолокализации в реальном времени. Для AR/VR технология обещает значительно более точное отслеживание тела и пространственную осведомленность, отслеживая движущиеся цели, такие как руки, со скоростью 30 frames per second для создания по-настоящему иммерсивных, отзывчивых виртуальных сред.

Помимо коммерческих применений, технология предлагает глубокие гуманитарные преимущества. Поисково-спасательные операции могут значительно улучшиться, позволяя спасателям находить людей, застрявших в обрушившихся зданиях или других сложных сооружениях без прямой видимости. Это может сэкономить критически важное время в чрезвычайных ситуациях.

В конечном итоге, открытый исходный код, доступный на GitHub Project, демократизирует эту мощную возможность визуализации. Он вдохновляет новое поколение датчиков, разработанных не только для видимого света, но и для понимания и картографирования скрытых сцен, открывая эру, когда наши устройства воспринимают мир с беспрецедентной глубиной осознания.

Что такое визуализация вне прямой видимости (NLOS)?

Визуализация NLOS — это технология, которая позволяет реконструировать объекты, полностью скрытые от прямой видимости, по сути, позволяя системам «видеть» за углы.

Как работает новый метод MIT для «видения» за углы?

Он использует алгоритм под названием Motion-Induced Aperture Sampling (MAS) для обработки слабых, многократно отраженных световых сигналов, захваченных потребительским LiDAR-сенсором. Алгоритм использует естественное движение устройства для объединения шумных данных из нескольких кадров в четкую 3D-реконструкцию скрытых сцен.

Какие устройства могут использовать эту технологию?

Технология разработана для потребительских LiDAR-датчиков, которые уже встречаются в таких устройствах, как Apple iPhone Pro series, Apple Vision Pro и различных домашних роботах.

Каковы основные области применения этой технологии?

Ключевые области применения включают повышение безопасности для автономных транспортных средств путем обнаружения опасностей на слепых перекрестках, улучшение навигации для роботов в сложных условиях и обеспечение более иммерсивного отслеживания в системах AR/VR.

Доступен ли код этой технологии для общественности?

Да, исследователи MIT открыли исходный код. Он доступен на GitHub под названием проекта 'consumer-nlos' для использования и развития разработчиками и исследователями.