MIT의 LiDAR 트릭, 코너 너머를 보다

초능력을 상상해 보세요: 코너 너머에 숨겨진 물체를 볼 수 있는 능력. Non-Line-of-Sight (NLOS) imaging으로 알려진 이 개념은 보이지 않는 물체에 간접적으로 반사되어 보이는 표면에서 산란된 후 센서로 돌아오는 빛을 감지하는 것을 포함합니다. 이 정교한 기술은 직접 시야 밖에 있는 것을 드러내어 가려진 환경을 엿볼 수 있게 합니다.

역사적으로 이러한 비전을 달성하려면 막대한 투자가 필요했습니다: 전문적인 5만 달러 상당의 실험실 장비. 이러한 정교한 시스템은 연구 기관에 국한되었으며, 숨겨진 목표물에서 나오는 믿을 수 없을 정도로 희미하고 노이즈가 많은 다중 반사 신호를 포착하기 위해 강력하고 피코초 단위로 정확한 레이저와 고감도 감지기가 필요했습니다.

이제 MIT MIT Media Lab의 혁신이 그 장벽을 허물었습니다. 연구진은 현대 스마트폰 및 AR/VR headsets에 통합된 것과 같이 쉽게 구할 수 있는 100달러 미만의 소비자용 LiDAR 센서를 사용하여 동일한 '코너 너머' 시야를 시연했습니다. 이 엄청난 변화는 한때 독점적이었던 기능을 전문 연구실에서 잠재적으로 수백만 개의 일상 기기로 옮겨 놓았습니다.

이 급진적인 민주화는 로봇 공학 및 자율 주행 차량에서 수색 및 구조에 이르는 분야를 변화시킬 것을 약속합니다. GitHub Project에 코드를 오픈소스로 공개함으로써, MIT는 이 고급 인식 기술을 접근 가능하게 만들어 독점 하드웨어의 엄청난 비용 없이 광범위한 혁신을 가능하게 했습니다.

MIT 연구진은 소비자용 LiDAR가 non-line-of-sight (NLOS) imaging을 수행할 수 있게 하는 핵심 혁신인 Motion-Induced Aperture Sampling (MAS) 알고리즘을 개발했습니다. 이 혁신은 한때 노이즈로 간주되었던 것—스마트폰의 자연스러운 손떨림이나 로봇 진동—을 데이터 획득을 위한 중요한 자산으로 변모시킵니다.

MAS는 믿을 수 없을 정도로 희미한 다중 반사 레이저 반사를 포착하여 작동합니다. LiDAR 펄스가 벽에 부딪히면 광자가 산란되어 일부는 코너 너머의 숨겨진 물체에 부딪힌 후 벽으로 다시 반사되어 최종적으로 센서로 들어갑니다. 소비자 센서의 단일 프레임은 혼란스러운 데이터만을 생성하지만, MAS는 여러 프레임에 걸쳐 장치의 고유한 움직임을 활용합니다.

이 과정은 수많은 노이즈가 있는 프레임을 쌓아 선명하고 저조도 사진을 생성하는 burst photography와 유사하게 작동합니다. synthetic aperture radar와도 유사점이 있는데, 여기서는 움직임이 고해상도 이미지를 생성하는 데 기발하게 사용됩니다. 이 알고리즘은 숨겨진 물체의 모양, 움직임, 그리고 시간 경과에 따른 카메라의 정확한 위치를 세심하게 모델링합니다.

이러한 움직임 샘플링 프레임 시퀀스 전반에 걸쳐 시간적 일관성을 적용함으로써, MAS 알고리즘은 압도적인 노이즈를 효과적으로 제거합니다. 그런 다음 희미한 기본 신호를 추출하여, 약 100픽셀의 센서를 사용함에도 불구하고 완전히 숨겨진 정적 물체의 3D 모양을 재구성하고 여러 움직이는 목표물을 추적할 수 있도록 합니다. MIT MIT Media Lab은 이미 GitHub Project에 코드를 오픈소스로 공개했습니다.

100픽셀의 보급형 소비자용 LiDAR 센서에서 나온 결과는 그야말로 경이롭습니다. MAS 알고리즘은 노이즈가 많고 여러 번 반사된 광자 반환 신호를 실행 가능한 정보로 능숙하게 변환하여 완전히 숨겨진 정적 객체의 3D 형상을 정밀하게 재구성합니다. 이 기능은 이전에는 고가의 실험실 설정에서만 가능했습니다.

정적 재구성 외에도 이 시스템은 동적 추적에 탁월합니다. 시야 밖에 있는 여러 움직이는 목표물을 정확하게 추적하며, 복잡한 장면 변화를 유연한 초당 30프레임으로 실시간 처리합니다. 이러한 실시간 성능은 보이지 않는 장애물이나 목표물이 중대한 문제를 야기하는 로봇 공학 및 자율 시스템의 중요한 응용 분야에 새로운 가능성을 열어줍니다.

결정적으로, 이 시스템은 실시간 카메라 자체 위치 파악도 수행합니다. 숨겨진 랜드마크를 사용하여 시간 경과에 따른 카메라의 정확한 공간 위치를 계산하는데, 이는 GPS 또는 직접적인 시각적 주행 거리 측정이 불가능한 환경에서 내비게이션에 필수적인 기능입니다. MIT MIT Media Lab의 연구원들이 이 혁신적인 기술을 널리 보급했습니다.

그들은 코드를 오픈 소스로 공개하며 `sidsoma/consumer-nlos` GitHub Project를 발표했습니다. 이 전략적인 움직임은 전 세계 개발자들이 소비자 등급 LiDAR를 고급 비시야 이미징에 활용할 수 있도록 하여 AR/VR, 자율주행차, 정교한 환경 매핑과 같은 분야로의 통합을 가속화합니다.

MIT의 소비자용 LiDAR 혁신이 가져올 영향은 실험실을 훨씬 넘어섭니다. 자율주행차는 보행자나 다른 차량이 시야에 들어오기 전에 사각지대 교차로에서 감지하여 즉각적인 생명을 구하는 기능을 얻게 될 것입니다. 시야 밖에 있는 여러 움직이는 목표물을 추적하는 이 능력은 자율주행 시스템의 상황 인식을 근본적으로 재정의합니다.

로봇 공학은 변혁적인 잠재력을 보게 될 것입니다. 장애물 주변을 '보고' 숨겨진 랜드마크를 사용하여 실시간 자체 위치 파악을 통해 복잡하고 어수선한 창고를 탐색할 수 있게 됩니다. AR/VR의 경우, 이 기술은 훨씬 더 정확한 신체 추적 및 공간 인식을 약속하며, 손과 같은 움직이는 목표물을 초당 30프레임으로 추적하여 진정으로 몰입감 있고 반응성이 뛰어난 가상 환경을 만듭니다.

상업적 응용 분야를 넘어, 이 기술은 심오한 인도주의적 이점을 제공합니다. 수색 및 구조 임무가 극적으로 개선되어, 구조대원들이 붕괴된 건물이나 기타 복잡한 구조물에 갇힌 사람들을 직접적인 시야 없이 찾아낼 수 있게 됩니다. 이는 비상 상황에서 중요한 시간을 절약할 수 있습니다.

궁극적으로 GitHub Project에서 제공되는 오픈 소스 코드는 이 강력한 이미징 기능을 민주화합니다. 이는 가시광선뿐만 아니라 숨겨진 장면을 이해하고 매핑하도록 설계된 새로운 세대의 센서에 영감을 주며, 우리 장치가 전례 없는 깊이의 인식을 통해 세상을 인지하는 시대를 열어줍니다.

비시야(NLOS) 이미징이란 무엇인가요?

NLOS 이미징은 직접적인 시야에서 완전히 숨겨진 객체를 재구성할 수 있게 하는 기술로, 본질적으로 시스템이 모퉁이를 '볼' 수 있도록 합니다.

MIT의 새로운 모퉁이 너머 보기 방법은 어떻게 작동하나요?

이것은 Motion-Induced Aperture Sampling (MAS)이라는 알고리즘을 사용하여 소비자용 LiDAR 센서에 의해 포착된 희미하고 여러 번 반사된 빛 신호를 처리합니다. 이 알고리즘은 장치의 자연스러운 움직임을 활용하여 여러 프레임의 노이즈가 많은 데이터를 결합하여 숨겨진 장면의 선명한 3D 재구성을 만듭니다.

어떤 장치들이 이 기술을 사용할 수 있나요?

이 기술은 Apple iPhone Pro 시리즈, Apple Vision Pro, 그리고 다양한 가정용 로봇과 같은 기기에서 이미 찾아볼 수 있는 소비자 등급 LiDAR 센서를 위해 설계되었습니다.

이 기술의 주요 응용 분야는 무엇인가요?

주요 응용 분야로는 사각지대 교차로에서 위험을 감지하여 자율주행 차량의 안전을 향상시키고, 복잡한 환경에서 로봇의 내비게이션을 강화하며, AR/VR 시스템에서 더욱 몰입감 있는 추적을 가능하게 하는 것이 포함됩니다.

이 기술의 코드는 일반에 공개되어 있나요?

네, MIT 연구진은 코드를 오픈 소스로 공개했습니다. 개발자와 연구자들이 사용하고 발전시킬 수 있도록 GitHub에서 'consumer-nlos' 프로젝트 이름으로 제공됩니다.