MITのLiDARトリックが角の向こうを見る

角の向こうに隠れた物体を見る能力というスーパーパワーを想像してみてください。非見通し線（NLOS）イメージングとして知られるこの概念は、見えない物体から間接的に跳ね返り、見える表面から散乱し、その後センサーに戻る光を検出することを含みます。この洗練された技術は、直接視界に入らないものを明らかにし、隠された環境を垣間見せます。

歴史的に、このビジョンを実現するには、専門的な50,000ドルの実験室セットアップという莫大な投資が必要でした。これらの洗練されたシステムは研究機関に限定されており、隠れたターゲットからの信じられないほど微弱でノイズの多い多重反射信号を捉えるために、強力でピコ秒精度のレーザーと高感度な検出器を必要としました。

今、MIT MITメディアラボからの画期的な進歩がその障壁を打ち破りました。研究者たちは、現代のスマートフォンやAR/VRヘッドセットに搭載されているような、100ドル未満で入手可能な市販のLiDARセンサーを使用して、この同じ「角の向こうを見る」ビジョンを実証しました。この劇的な変化は、かつては専門的な研究室に限定されていた機能を、潜在的に何百万もの日常的なデバイスへと移行させます。

この抜本的な民主化は、ロボティクスや自動運転車から捜索救助に至るまで、様々な分野を変革することを約束します。GitHub Projectでコードをオープンソース化することにより、MITはこの高度な知覚技術を利用可能にし、独自のハードウェアの法外なコストなしに広範なイノベーションを可能にしました。

MITの研究者たちは、市販のLiDARが非見通し線（NLOS）イメージングを実行できるようにする中核的なイノベーションであるモーション誘起開口サンプリング（MAS）アルゴリズムを開発しました。この画期的な技術は、かつてノイズと見なされていたもの、つまりスマートフォンの自然な手ぶれやロボットの振動を、データ取得のための重要な資産に変えます。

MASは、信じられないほど微弱な多重反射レーザーを捉えることで機能します。LiDARパルスが壁に当たると、光子が散乱し、一部は角の向こうにある隠れた物体に当たり、その後壁に跳ね返り、最終的にセンサーに入ります。市販のセンサーからの単一フレームは混沌としたデータしか生成しませんが、MASは複数のフレームにわたるデバイス固有の動きを利用します。

このプロセスは、多数のノイズの多いフレームを重ねて鮮明な低照度写真を生成するバースト撮影と似ています。また、動きを巧みに利用して高解像度画像を生成する合成開口レーダーにも類似点があります。このアルゴリズムは、隠れた物体の形状、その動き、そして時間の経過に伴うカメラの正確な位置を綿密にモデル化します。

これらのモーションサンプリングされたフレームのシーケンス全体で時間的コヒーレンスを強制することにより、MASアルゴリズムは圧倒的なノイズを効果的に除去します。そして、微弱な基底信号を抽出し、約100ピクセルのセンサーを使用しているにもかかわらず、完全に隠れた静止物体の3D形状を再構築し、複数の移動ターゲットを追跡することを可能にします。MIT MITメディアラボは、すでにGitHub Projectでコードをオープンソース化しています。

控えめな100ピクセルのコンシューマーLiDARセンサーからの結果は、驚くべきものです。MASアルゴリズムは、ノイズの多い多重反射光子リターンを巧みに実用的な情報に変換し、完全に隠された静的オブジェクトの3D形状を正確に再構築します。この機能は、これまでは高価な実験室のセットアップに限られていました。

静的再構築を超えて、このシステムは動的追跡に優れています。視界外の複数の移動ターゲットを正確に追跡し、複雑なシーンの変化をスムーズな毎秒30フレームでリアルタイム処理します。このリアルタイム性能は、見えない障害物やターゲットが大きな課題となるロボティクスや自律システムにおける重要なアプリケーションへの扉を開きます。

決定的に重要なことに、このシステムはリアルタイムのカメラ自己位置推定も実行します。隠れたランドマークを使用して、時間とともにカメラ自身の正確な空間位置を計算します。これは、GPSや直接的な視覚オドメトリーが利用できない環境でのナビゲーションにとって不可欠な機能です。MIT MITメディアラボの研究者たちは、この革新的な技術を広く利用可能にしました。

彼らはコードをオープンソース化し、`sidsoma/consumer-nlos` GitHubプロジェクトを公開しました。この戦略的な動きにより、世界中の開発者がコンシューマーグレードのLiDARを高度な非視線（Non-Line-of-Sight）イメージングに活用できるようになり、AR/VR、自動運転車、高度な環境マッピングなどの分野への統合が加速されます。

MITのコンシューマーLiDARの画期的な進歩がもたらす影響は、実験室をはるかに超えて広がります。自動運転車は、見通しの悪い交差点で歩行者や他の車両が見えるようになる前に検出するなど、即座に命を救う能力を獲得するでしょう。視界外の複数の移動ターゲットを追跡するこの能力は、自動運転システムの状況認識を根本的に再定義します。

ロボティクスは変革的な可能性を秘めており、障害物の「向こう側を見る」ことや、リアルタイム自己位置推定のために隠れたランドマークを使用することで、機械が複雑で散らかった倉庫をナビゲートできるようになります。AR/VRにとって、この技術ははるかに正確な身体追跡と空間認識を約束し、手のような移動ターゲットを毎秒30フレームで追跡して、真に没入型で応答性の高い仮想環境を作成します。

商業用途を超えて、この技術は深遠な人道的利益をもたらします。捜索救助活動は劇的に改善される可能性があり、救助隊員が倒壊した建物やその他の複雑な構造物に閉じ込められた人々を直接的な視線なしに特定できるようになります。これにより、緊急時に重要な時間を節約できます。

最終的に、GitHubプロジェクトで利用可能なオープンソース化されたコードは、この強力なイメージング機能を民主化します。それは、可視光線のためだけでなく、隠されたシーンを理解しマッピングするために設計された新世代のセンサーを刺激し、私たちのデバイスが前例のない深さの認識をもって世界を認識する時代を到来させます。

非視線（Non-Line-of-Sight、NLOS）イメージングとは何ですか？

NLOSイメージングは、直接的な視線から完全に隠されているオブジェクトの再構築を可能にする技術であり、本質的にシステムが「角の向こうを見る」ことを可能にします。

MITの新しい「角の向こうを見る」方法はどのように機能しますか？

それは、コンシューマーLiDARセンサーによって捕捉されたかすかな多重反射光信号を処理するために、Motion-Induced Aperture Sampling（MAS）と呼ばれるアルゴリズムを使用します。このアルゴリズムは、デバイスの自然な動きを利用して、複数のフレームからのノイズの多いデータを結合し、隠されたシーンの明確な3D再構築を作成します。

どのデバイスがこの技術を使用できますか？

この技術は、Apple iPhone Proシリーズ、Apple Vision Pro、様々な家庭用ロボットなどのデバイスにすでに搭載されている民生用LiDARセンサー向けに設計されています。

この技術の主な用途は何ですか？

主な用途としては、見通しの悪い交差点での危険を検知することによる自動運転車の安全性向上、複雑な環境におけるロボットのナビゲーション強化、AR/VRシステムにおけるより没入感のあるトラッキングの実現などが挙げられます。

この技術のコードは一般公開されていますか？

はい、MITの研究者たちはそのコードをオープンソース化しました。開発者や研究者が利用し、発展させることができるよう、GitHubでプロジェクト名「consumer-nlos」として公開されています。