メタの新しいAIが見えないものを見抜く

コンピュータは数十年にわたって画像を見つめてきましたが、本当に「見る」ことはできていませんでした。従来のビジョンシステムは、写真に「猫」、「木」、「車」などのラベルを付けることができましたが、それらのカテゴリ内のすべてが一つの塊にぼやけていました。猫の耳、ひげ、そしてしっぽはすべて一つのタグに集約されましたが、人間は瞬時にそれらの部分や関係を直感的に解析します。

現代のAI視覚モデルはそれをさらに推進しましたが、依然として主にバウンディングボックスや粗い輪郭を推測していました。彼らは「ここに人がいる」と言うことはできましたが、袖と手を正確に区別したり、前のガラスの反射を区別したりすることは信頼できませんでした。おおよその検出と正確な理解の間のこのギャップが、AIが物理的な世界の混沌と重なり合う現実を扱うことを妨げています。

ピクセル単位でのオブジェクト識別、つまりセグメンテーションはそれを変えます。車の周りに矩形を描く代わりに、セグメンテーションモデルはすべてのピクセルにラベルを付けます：窓、タイヤ、街、空。AIが画像をこれらの超精密な領域に分割できるようになると、高度な推論が突然可能になります。

セグメンテーションは、自動運転からARヘッドセットに至るまで、すべての基盤となるものです。自動運転システムは影と固体物体を区別する必要があり、ARグラスは仮想物体を現実の表面に固定し、浮遊する推測ではなく、正確に配置する必要があります。医療画像、ロボティクス、ビデオ編集、セキュリティ分析はすべて、この詳細なピクセルレベルの理解に依存しています。

Metaの新しいSAM 3モデルは、その進化における重要な瞬間です。以前のSegment Anything Modelsはすでに研究者たちを驚かせましたが、SAM 3は人間のような直感に向かって進化しています。これは誰も明示的に認識するように訓練していないオブジェクトを、非常に異なるシーンや照明条件全体でセグメント化することができます。カテゴリを記憶するのではなく、一般化するのです。

ごちゃごちゃしたキッチンの写真を想像してください：重なり合った器具、透明なグラス、磨かれたカウンターの反射、揺れるキャビネットのドアによる動きのぼかし。従来のモデルは「キッチン」といくつかの「物体」を特定した後、あきらめてしまうかもしれません。しかし、SAM 3はその同じフレームを数十の鮮明で独立したマスクにスライスしています—各フォークの先、各グラスの縁、ステンレス製の瓶の反射さえも。

そのビフォーアフターの違いは明確です。従来のシステムがぼやけた、にじんだ輪郭を生成する一方で、SAM 3は色がほぼ同じでも、外形を外科的な精度でトレースします。実際の世界で操作する必要があるAIにとって、その違いは推測と実際に見ることとの間の境界線です。

画像セグメンテーションは抽象的に聞こえますが、そのアイデアはシンプルです：画像をきれいで物体の形をしたピースに切り分けることです。これは、写真の中にいるすべての猫、カップ、雲について、飛び出した毛や透明なエッジに至るまで、完璧なデジタル型を生成することだと考えてください。これらの型はマスクと呼ばれ、編集、測定、他のAIシステムのトレーニングのための素材となります。

Metaの元々のSegment Anything Model (SAM)は、2023年に発表され、その名の通り、あらゆる画像の中で任意のものをセグメント化することを目指しました。11百万枚の画像に対して11億以上のマスクという膨大なデータセットを搭載しており、これはこれまでリリースされた中で最大規模のビジョンデータセットの一つです。SAM 3は、その野心を引き継ぎ、よりコンパクトなアーキテクチャ、迅速な推論、そして混雑した実世界のシーンでのパフォーマンスの向上を図っています。

従来のセグメンテーションシステムは通常、特化型でした：人々用のモデル、車用のモデル、医療スキャン用のモデルなど。SAMは、「物体性」という概念自体に焦点を当てることで、その流れを変えました。カテゴリを記憶するのではなく、SAM 3はそのアプローチを継続し、他のアプリやモデルが接続できる一般用途のビジョンレイヤーとして機能しています。

SAM 3は、その核心においてシンプルなループを実行します：画像を取り込み、最小限のプロンプトを受け取り、マスクを出力します。プロンプトは、ピクセルへの単一のクリック、ざっくりとしたバウンディングボックス、または「前景対背景」といったテキストのないヒントであっても構いません。ほんの一瞬のうちに、SAM 3はオブジェクトの境界にぴったりとフィットした高解像度のマスクを、ピクセル単位の精度で返します。

そのインタラクションモデルは重要です。なぜなら、セグメンテーションを厳格なパイプラインではなく、対話的なアクションに変えるからです。ユーザーは一度クリックしてマスクを表示し、もう一度クリックして調整を行い、ほぼ瞬時に更新された結果を得ることができます。ビデオ編集者、AR開発者、研究者は、遅いタスク特化型ツールを待つのではなく、人間のスピードで反復作業ができます。

重要なのは、SAM 3は「犬」や「椅子」といった事前定義されたラベルには依存しないことです。代わりに、独立したオブジェクトとは何かを統計的に学習します：一貫したテクスチャ、閉じた輪郭、深さの手がかり、そして動画の動きの境界。こうした一般性により、同じモデルが日常の写真、顕微鏡スライド、衛星画像、ゲーム映像をそれぞれのドメインで再学習することなくセグメント化することが可能になります。

量子飛躍は誇大広告のように聞こえますが、SAM 3の数字を見ると異なります。Metaは、元のSegment Anything Modelと比較して、標準的なセグメンテーションベンチマークで20〜30%高いマスク品質を報告しており、平均Intersection-over-Union（mIoU）および境界精度において人気のあるオープンソースベースラインに対して明確な優位性を示しています。厳しいエッジケースでは、SAM 3は競争力のある速度で動作しながら、セグメンテーションエラーを2桁のパーセンテージで削減します。

生の力はデータから生まれます。Metaはトレーニングセットを、数千万のマスクから数億にまで劇的に拡大し、よりクリーンな画像コーパスを再構築しました。人間とモデルの支援による注釈がより厳密に行われています。高解像度の写真、より多様な照明条件、エッジケースのシーン—ガラスの店舗、クロームの表面、雨に濡れた窓—が、SAM 3に過去のモデルが見たことのない、はるかに豊かな栄養を提供しています。

曖昧さはセグメンテーションモデルを崩していました。反射、透明な物体、重なり合うテクスチャーは以前のシステムを混乱させ、前景と背景をしばしば一つの塊に統合してしまいました。SAM 3のアップグレードされたビジョンバックボーンと改良されたプロンプトエンコーダーは、ガラスの背後にある実際の物体と光沢のあるハイライトのような微妙な手がかりを区別することを可能にしました。

細部の表現が、アップグレードによってほとんど非現実的な感覚になります。個々の髪の毛、メッシュ生地、自転車のスポーク、そして吹き飛んだ空に対する木の枝などが、ぎざぎざの近似ではなく、鮮明で連続的なマスクに置き換わります。ズームインしたクロップでは、SAM 3は、古いモデルが埋めたり完全に消したりしていた小さなネガティブスペース—イヤリング、レース、ワイヤーフェンス—を維持します。

夕暮れ時の街の写真を想像してください：カフェの窓の向こうにいる人、ガラスに映るネオン、窓越しに見える金属の椅子、そして表面に映る車の姿。元のSAMは、人物とその反射を融合させるか、椅子の脚を無視して外側を囲むように塊状のハローを作る傾向があります。ガラスの端近くの髪はブロック状の輪郭に崩れています。

同じ画像をSAM 3で処理すると、違いが明らかになります。このモデルは被写体、反射、内部のオブジェクトをきれいに分離し、ウィンドウの暗い部分と明るい部分の両方に対して髪の毛の束を捉えます。技術的な詳細やベンチマークチャートについては、Metaの公式概要を参照してください。SAM 3 - AI at Metaでは、これらの精度向上が多様なデータセットやタスクでどのように現れるかが詳しく説明されています。

ピクセルがSAM 3の言語になる。Metaの新しいモデルは、固定サイズのパッチで画像をスキャンするビジョントランスフォーマーバックボーンを使用して、生のピクセルを視覚トークンの密なマップに変換します。その上に、軽量のマスクデコーダーが複数の解像度でオブジェクトの形状を予測し、粗い塊から鋭い輪郭へとエッジを洗練します。

プロンプトは会話のきっかけのように機能します。ポイントをクリックすると、SAM 3はそれを強いヒントとみなし、「その物体はここに存在する」と解釈します。そして、境界が変わらなくなるまで外側に拡張します。複数のポイントがあれば、ポジティブでもネガティブでも、人を背景の群衆から分離したり、木から一枚の葉を選んだりするのに役立ちます。

バウンディングボックスは、モデルに分析するための囲まれた領域を提供します。車の周りに大まかな矩形を描くと、SAM 3はミラーやルーフラックを含む正確なシルエットを埋めてくれます。複雑なシーンでは、ボックスとポイントを組み合わせることで、クリエイターは古いモデルが統合してしまった重なり合ったオブジェクトを分離することができます。

テキストプロンプトは、システムをビジュアル検索エンジンに変えます。「赤いバックパック」と入力すると、SAM 3は言語の特徴をピクセルトークンと照合し、赤色でバックパックの形をした領域のみを強調表示します。内部では、コンパクトなテキストエンコーダーが言葉を視覚的概念と整列させ、「ノートパソコンの画面」と「ノートパソコンのキーボード」のようなフレーズにも強固です。

効率的なアップグレードにより、これが単なる研究用のおもちゃ以上のものになりました。SAM 3は、単一の重い画像エンコーダパスを実行し、その後その表現をリアルタイムで数十のプロンプトに再利用します。Metaは、消費者向けGPUでのレイテンシの低下を報告しており、ウェブアプリ、モバイルエディター、ライブビデオツールでのインタラクティブなセグメンテーションを可能にしています。

重要なのは、SAM 3が単に「猫がいる」と言うだけではないことです。それは、ヒゲから尾まで、明るい窓の背後にある半透明の毛まで、猫の完全な輪郭を描き出します。このピクセル精度の理解により、クリーンな切り抜き、信頼性の高い合成、そして古いボックス型検出器では決して実現できなかった外科的なオブジェクト編集が可能になります。

SAM 3DはMetaのビジョン技術を平面のキャンバスから完全なボリュメトリックスペースへと押し上げます。2Dの写真上で物体をトレースするのではなく、スキャンのスタック、ポイントクラウド、またはマルチビュー画像の中にある3D構造全体をボクセルごとにセグメントします。このシフトにより、マスクは平面的なアウトラインから、回転、スライス、測定できるデジタル彫刻に変わります。

3Dデータのセグメンテーションは常に過酷な作業です。放射線科医、工業エンジニア、ロボティクスチームは、何百ものスライスや数百万の点で構成されたボリュームを手作業でラベル付けするのに時間を費やしており、小さな誤差が深さにわたって蓄積されます。SAM 3Dは、幅と高さだけでなく、すべての三軸にわたって一貫した境界を学習することでこの問題に対処します。

ボリューメトリックデータは高リスクの分野で主導的な役割を果たしています。病院では、患者ごとにギガバイトのCTおよびMRIスキャンを生成し、各研究には解釈が必要な200〜2,000のスライスが含まれています。産業用CTスキャナーは、タービンブレード、バッテリー、回路基板の密な3Dマッピングを行い、2D X線では見逃される微小なひび割れや空洞を見つけ出します。

SAM 3Dのようなモデルは、その膨大なデータを構造化された、クエリ可能なジオメトリに変換することができます。すべてのスライスをスキャンする代わりに、臨床医は「左腎臓と3mm以上のすべての病変をセグメント化してください」と指示し、数秒で正確な3Dマスクを受け取ることができます。エンジニアは全ての生産バッチにわたる内部欠陥を特定し、いくつかのサンプルを目視で確認するのではなく、統計的に比較することが可能です。

腫瘍手術前の脳MRIを考えてみてください。今日、専門家は腫瘍のボリューム、マージン、重要な血管との近接性を推定するために、数十枚または数百枚のスライスにわたって手動で腫瘍をアウトラインしています。SAM 3Dは、その塊を3Dで自動セグメンテーションし、正確なボリュームを計算し、ナビゲーション可能なモデルを手術計画ツールや術中ガイダンスシステムに直接供給することができます。

治療を監視する際にも、その精度は重要です。腫瘍専門医は、「部分的反応」を追跡するために、腫瘍の縮小量を時間をかけて測定し、しばしば大まかな直径の推定値を使用します。一貫したSAM 3Dマスクを使用することで、訪問ごとにミリメートル単位の正確な体積測定が可能となり、治療を継続するか変更するかを決定する際の推測を減らすことができます。

拡張現実は、信頼できる3D理解にも依存しています。ヘッドセットは、テーブルの2D位置だけでなく、その全体のボリューム、エッジ、遮蔽を理解する必要があり、そうすることで、ちらついたりクリッピングしたりしない仮想オブジェクトをアンカーすることができます。SAM 3Dスタイルのセグメンテーションは、ARシステムに部屋、家具、人物の安定したオブジェクトレベルのメッシュを提供することができます。

ロボティクスも同様のアップグレードを受けます。倉庫のロボット、ドローン、およびホームアシスタントは、物体を把握し、衝突を避け、混雑した空間をナビゲートするために、密な3Dマップを必要とします。ボリュメトリックセグメンテーションを使用することで、ロボットは棚の背後にある箱を見分け、把握ポイントを推定し、狭い隙間を通過するための経路を衝突を大幅に減らして計画できます。

製品写真は最も明白な影響を示しています。ワンクリックで背景を削除することで、散らかったキッチンテーブルの写真がクリーンでスタジオ風のパッケージ画像に変わり、わずか数秒でInstagram、Shopify、またはAmazonに対応できます。以前はPhotoshopでバッチごとに30〜60分かかっていた小規模な売り手も、今では自動生成されるピクセルパーフェクトなマスクを使って、1時間に数百枚の写真を処理できるようになりました。

Eコマースプラットフォームはこれをさらに進めることができます。SAM 3は、複雑なシーンから衣服、ジュエリー、または家具を切り出し、その後、ブランドの美学に合わせたAI生成の部屋や都市景観に再合成することができます。小売業者は、再撮影を行うことなく、製品ごとに数十のバックグラウンドをA/Bテストでき、セグメンテーションが髪、布のほつれ、透き通ったガラスのような細かなエッジを保持するため、一定の照明と影を維持できます。

クリエイティブなワークフローはショッピングフィードを超えた利点があります。ビデオ編集者は、時間的一貫性のあるマスクを使用して4K映像から被写体をフレームごとに切り抜き、広告や短編映画のためにUGCクリップを安定させることができます。ソーシャルアプリは、ミドルレンジのスマートフォンでも、デバイス上で軽量なSAM 3バリアントを実行することで、ARフィルターやバーチャル試着のためのリアルタイムポートレート切り抜きを提供できます。

科学的イメージングはさらに多くの恩恵を受けることができます。衛星データにおいて、SAM 3は何万平方キロメートルもの範囲で道路、河川、農地、都市の広がりをセグメント化することができ、ほぼリアルタイムの森林伐採アラートや洪水マッピングを可能にします。研究者は、多スペクトル画像をモデルに取り込み、手動で調整した閾値よりもはるかに高い精度で健康な植生とストレスを受けた区域を区別することができます。

ラボ内で、SAM 3は顕微鏡画像内の個々の細胞、核、または小器官をセグメント化できます。これまでは手作業での詳細なアノテーションが必要でしたが、今や単独の生物学者が1日で数千枚の画像を処理できるようになり、数週間かかっていたラベル付けが数時間のレビューに短縮されました。この迅速なプロセスは、創薬、癌検出、および細胞が新しい治療にどのように反応するかに関する基礎研究を加速させます。

産業システムは、安全性と自律性のためにセグメンテーションに依存しています。倉庫や工場では、ロボットが混雑した空間の中でパレット、フォークリフト、ケーブル、そして人間の作業者を区別する必要があります。SAM 3のインスタンスレベルのセグメンテーションは、オブジェクトが何であるかだけでなく、どこからスタートし、どこで終了するかを予測するのに役立ちます。これにより、衝突が減少し、動的な環境でのナビゲーションがよりスムーズになります。

自律走行車はこれを道路に拡張します。歩行者、自転車、車線 markings、そして障害物のための高品質なマスクは、プランナーがカメラデータをライダーやレーダーとより信頼性高く融合させることを可能にします。Metaは、技術的な文書の中で、SAM 3Dによる3Dシーン理解を含む追加の応用を概説しています：Introducing Meta Segment Anything Model 3 and SAM 3D - AI at Meta。

コンピュータビジョンの競合他社は静かに分断されたスタックに依存しています：医療画像用の独自API、産業検査用の有料SDK、およびフォトエディタや3Dスイート内のクローズドソースの自動マスキングツールです。SAM 3は、そのようなニッチツールの多くをコアセグメンテーションベンチマークで上回るか、同等の性能を発揮するジェネラリストの労働馬として、その景観に登場し、同時に3Dや動画も扱います。

メタの動きは、Stable Diffusionがクローズド型画像生成ツールを打ち負かした時の状況を思い起こさせます。許可条件の緩いライセンスでSAM 3をオープンソース化し、パフォーマンスの高いチェックポイントを提供することによって、メタはセグメンテーションをプレミアム機能から必須の要素へと変えました。これにより、スタートアップはクラウドベンダーに画像ごとの手数料を支払うことなく、世界クラスのマスクをウェブアプリに組み込むことができるようになりました。

「AI駆動のカットアウト」や「スマートな背景除去」を全面に打ち出したベンダーは、即座に利益率の圧力に直面しています。ストックフォトサイト、商品撮影プラットフォーム、そして自動マスキングに追加料金を取っていたデザインツールは、開発者が自己ホスティングし調整できる無料モデルと競争することになりました。

専門的なセグメンテーションAPIプロバイダーは特にリスクにさらされています。以下の分野に特化したエンドポイントを販売する企業は、次の理由を説明しなければなりません。 - 医療画像 - 小売棚の分析 - 建設現場の監視 顧客が自分のデータに適応できる透明なローカル展開モデルに対して、彼らのブラックボックスサービスがなぜ優れているのかを正当化する必要があります。

クラウドの巨人たちもプレッシャーを感じています。GoogleのVertex AI Vision、Amazon Rekognition、そしてMicrosoftのコグニティブサービスは、すべてセグメンテーションをより大きな有料スイートの一機能としてまとめています。高速でオープンなSAM 3は、企業がこれらの提供を交渉したり、完全に回避したりするためのレバレッジを提供し、特に高ボリュームのワークロードにおいて有効です。

GoogleとOpenAIは、おそらく視覚と言語の結びつきを強化することで応答するでしょう。「すべての腐食したボルトを特定し、交換コストを見積もってください」とユーザーが言うと、モデルはセグメンテーション、検出、推論を一度で連鎖させるマルチモーダルシステムが期待されます。これは、Metaの比較的スリムでタスクに焦点を当てたスタックがまだ完全には所有していない側面です。

競合他社は、自社の独自のビデオや3Dデータセットを使ってトレーニングされたオープンまたはセミオープンなセグメンテーションモデルをリリースする競争を繰り広げる可能性もあります。最初に「何でもセグメントし、すべてを説明する」システムを発送する企業が、機械が私たちの世界をどのように見るか、そして説明するかの新たな基準を設定します。

SAM 3への無料アクセスは一見寛大に見えるが、これはクラシックなプラットフォームの土地を奪う戦略として機能している。最先端のビジョンファンデーションモデルを無償で一般に公開することで、Metaは有料APIに依存する競合他社を下回る。SAM 3を標準化するすべてのスタートアップ、ラボ、インディー開発者は、静かにMetaのスタックへの依存を深めている。

モデルとコードベースのオープンソース化により、SAM 3は製品ではなくインフラストラクチャに変わります。研究者はライセンス交渉なしで、外科画像、倉庫ロボティクス、ドローンマッピングなどのニッチな領域に合わせて、ベンチマーク、フォーク、およびファインチューニングが可能です。そのオープン性は雪だるま式に広がる傾向があり、数百の論文やGitHubリポジトリがこのツールを引用すると、それは新しいプロジェクトのデフォルトの選択肢となります。

開発者エコシステムは、ブラックボックスの周りにはほとんど形成されません。Metaが重みやトレーニングレシピを公開することで、Llamaに見られるおなじみのパターンを促しています：迅速なサードパーティによる最適化、プルーニング、蒸留、そしてハードウェア特化の移植です。コミュニティのエンジニアたちは、SAM 3をエッジGPUやARメガネ、さらにはスマートフォンにまで詰め込み、Metaだけでは実現できない速さでその普及を拡大していくでしょう。

標準化は長期的な利益をもたらします。もしSAM 3がデザインツール、ロボティクスSDK、3Dエンジンの間で実質的なセグメンテーションレイヤーとなれば、Metaは多くの未来のアプリの基盤となる「ビジュアルOS」を実質的に所有することになります。競合モデルは、SAM 3のフォーマットやAPIを模倣するか、成長する事前訓練済みのチェックポイントとプラグインのエコシステムから孤立するリスクを負うかのいずれかの選択をしなければなりません。

この戦略は、MetaのAR/VRに対する野心と見事に一致しています。Reality Labsは、ヘッドセットやスマートグラスのために、リアルタイムで手、家具、顔、インターフェースをセグメント化できる世界理解型AIを必要としています。成熟し、コミュニティで強化されたSAM 3は、Metaに今後のQuestハードウェアとメタバーススタイルの共有スペースのための即座に利用可能な認識レイヤーを提供します。

オープンリリースからのフィードバックループは、採用と同じくらい重要です。何千人もの開発者がGitHubで問題を報告し、失敗事例を共有し、Metaが内部で収集することのないドメイン特有のデータセットを提供します。これらのエッジケース—奇妙な照明、遮蔽、産業環境—は、無料のトレーニングデータおよびテストスイートとなります。

コミュニティ主導の拡張は、Metaのロードマップのリスクを軽減します。誰かがSAM 3の上により優れた3Dメッシュ抽出、外科用アノテーションツール、または超高速WebGPUデモを構築すれば、Metaはそれらのアイデアを公式リリースに取り入れることができます。この文脈における「無料」は、大規模なアウトソーシングされた研究開発エンジンとして機能します。

強力であるにもかかわらず、SAM 3は視覚理解の狭い領域でしか機能しません。コーヒーカップの持ち手までを描き出すことはできますが、誰かが会議に遅れていること、ストレスを感じていること、またはノートパソコンにこぼしそうであることについては全く知識がありません。ここでのセグメンテーションは、幾何学を意味しており、物語ではありません；SAM 3は物がどこにあるかは知っていますが、それがなぜ重要かは理解していません。

シーンレベルの推論はまだ浅いです。混雑した通りでは、SAM 3は車や自転車、歩行者を識別できますが、交通ルールや社会的な合図、意図を推測することはできません。おもちゃの銃と本物の銃を区別することや、抗議とパレードを見分けることには、依然としてさらに高いレベルのモデルが必要です。

リアルタイムビデオは、別の圧力ポイントです。SAM 3はフレームを順次処理できますが、消費者向けハードウェアで30または60fpsの連続したオブジェクトトラッキングを行うと、レイテンシとメモリに大きな負担がかかります。急速な動き、動きのぼやけ、遮蔽は、依然としてアイデンティティの入れ替え、ちらつくマスク、またはフレーム間で失われるオブジェクトを引き起こします。

エッジケースは脆弱性を明らかにします。透明で反射する表面、手が顔の前にあるような複雑な遮蔽、小さくて重なり合った物体は依然として難題です。照明の変化、低解像度のセキュリティ映像、そして強い圧縮アーティファクトも、ベンチマーク数値では隠されがちな形でセグメンテーションの質を低下させます。

倫理的リスクは精度とともに増大します。自動化された、フレーム完璧なマスクは、持続的な監視、抗議者の追跡、ぼやけた顔の非匿名化をはるかに容易にします。安価なカメラとクラウドストレージと組み合わせることで、高忠実度セグメンテーションは行動プロファイリングや自動化された警察活動のための即使用可能な要素となります。

次のフロンティア研究は「何」という問いから「なぜ」という問いへの飛躍を目指しています。未来のモデルは、セグメンテーションを言語、物理学、常識推論と融合させる必要があります。単にナイフを検出するだけでなく、食材の準備を認識したり脅威として判断したり、単に車を孤立させるのではなく近接事故を推測したりすることです。Exploring SAM 3: Meta AIの新しいSegment Anything Model - Ultralyticsのような研究は、このスタッカブルな未来を示唆しており、ピクセル単位のマスクがより豊かで責任あるビジュアルインテリジェンスの基盤となります。

好奇心旺盛な読者はここで二つのグループに分かれます。SAM 3を使って何かを構築したい人々と、その魔法を自分のツールに組み込みたい人々です。どちらのグループも今日から実験を始めることができます。なぜなら、Metaは既にこのモデルファミリーをインフラとして扱っていて、実験的な玩具とは見なしていないからです。

開発者は最も直接的な道を得ます。Metaの公式SAM 3ハブはai.meta.com/sam3にあり、モデルカード、ベンチマーク、統合ガイドへのリンクがあります。そこから、2D SAM 3およびSAM 3Dのリファレンスコード、事前学習済みの重み、サンプルノートブックが含まれるGitHubリポジトリに直接飛ぶことができます。

実践的な作業には、以下を期待してください： - 単一画像およびバッチセグメンテーションのためのPyTorchおよびPythonの例 - コミュニティラッパーからのRESTおよびgRPCスタイルのAPI - モバイルおよびエッジデプロイメントのためのONNXエクスポートパス

製品を開発しているエンジニアは、既存のパイプラインにOpenCV、Detectron2、またはSegment Anything v1を使用している場合、SAM 3を組み込むことができます。ラベリングツール、ロボットの認識スタック、またはAR試着体験のためのセグメンテーションバックエンドとして追加し、現在のモデルとmIoU、レイテンシ、GPUメモリでベンチマークを行ってみてください。

クリエイターや非技術的ユーザーは、GitHubリポジトリではなく、馴染みのあるアプリ内でSAM 3に出会う可能性が高いです。写真編集ソフトやデザインツールは、ワンクリックでの切り抜き、背景除去、そして髪の毛やガラス、動きのブレを実際に考慮したマルチオブジェクトマスキングを実現できます。動画プラットフォームは、Bロールや製品ハイライト、人物や物体の周りに自動的な字幕を追加するためのフレーム精度のオブジェクトトラッキングを導入できます。

統合が現れることが期待される分野： - FigmaスタイルのデザインツールやAIアートサイトのようなブラウザー ベースのエディター - スマートマスキングを既に提供しているノーコードビデオプラットフォーム - SAM 3Dを使用した自動リギングとシーンクリーニングのための3D作成スイート

研究者はさらに大きなアップグレードを受けます。高精度のオープンセグメンテーションにより、医療画像、気候科学、ロボティクスのデータセットから数週間の手動注釈作業が不要になりました。ラボは、細胞顕微鏡や衛星赤外線などのニッチな領域に合わせてSAM 3を微調整でき、全体のビジョンスタックを再構築することなく作業を行えます。

このように鋭い視覚へのアクセスが民主化されることで、誰が実験できるかが変わります。誰でも無料で世界をピクセルパーフェクトな断片に切り分けられるとき、「これにラベルを付けられるか？」という制約は消え、「これを使ってどんなワイルドなものを作れるか？」という問いに変わります。

メタのSAM 3とは何ですか？

SAM 3、すなわちセグメント・エニシング・モデル3は、MetaのAIビジョンモデルの最新世代です。シンプルなプロンプト、例えばクリックやボックスを使って、画像や3Dボリューム内のあらゆるオブジェクトや領域を最先端の精度で特定・孤立させることに優れています。

SAM 3は無料で使用できますか？

はい、MetaはSAM 3を許可されたオープンソースライセンス（Apache 2.0）のもとでリリースしました。これにより、研究者と商業開発者の両方が自由に利用し、構築できるようになりました。

SAM 3と元のSAMの主な違いは何ですか？

SAM 3は、パフォーマンス、精度、効率の大幅な向上を提供します。より大きく、より高品質なデータセットで訓練されており、あいまいなオブジェクト、微細な詳細を処理する能力が向上し、エラーを減少させることができます。

SAM 3の実用的な使用方法は何ですか？

アプリケーションは非常に広範で、写真編集におけるワンクリックの背景除去、3Dでの医療スキャン（MRIなど）の分析、自律運転車のための知覚システムの強化、科学研究のためのデータ注釈などが含まれます。