메타의 새로운 AI가 보이지 않는 것을 봅니다.

컴퓨터는 수십 년 동안 이미지를 바라보았지만 실제로 “보지”는 못했습니다. 기존의 비전 시스템은 사진에 “고양이”, “나무” 또는 “차”와 같은 레이블을 붙일 수 있었지만, 이러한 범주 안의 모든 것이 하나의 덩어리로 흐려졌습니다. 고양이의 귀, 수염, 그리고 꼬리는 모두 하나의 태그로 묶였고, 인간은 본능적으로 그 부분들과 그 관계를 밀리초 안에 파악합니다.

현대 AI 비전 모델은 이를 더욱 발전시켰지만 여전히 대개 경계 상자와 대략적인 윤곽을 추측하는 수준에 머물러 있었습니다. 그들은 "여기에 사람이 있다"고 말할 수 있었지만, 팔소매와 손을 신뢰성 있게 구분하거나 앞의 유리에서 반사를 구별할 수는 없었습니다. 이 대략적인 감지와 정밀한 이해 사이의 간극은 AI가 물리적 세계의 복잡하고 겹치는 현실을 처리하는 데 장애가 되어왔습니다.

픽셀 완벽한 객체 식별—세분화라고 알려진—이 상황을 바꿉니다. 자동차 주위에 사각형을 그리는 대신, 세분화 모델은 모든 픽셀에 레이블을 할당합니다: 창문, 타이어, 도로, 하늘. AI가 이미지를 이러한 초정밀 영역으로 분할할 수 있게 되면, 고차원적 추론이 갑자기 가능해집니다.

세분화는 자율 주행에서 AR 헤드셋에 이르기까지 모든 것을 뒷받침합니다. 자율 주행 시스템은 그림자와 고체 객체를 구별해야 하며, AR 안경은 가상의 객체를 실제 표면에 고정해야 합니다, 즉 떠다니는 추측이 아닌 것입니다. 의료 이미징, 로봇 공학, 비디오 편집 및 보안 분석 모두 이러한 세밀한 픽셀 수준의 이해에 의존합니다.

메타의 새로운 SAM 3 모델은 이러한 진화의 중요한 전환점으로 자리 잡습니다. 이전의 세그먼트 모든 모델들은 이미 연구자들을 놀라게 했지만, SAM 3은 인간과 유사한 직관으로 나아갑니다: 그것은 아무도 명시적으로 인식하도록 훈련하지 않은 객체들을 다양한 장면과 조명 조건에서도 세그먼트할 수 있습니다. 범주를 암기하는 대신, 일반화합니다.

어지러운 주방 사진을 상상해 보세요: 겹쳐진 조리도구들, 투명한 유리잔, 매끈한 조리대 위의 반사, 흔들리는 찬장 문에서 생긴 움직임 흐림. 전통적인 모델은 "주방"과 몇 개의 "물체"를 식별한 후 포기할 수 있습니다. 그러나 SAM 3은 같은 프레임을 수십 개의 선명한 개별 마스크로 분할합니다—각 포크의 갈래마다, 각 유리잔의 가장자리, 심지어 스테인리스 스틸에 비친 병의 반사까지 말이죠.

그 전후 변화는 극명합니다. 이전 시스템이 흐릿하고 번진 경계를 생성했던 반면, SAM 3는 색상이 거의 일치할 때조차도 물체의 경계를 수술적으로 정밀하게 추적합니다. 우리 세계에서 작동해야 하는 AI에게 있어, 그 차이는 추측과 실제로 보는 것 사이의 경계입니다.

이미지 분할은 추상적으로 들릴 수 있지만, 그 아이디어는 간단합니다: 이미지를 깔끔하고 객체 형태의 조각으로 나누는 것입니다. 사진 속의 모든 고양이, 컵, 구름에 대해 완벽한 디지털 스텐실을 생성하는 것으로 생각해보세요. 여기에는 날리는 머리카락과 투명한 경계까지 포함됩니다. 이 스텐실은 마스크라고 불리며, 편집, 측정, 다른 AI 시스템을 훈련하는 데 필요한 원재료가 됩니다.

메타의 원래 세그먼트 앤싱 모델(SAM)은 2023년에 출시되어 이름이 약속하는 바와 같이 이미지 내 모든 것을 분할하려고 했습니다. 이 모델은 1억 1천만 개의 마스크를 포함한 1천 1백만 개의 이미지로 구성된 방대한 데이터셋과 함께 제공되었으며, 이는 지금까지 공개된 가장 큰 비전 데이터셋 중 하나입니다. SAM 3은 보다 컴팩트한 아키텍처, 빠른 추론 속도, 복잡한 실제 장면에서의 강력한 성능으로 그 야망을 이어갑니다.

과거의 세분화 시스템은 일반적으로 특정 분야에 특화되었습니다: 사람을 위한 하나의 모델, 자동차를 위한 또 하나의 모델, 의료 스캔을 위한 모델 등이었습니다. SAM은 카테고리를 암기하는 대신 “객체성” 자체를 목표로 삼아 이 방식을 뒤바꿨습니다. SAM 3는 이러한 접근 방식을 계속해서 유지하며, 다른 앱과 모델이 연동할 수 있는 범용 비전 레이어처럼 작동합니다.

SAM 3의 핵심은 간단한 반복 작업을 수행하는 것입니다: 이미지를 가져와 최소한의 프롬프트를 수용하고 마스크를 출력하는 것입니다. 프롬프트는 픽셀에 대한 단일 클릭, 대략적인 경계 상자, 또는 "전경과 배경"과 같은 텍스트 없는 힌드일 수 있습니다. 불과 몇 초 만에 SAM 3는 객체의 경계를 픽셀 수준의 정밀도로 감싸는 고해상도 마스크를 반환합니다.

그 상호작용 모델은 세분화를 경직된 프로세스가 아닌 대화형 행동으로 바꾸기 때문에 중요합니다. 사용자는 한 번 클릭하여 마스크를 보고, 또 한 번 클릭하여 수정한 후 거의 즉시 업데이트된 결과를 얻을 수 있습니다. 비디오 편집자, AR 개발자, 연구자들은 느린 작업 전용 도구를 기다리지 않고 인간의 속도로 반복할 수 있습니다.

중요하게도, SAM 3는 “개”나 “의자”와 같은 미리 정의된 레이블에 의존하지 않습니다. 그것은 별개의 객체로 간주되는 것을 일관된 질감, 닫힌 윤곽선, 깊이 단서, 비디오에서의 움직임 경계와 같은 통계적 개념으로 학습합니다. 이러한 일반성 덕분에 동일한 모델이 일상 사진, 현미경 슬라이드, 위성 이미지 및 게임 영상을 각 도메인에 대해 재훈련 없이 분할할 수 있습니다.

퀀텀 도약은 SAM 3의 수치를 보기 전까지는 과대선전처럼 들린다. 메타는 기존의 Segment Anything Model과 비교했을 때 표준 세분화 기준에서 20-30% 더 높은 마스크 품질을 보고하며, 평균 교차 분석(mIoU) 및 경계 정확도에서 널리 사용되는 오픈 소스 기준보다 확실한 우위를 점하고 있다. 어려운 가장자리 사례에서도 SAM 3는 경쟁력 있는 속도로 작동하면서 세분화 오류를 두 자리 수 비율로 줄인다.

원시적인 힘은 데이터에서 나옵니다. 메타는 수십억 개의 마스크에서 수백억 개로 이동하며 인간과 모델 지원 주석이 더욱 엄격해진 훈련 세트를 새롭게 구축했습니다. 더 높은 해상도의 사진, 더 다양한 조명 조건, 그리고 엣지 케이스 장면—유리 상점, 크롬 표면, 비에 젖은 창문—이 SAM 3에게 이전 모델들이 경험한 것보다 훨씬 더 풍부한 데이터를 제공합니다.

모호성은 분할 모델을 깨는 데 사용되었습니다. 반사, 투명한 물체, 겹치는 질감은 이전 시스템을 혼란스럽게 하여 종종 전경과 배경을 하나의 덩어리로 합쳤습니다. SAM 3의 업그레이드된 비전 백본과 개선된 프롬프트 인코더는 유리 뒤의 실제 물체와 같은 미세한 단서를 구분할 수 있게 해줍니다.

세밀한 디테일에서 업그레이드는 거의 비현실적으로 느껴집니다. 개별 머리카락, 메시 직물, 자전거 스포크, 그리고 흐리게 처리된 하늘 배경의 나뭇가지들이 이제는 울퉁불퉁한 근사치 대신 선명하고 연속적인 마스크를 받게 됩니다. 확대된 크롭에서 SAM 3는 옛 모델들이 아예 지우거나 메운 작은 음영 공간—귀걸이, 레이스, 철조망—을 유지합니다.

황혼의 거리 사진을 상상해 보세요: 카페 창 너머에 있는 한 사람, 유리에 비친 네온 불빛, 유리창을 통해 보이는 금속 의자, 그리고 표면에 비친 자동차들. 원래의 SAM은 보통 사람과 그들의 반사를 융합하거나 의자 다리를 무시하고 창의 눈부심을 고형 물체로 잘못 표기하는 덩치 큰 후광 실루엣을 만들어 냅니다. 유리 가장자리 근처의 머리카락은 각진 윤곽으로 무너집니다.

같은 이미지를 SAM 3을 통해 처리하면 차이점이 뚜렷하게 드러납니다. 모델은 주제, 반사, 내부 객체를 깔끔하게 분리하며, 창의 어두운 부분과 밝은 부분 모두에 걸쳐 머리카락의 흩날림을 추적합니다. 보다 기술적인 분석 및 벤치마크 차트에 대한 정보는 메타의 자체 개요인 SAM 3 - AI at Meta에서 다양한 데이터셋과 작업에서 이러한 정확도 향상이 어떻게 나타나는지를 자세히 설명합니다.

픽셀이 SAM 3의 언어가 됩니다. 메타의 새로운 모델은 고정 크기 패치로 이미지를 스캔하는 비전 트랜스포머 백본을 사용하여 원시 픽셀을 밀집된 시각적 토큰 맵으로 변환합니다. 그 위에, 경량의 마스크 디코더가 여러 해상도에서 객체 형태를 예측하여 거칠게 묘사된 가장자리를 날카로운 윤곽선으로 정교하게 다듬습니다.

프롬프트는 대화 시작자처럼 작용합니다. 특정 지점을 클릭하면 SAM 3는 이를 강력한 힌트로 간주하여 "객체가 여기 살고 있다"며 경계가 더 이상 변하지 않을 때까지 외부로 확장합니다. 여러 지점, 긍정적이거나 부정적인 지점들이 함께 작용하여 사람을 배경 군중에서 분리하거나 나무에서 단일 잎을 선택하는 데 도움을 줍니다.

바운딩 박스는 모델이 분석할 수 있는 제한된 영역을 제공합니다. 자동차 주위에 대략적인 사각형을 그리면 SAM 3은 거울과 루프 랙을 포함한 정확한 실루엣을 채웁니다. 복잡한 장면에서는 박스와 점을 결합하여 제작자들이 이전 모델이 합쳐 놓았던 겹치는 객체들을 분리할 수 있습니다.

텍스트 프롬프트는 시스템을 시각 검색 엔진으로 변환합니다. "빨간 배낭"을 입력하면 SAM 3은 언어 특징을 픽셀 토큰과 교차 참조하여 빨간색이며 배낭 모양인 영역만 하이라이트합니다. 내부적으로는 컴팩트한 텍스트 인코더가 단어를 시각적 개념과 일치시켜 "노트북 화면"과 "노트북 키보드"와 같은 구문에 강력하게 대응합니다.

효율성 업그레이드는 이를 단순한 연구 장치 이상으로 만듭니다. SAM 3는 단일 무거운 이미지 인코더 패스를 실행한 후, 그 표현을 수십 개의 프롬프트에 즉시 재사용합니다. 메타는 소비자 GPU에서 지연 시간이 감소했다고 보고하며, 이는 웹 앱, 모바일 편집기, 라이브 비디오 도구에서 인터랙티브 분할을 가능하게 합니다.

중요하게도, SAM 3는 단순히 “고양이가 있다”고 말하지 않습니다. 그것은 고양이의 전체 경계를 추적하며, 수염에서 꼬리까지, 밝은 창 앞의 반투명한 털까지 자세히 보여줍니다. 이러한 픽셀 정확한 이해는 깔끔한 컷아웃, 신뢰할 수 있는 합성, 그리고 이전의 박스 전용 탐지기로는 결코 불가능했던 정밀한 객체 편집을 가능하게 합니다.

SAM 3D는 메타의 비전 기술을 평면 캔버스에서 벗어나 완전한 입체 공간으로 밀어냅니다. 2D 사진에서 객체를 추적하는 대신, 스캔, 포인트 클라우드 또는 다중 뷰 이미지를 쌓아 전체 3D 구조를 복셀 단위로 구분합니다. 이 변화는 마스크를 평면 윤곽선에서 회전하고, 잘라내고, 측정할 수 있는 디지털 조각으로 전환합니다.

3D 데이터 세분화는 항상 힘든 작업이었습니다. 방사선사, 산업 엔지니어 및 로봇 팀들은 수백 개의 슬라이스나 수백만 개의 점으로 이루어진 볼륨을 손으로 라벨링하는 데 몇 시간을 소모하며, 작은 오류가 깊이를 따라 누적될 수 있습니다. SAM 3D는 폭과 높이에 국한되지 않고 모든 세 축을 통해 일관된 경계를 학습함으로써 이러한 문제를 해결합니다.

부피 데이터는 고위험 분야에서 지배적입니다. 병원은 환자당 기가바이트의 CT 및 MRI 스캔을 생성하며, 각 연구에는 해석이 필요한 200~2,000개의 슬라이스가 포함됩니다. 산업용 CT 스캐너는 터빈 블레이드, 배터리 및 회로 기판의 밀집된 3D 지도를 캡처하여 2D 엑스레이에서는 놓치는 미세한 균열이나 공극을 찾아냅니다.

SAM 3D와 같은 모델은 그 방대한 데이터를 구조화된 쿼리 가능한 기하학으로 변환할 수 있습니다. 매 슬라이스를 스캔하는 대신, 임상의는 "왼쪽 신장과 3mm 이상 크기의 모든 병변을 분할하라"고 요청할 수 있으며, 몇 초 안에 정확한 3D 마스크를 받을 수 있습니다. 엔지니어들은 전체 생산 배치에서 내부 결함을 구분하고 이를 통계적으로 비교할 수 있으며, 몇 개 샘플을 눈으로 확인하는 데 그치지 않을 수 있습니다.

종양 수술 전 뇌 MRI를 고려해 보십시오. 현재, 전문가들은 종양의 부피, 경계 및 주요 혈관과의 근접성을 추정하기 위해 수십 또는 수백 장의 슬라이스에 걸쳐 수동으로 종양의 윤곽을 그립니다. SAM 3D는 3D에서 해당 덩어리를 자동으로 분할하고 정확한 부피를 계산하여 내비게이션 가능한 모델을 수술 계획 도구 및 수술 중 안내 시스템에 직접 제공합니다.

의사들이 치료를 모니터링할 때도 그 같은 정확성이 중요합니다. 종양 전문의들은 종양의 크기가 시간이 지남에 따라 얼마나 줄어드는지를 측정하여 "부분 반응"을 추적합니다. 이 과정에서는 종종 대략적인 직경 추정치를 사용합니다. 방문 시 일관된 SAM 3D 마스크는 밀리미터 단위의 정확한 부피 측정을 가능하게 하여 치료를 지속할지 또는 변경할지를 결정할 때의 추측 작업을 줄입니다.

증강 현실은 신뢰할 수 있는 3D 이해에 의존합니다. 헤드셋은 단순히 테이블이 2D에서 어디에 있는지를 아는 것뿐만 아니라, 가상의 물체가 깜박이거나 잘리지 않도록 그것의 전체 부피, 가장자리 및 차폐를 이해해야 합니다. SAM 3D 스타일의 분할은 AR 시스템에 방, 가구 및 사람들의 안정된 객체 수준 메시를 제공할 수 있습니다.

로봇 기술도 유사한 업그레이드를 받습니다. 창고 로봇, 드론 및 가정용 보조기기들은 물체를 인식하고, 충돌을 피하며, 복잡한 공간을 탐색하기 위해 밀집된 3D 지도가 필요합니다. 볼륨 기반 분할을 통해 로봇은 선반 뒤에 있는 상자를 구별하고, 잡는 지점을 추정하며, 좁은 틈을 통해 경로를 계획할 수 있어 충돌을 훨씬 줄일 수 있습니다.

제품 사진은 가장 뚜렷한 영향을 보여줍니다. 한 번의 클릭으로 배경 제거 기능을 사용하면 복잡한 주방 테이블 사진이 깔끔한 스튜디오 스타일의 패키지 이미지로 변환되어 몇 초 만에 Instagram, Shopify 또는 Amazon에 올릴 준비가 완료됩니다. 예전에는 Photoshop에서 배치당 30~60분을 소요하던 소규모 판매자들은 이제 자동으로 생성된 픽셀 퍼펙트 마스크를 이용하여 시간당 수백 장의 사진을 처리할 수 있게 되었습니다.

전자상거래 플랫폼은 이를 더욱 발전시킬 수 있습니다. SAM 3은 복잡한 장면에서 의류, 보석 또는 가구를 분리한 다음, 브랜드의 미학에 맞는 AI 생성 방이나 도시 풍경으로 다시 조합할 수 있습니다. 소매업체는 재촬영 없이도 제품별로 수십 개의 배경을 A/B 테스트할 수 있으며, 세분화가 머리카락, 원단의 마모, 투명 유리와 같은 미세한 가장자리를 보존하기 때문에 일관된 조명과 그림자를 유지할 수 있습니다.

창의적인 작업 흐름은 쇼핑 피드를 넘어 이점을 제공합니다. 비디오 편집자는 시간적으로 일관된 마스크를 사용하여 4K 영상에서 주제를 프레임별로 잘라내어 광고나 단편 영화용으로 UGC 클립을 안정화할 수 있습니다. 소셜 앱은 중급 휴대폰에서도 장치에서 더 가벼운 SAM 3 변형을 실행하여 AR 필터와 가상 착용을 위한 실시간 인물 컷아웃을 제공할 수 있습니다.

과학적 이미징은 더욱 발전할 전망입니다. 위성 데이터에서 SAM 3는 수만 제곱킬로미터에 걸쳐 도로, 강, 농경지, 도시 확장을 구분할 수 있어 거의 실시간으로 삼림 파괴 경고나 홍수 를 매핑할 수 있게 합니다. 연구자들은 다중 스펙트럼 이미지를 모델에 입력하여 건강한 식생과 스트레스를 받은 지역을 수동으로 조정한 임계값보다 훨씬 더 높은 정밀도로 구분할 수 있습니다.

실험실 내에서 SAM 3는 과거에 세밀한 수작업 주석이 필요했던 현미경 이미지에서 개별 세포, 핵 또는 세포 소기관을 분리할 수 있습니다. 단 한 명의 생물학자가 하루에 수천 개의 이미지를 처리할 수 있어, 이전에 몇 주가 걸리던 주석 작업을 몇 시간의 검토로 단축시킵니다. 이러한 속도 향상은 약물 발견, 암 검출 및 세포가 새로운 치료에 어떻게 반응하는지를 연구하는 기본 연구를 가속화합니다.

산업 시스템은 안전성과 자율성을 위해 분할에 의존합니다. 창고와 공장에서 로봇은 복잡한 공간에서 팔레트, 포크리프트, 케이블 및 인간 작업자를 구별해야 합니다. SAM 3의 인스턴스 수준 분할 기능은 로봇이 물체가 어디서 시작되고 끝나는지를 예측할 수 있도록 도와줍니다. 이를 통해 충돌을 줄이고 역동적인 환경에서 더 정밀한 내비게이션이 가능해집니다.

자율주행 차량은 이를 도로로 확장합니다. 보행자와 자전거 이용자를 위한 고품질 마스크, 차선 표시 및 잔해가 계획자들이 카메라 데이터와 라이다, 레이더를 더 신뢰성 있게 통합할 수 있도록 합니다. 메타는 기술 문서에서 SAM 3D와 함께 3D 장면 이해를 포함한 추가 응용 프로그램을 설명합니다: 메타 세그먼트 에니씽 모델 3 및 SAM 3D 소개 - 메타의 AI.

컴퓨터 비전 분야의 경쟁자들은 조용히 분산된 스택에 의존해왔습니다: 의료 이미징을 위한 독점 API, 산업 검사용 유료 SDK, 사진 편집기와 3D 툴 내의 폐쇄형 자동 마스킹 도구들입니다. SAM 3은 이러한 환경에 일반 용도의 다목적 작업 도구로 등장하여, 많은 전문 도구들과 비교해 핵심 세분화 벤치마크에서 동등하거나 우수한 성능을 보이며, 3D 및 비디오 처리도 가능합니다.

메타의 이번 행보는 스테이블 디퓨전이 폐쇄형 이미지 생성기를 뛰어넘었을 때의 상황을 반영합니다. 허가가 자유로운 상태로 SAM 3를 오픈 소스화하고 성능이 뛰어난 체크포인트를 제공함으로써, 메타는 세분화(segmentation)를 프리미엄 기능에서 기본 요구 사항으로 전환합니다. 이제 모든 스타트업은 클라우드 공급업체에 이미지당 요금을 지불하지 않고도 수준 높은 마스크를 웹 앱에 통합할 수 있습니다.

“AI 기반 컷아웃” 또는 “스마트 배경 제거”를 중심으로 전체 비즈니스 모델을 구축한 공급업체들은 즉각적인 마진 압박에 직면하고 있습니다. 추가 비용을 부과했던 스톡 사진 사이트, 제품 사진 플랫폼 및 디자인 도구들이 개발자가 자체 호스팅하고 세부 조정할 수 있는 무료 모델과 경쟁하게 되었습니다.

특화된 세분화 API 제공업체들은 특히 위험에 처해 있습니다. 다음과 같은 수직적 엔드포인트를 판매하는 회사들은 이제 자사 블랙박스 서비스가 고객이 자신의 데이터에 맞게 조정할 수 있는 투명한 로컬 배포 모델보다 왜 우수한지를 정당화해야 합니다: - 의료 스캔 - 소매 진열 분석 - 건설 현장 모니터링

클라우드 대기업들도 압박을 느끼고 있습니다. 구글의 Vertex AI Vision, 아마존 Rekognition, 그리고 마이크로소프트의 인지 서비스 모두 분할 기능을 더 큰 유료 제품군의 하나로 통합하고 있습니다. 빠르고 개방적인 SAM 3는 기업들이 이러한 제품을 협상하거나 완전히 우회할 수 있는 레버리지를 제공합니다, 특히 대량의 작업 부하를 처리할 때 더욱 그렇습니다.

구글과 OpenAI는 거의 확실히 비전과 언어 간의 연결을 강화하는 방식으로 대응할 것입니다. 사용자가 "부식된 나사를 모두 분리하고 교체 비용을 추정하세요."라고 말할 수 있는 다중 모달 시스템이 기대됩니다. 이 모델은 세분화, 탐지 및 추론을 한 번에 수행할 수 있습니다. 이것이 메타의 비교적 간결하고 작업 중심의 스택이 아직 완전히 소유하지 못한 한 가지 측면입니다.

경쟁자들은 독점 비디오 및 3D 데이터 세트를 기반으로 한 자사 고유의 오픈 또는 반오픈 분할 모델을 출시하기 위해 경쟁할 수도 있습니다. 가장 뛰어난 "모든 것을 분할하고, 모든 것을 설명하는" 시스템을 가장 먼저 출시하는 쪽이 기계가 우리 세계를 어떻게 보고 설명하는지에 대한 새로운 기준을 설정하게 됩니다.

SAM 3에 대한 무료 접근은 표면적으로는 관대해 보이지만, 고전적인 플랫폼 땅 잡기 방식으로 기능합니다. 최첨단 비전 기반 모델을 제로 비용으로 공개함으로써, 메타는 세분화와 3D 인식을 위해 유료 API에 의존하는 경쟁자들을 압박합니다. SAM 3에 표준화하는 모든 스타트업, 연구소, 인디 개발자들은 메타의 스택에 대한 의존성을 조용히 심화시킵니다.

모델과 코드베이스를 오픈 소스화함으로써 SAM 3는 제품이 아닌 인프라로 전환됩니다. 연구자들은 라이선스를 협상할 필요 없이 외과 이미징, 웨어하우스 로보틱스, 드론 매핑 등 특정 도메인을 위해 이를 벤치마크하고, 포크하고, 세밀하게 조정할 수 있습니다. 이러한 개방성은 눈덩이 효과를 불러옵니다. 수백 개의 논문과 GitHub 리포지토리가 도구를 인용하게 되면, 그것은 새로운 프로젝트의 기본 선택이 됩니다.

개발자 생태계는 블랙박스를 중심으로 형성되지 않는 경우가 드뭅니다. 메타는 가중치와 훈련 레시피를 공개함으로써 라마에서 볼 수 있는 익숙한 패턴을 초대합니다: 빠른 제3자 최적화, 가지치기, 증류, 및 하드웨어 특화 포팅. 커뮤니티 엔지니어들은 SAM 3을 엣지 GPU, AR 안경, 그리고 심지어 휴대폰에 적용하여 메타가 단독으로 처리할 수 있는 것보다 훨씬 빠르게 그 범위를 확장할 것입니다.

표준화는 장기적인 이점을 제공합니다. 만약 SAM 3가 디자인 도구, 로봇 SDK, 3D 엔진 전반에 걸쳐 사실상의 세분화 계층이 된다면, 메타는 미래의 많은 앱 아래에 있는 “비주얼 OS”를 사실상 소유하게 됩니다. 경쟁 모델은 SAM 3의 포맷과 API를 모방하거나, 증가하는 사전 학습 체크포인트와 플러그인의 생태계로부터 고립될 위험을 감수해야 합니다.

이 전략은 메타의 AR/VR 목표와 깔끔하게 일치합니다. 리얼리티 랩스는 헤드셋과 스마트 글래스를 위해 손, 가구, 얼굴, 인터페이스를 실시간으로 분리할 수 있는 세계 이해 AI가 필요합니다. 성숙하고 커뮤니티에서 검증된 SAM 3는 메타에 향후 퀘스트 하드웨어와 메타버스 스타일의 공유 공간을 위한 즉시 적용 가능한 인식 레이어를 제공합니다.

오픈 릴리스로부터의 피드백 루프는 채택만큼이나 중요합니다. 수천 명의 개발자들이 GitHub 이슈를 등록하고 실패 사례를 공유하며, 메타가 내부적으로는 수집하지 않을 도메인별 데이터셋에 기여할 것입니다. 이러한 엣지 케이스—이상한 조명, 가려짐, 산업 환경—는 무료 훈련 데이터와 테스트 스위트가 됩니다.

커뮤니티 기반 확장 기능은 메타의 로드맵의 리스크를 줄여줍니다. 만약 누군가가 SAM 3 위에 더 나은 3D 메쉬 추출, 수술 등급의 주석 도구, 또는 초고속 WebGPU 데모를 만든다면, 메타는 그 아이디어를 공식 릴리스에 다시 통합할 수 있습니다. 이 맥락에서 '무료'는 방대한 외부 연구 개발 엔진으로 작용합니다.

강력하긴 하지만, SAM 3는 여전히 좁은 시각적 이해 범위에서 작동합니다. 커피컵의 손잡이까지 윤곽을 잡을 수 있지만, 누군가가 회의에 늦었거나 스트레스를 받고 있거나 노트북 위에 쏟을 상황인지에 대해서는 전혀 알지 못합니다. 여기서 세분화는 이야기보다는 기하학을 의미합니다; SAM 3는 사물이 어디에 있는지는 알지만, 그것들이 왜 중요한지는 모릅니다.

장면 수준의 추론은 여전히 얕다. 혼잡한 거리에서 SAM 3는 자동차, 자전거, 보행자를 구분할 수 있지만, 교통 규칙, 사회적 신호 또는 의도를 추론하지는 못한다. 장난감 총과 실제 총, 시위와 퍼레이드를 구분하기 위해서는 여전히 더 높은 수준의 모델이 필요하다.

실시간 비디오는 또 다른 압박 요소입니다. SAM 3는 프레임을 순차적으로 처리할 수 있지만, 소비자 하드웨어에서 30fps 또는 60fps로 지속적인 객체 추적을 수행하는 것은 지연 시간과 메모리에 큰 부담을 줍니다. 빠른 움직임,_motion blur_, 그리고 가림현상은 여전히 아이덴티티 교체, 깜박이는 마스크, 또는 프레임간 잃어버린 객체를 초래합니다.

엣지 케이스는 허약함을 드러냅니다. 투명하고 반사적인 표면, 복잡한 가리는 요소(예: 얼굴 앞의 손), 그리고 작고 겹치는 물체는 여전히 어려운 문제입니다. 조명 변화, 저해상도 보안 영상, 그리고 심한 압축 아티팩트는 종종 벤치마크 수치가 숨기는 방식으로 분할 품질을 저하시키기도 합니다.

윤리적 위험은 정밀하게 증가합니다. 자동화된 완벽한 마스크는 지속적인 감시, 시위자 추적 및 흐릿한 얼굴의 비식별화 작업을 훨씬 더 쉽게 만듭니다. 저렴한 카메라와 클라우드 저장소와 결합되어 고충실도 분할은 행동 프로파일링 및 자동화된 경찰 활동을 위한 즉각적인 재료가 됩니다.

차세대 연구는 "무엇"에서 "왜"로의 도약을 목표로 하고 있습니다. 미래의 모델은 분할(segmentation)을 언어, 물리학, 그리고 상식적 추론과 결합해야 할 것입니다. 단순히 칼을 감지하는 것이 아니라, 음식 준비와 위협을 인식하고; 단순히 자동차를 분리하는 것이 아니라, 근접 사고를 추론하는 것이 필요합니다. Exploring SAM 3: Meta AI의 새로운 Segment Anything Model - Ultralytics와 같은 작업은 픽셀 완벽한 마스크가 더 풍부하고 책임감 있는 시각적 지능을 위한 기초가 되는 쌓을 수 있는 미래를 암시합니다.

호기심 많은 독자들은 두 가지 그룹으로 나뉩니다: SAM 3로 작업하고 싶어하는 사람들, 그리고 그저 이 마법이 자신의 도구에 적용되기를 원하는 사람들. 두 그룹 모두 오늘부터 실험을 시작할 수 있습니다. 왜냐하면 메타는 이미 이 모델 가족을 실험 도구가 아닌 인프라로 취급하고 있기 때문입니다.

개발자들은 가장 직접적인 경로를 얻습니다. 메타의 공식 SAM 3 허브는 ai.meta.com/sam3에 위치해 있으며, 여기에서 모델 카드, 벤치마크, 통합 가이드로 연결됩니다. 이곳에서 2D SAM 3 및 SAM 3D에 대한 참조 코드, 사전 훈련된 가중치 및 예제 노트북이 포함된 GitHub 리포지토리로 바로 이동할 수 있습니다.

실습을 위해 기대할 수 있는 내용: - 단일 이미지 및 배치 분할을 위한 PyTorch 및 Python 예제 - 커뮤니티 래퍼로부터의 REST 및 gRPC 스타일 API - 모바일 및 엣지 배포를 위한 ONNX 내보내기 경로

제품을 제작하는 엔지니어들은 OpenCV, Detectron2 또는 Segment Anything v1을 이미 사용하는 기존 파이프라인에 SAM 3을 통합할 수 있습니다. 라벨링 도구, 로봇 인식 스택 또는 AR 착용 경험을 위한 세분화 백엔드로 추가하고, 현재 모델과 mIoU, 지연 시간 및 GPU 메모리에서 벤치마킹하십시오.

창작자와 비전문 사용자는 GitHub 레포지토리보다 익숙한 앱에서 SAM 3를 만날 가능성이 높습니다. 사진 편집기와 디자인 도구는 원클릭 컷아웃, 배경 제거 및 머리카락, 유리, 움직임 블러를 실제로 고려한 다중 객체 마스킹 기능으로 변환할 수 있습니다. 영상 플랫폼은 B롤, 제품 하이라이트 또는 사람과 객체 주위의 자동 자막을 위한 프레임 정밀 객체 추적 기능을 추가할 수 있습니다.

다음에서 통합이 나타날 것으로 예상합니다: - Figma 스타일의 디자인 도구와 AI 아트 사이트와 같은 브라우저 기반 편집기 - 이미 스마트 마스킹 기능을 제공하는 노코드 비디오 플랫폼 - 자동 리깅 및 씬 정리를 위해 SAM 3D를 사용하는 3D 제작 스위트

연구자들에게 더욱 강력한 업그레이드가 제공됩니다. 고정밀 오픈 세분화 기술이 의료 이미지, 기후 과학, 로봇 데이터셋에서 수주간의 수동 주석 작업을 제거합니다. 연구실은 전체 비전 스택을 재구성하지 않고도 세포 현미경 또는 위성 적외선과 같은 특수 분야에서 SAM 3을 세밀하게 조정할 수 있습니다.

시각적 접근이 민주화되면서 실험할 수 있는 대상이 변화합니다. 누구나 세상을 픽셀 완벽하게 무료로 조각할 수 있게 되면, 제약은 "이것에 라벨을 붙일 수 있을까?"에서 "이것으로 어떤 신기한 것을 만들 수 있을까?"로 바뀝니다.

메타의 SAM 3은 무엇인가요?

SAM 3, 또는 세그먼트 에니씽 모델 3는 메타의 최신 AI 비전 모델입니다. 이 모델은 클릭이나 박스와 같은 간단한 프롬프트를 사용하여 이미지나 3D 볼륨 내의 어떤 객체나 영역도 최첨단 정확도로 식별하고 격리하는 데 뛰어납니다.

SAM 3은 무료로 사용 가능한가요?

네, 메타는 SAM 3을 허가된 오픈 소스 라이선스(아파치 2.0) 하에 출시하여 연구자와 상업적 개발자 모두 사용할 수 있도록 무료로 제공하고 있습니다.

SAM 3과 원래 SAM의 주요 차이점은 무엇인가요?

SAM 3은 성능, 정확성 및 효율성에서 상당한 개선을 제공합니다. 더 크고 고품질의 데이터 세트로 훈련되어 모호한 객체 처리, 세부 사항의 정밀도 향상, 오류 감소에 더 뛰어난 능력을 갖추고 있습니다.

SAM 3의 실용적인 용도는 무엇인가요?

응용 분야는 광범위하며, 사진 편집에서 원클릭 배경 제거, 3D로 의료 스캔(예: MRI) 분석, 자율주행 차량의 인식 시스템 지원, 과학 연구를 위한 데이터 주석 작업 등이 포함됩니다.