포스트 프로덕션을 바꿀 수 있는 카메라 무빙
ByteDance는 최근 기존 영상 내에서 카메라 움직임을 재추적(re-tracking)할 수 있는 world model을 탑재한 내부 데모를 공개했습니다. 주성치(Stephen Chow)의 영화 희극지왕(King of Comedy) 장면을 활용한 이 시연은, 시스템이 처음부터 새로운 클립을 생성하는 것이 아니라 이미 촬영된 샷의 관점을 조작한다는 점을 시사합니다. 이는 기존의 텍스트-투-비디오 생성 방식에서 크게 변화한 것입니다.
이러한 잠재적 기능은 영화 제작의 포스트 프로덕션 워크플로우를 근본적으로 바꿀 수 있습니다. 유연성을 상상해 보세요. 감독은 배우들이 촬영장을 떠나고 원래 환경이 철거된 후에도 카메라 각도를 조정하거나, 샷을 다시 프레이밍하거나, 완전히 새로운 커버리지를 생성할 수 있습니다. 이는 원래의 연기와 세트 디테일을 보존하면서 공간 구성에 대한 전례 없는 창의적 통제력을 제공합니다.
데모의 사용자 인터페이스 요소는 전용 3D navigation controls와 Gaussian splatting과 같은 볼륨 렌더링 기술의 사용을 암시하며, 시스템이 장면의 기본 기하학적 구조를 이해하고 있음을 시사합니다. 그러나 이것은 출시되지 않은 내부 데모일 뿐이며, 현재 영화 제작자가 임의의 영상을 프로덕션 수준의 결과물로 재촬영할 수 있다는 증거는 아님을 기억하는 것이 중요합니다. 영상 자체가 비공식적으로 캡처되었기 때문에 명확한 기술적 평가는 어렵습니다.
평면 클립에서 탐색 가능한 장면으로
사용자가 사전 녹화된 클립 내에서 새로운 camera path를 그리거나 선택하면, ByteDance 시스템이 약 12개의 새로운 시점을 생성한다고 보고되었습니다. 이는 일반적으로 처음부터 콘텐츠를 생성하는 기존의 텍스트-투-비디오 생성 방식과는 근본적으로 다른 워크플로우를 시사합니다. 대신, AI는 원래 장면의 공간적 속성을 재구성하는 것으로 보입니다.
유출된 영상에서 흐릿하게 보이지만, UI 요소들은 3D navigation controls를 암시합니다. 이러한 수준의 공간 조작은 단순한 텍스트 프롬프트나 사전 설정된 팬(pan)을 넘어, 단순히 평면 이미지가 아닌 재구성된 장면 볼륨과의 직접적인 상호작용을 암시합니다. 이 시스템은 단순히 2D 픽셀을 보간하는 것이 아니라 진정한 시점 변화를 제공하는 것으로 보입니다.
이 기능은 Gaussian splatting 또는 유사한 볼륨 장면 표현 기술을 강력하게 시사합니다. 이러한 방식은 2D 입력에서 3D 모델을 구축하여, 계층적 깊이 접근 방식으로는 달성하기 어려운 시차와 시점 변화를 보고된 수준의 충실도로 구현할 수 있게 합니다. 데모에서 Gaussian splatting을 명시적으로 확인하지는 않았지만, 그 특성은 관찰된 재추적 성능과 일치합니다.
이것이 단순한 비디오 생성기 그 이상인 이유
이 시스템의 목표는 표준 텍스트-투-비디오 생성기와는 확연히 다릅니다. ByteDance의 접근 방식은 프롬프트에서 각 샷을 발명하는 대신, 일관된 장면을 이해하고 조작할 수 있는 world model을 구축하는 데 중점을 둡니다. 이 모델은 사전 녹화된 클립의 기본 3D 기하학적 구조와 물리를 재구성하여 일관된 변경을 가능하게 하는 것으로 보입니다.
King of Comedy의 카메라 리트래킹(re-tracking)은 후반 작업에 심오한 영향을 미칩니다. 영화 제작자는 값비싼 재촬영 없이도 커버리지를 확장하거나, 프레이밍을 미세하게 조정하거나, 시각 효과 및 가상 프로덕션 워크플로우를 지원하기 위한 새로운 앵글을 생성할 수 있습니다. 단일 카메라 경로에서 12개의 새로운 시점을 생성하는 이 시스템의 능력은 상당한 유연성을 보여줍니다.
Stephen Chow의 King of Comedy를 활용한 이 데모는 라이선스 미디어 및 공간 경험 분야에서 ByteDance의 광범위한 전략적 행보와도 일치합니다. Stephen Chow는 최근 AI 생성 비디오에 대해 ByteDance와 라이선스 계약을 체결했는데, 이는 상업적 콘텐츠를 기반으로 모델을 학습하고 시연하기 위한 중요한 단계입니다. 자세한 내용은 홍콩 'King of Comedy' Stephen Chow, 미니 드라마 형식의 인기 속 Douyin 미니 드라마 시리즈 출시를 참조하십시오.
구체적인 제품 출시 여부는 아직 확인되지 않았지만, Gaussian splatting 또는 이와 유사한 볼륨 렌더링 기술을 잠재적으로 사용하는 이 기반 기술은 향후 XR 또는 인터랙티브 콘텐츠의 토대를 시사합니다. 이러한 전략적 맥락에서 King of Comedy의 리트래킹 기능은 단순한 신기함을 넘어 고급 공간 AI에 대한 진지한 투자를 나타냅니다.
이 글이 마음에 드셨나요? 매일 아침 이런 글을 메일로 받아보세요.
하루 한 통 · 두 번의 클릭으로 구독 취소 · 제3자 추적 없음
데모와 관련하여 아직 밝혀지지 않은 가장 큰 의문점들
참석자가 촬영한 ByteDance 내부 시연 영상만으로는 월드 모델의 기능을 완전히 평가하기 어렵습니다. 리트래킹된 장면의 기본 해상도, 극단적인 카메라 앵글에서의 아티팩트 심각성, 더 긴 클립에서의 시간적 일관성, 그리고 더 복잡하고 역동적인 장면에서의 시스템 렌더링 속도 및 성능 등이 중요한 미지수로 남아 있습니다.
Stephen Chow가 AI 생성 비디오를 위해 ByteDance와 체결한 것으로 알려진 라이선스 계약은 King of Comedy를 통해 기술을 시연할 수 있는 명확한 법적 근거를 제공합니다. 그러나 이 특정 계약이 명시적인 허가 없이 상업적 영상을 학습하거나 생성하는 AI 모델의 지적 재산권에 관한 더 광범위하고 지속적인 논쟁을 해결하는 것은 아닙니다.
이 기술의 중요한 시험대는 접근성과 성능에 있습니다. 제작자가 내부 시연을 넘어 다양한 영상에서 반복 가능하고 제어 가능한 결과를 얻을 수 있을까요? 본 촬영 후 장면을 동적으로 re-track하고 re-shoot할 수 있는 잠재력은 후반 작업 워크플로우를 근본적으로 바꿀 수 있지만, 이는 도구가 강력하고 널리 사용 가능해질 때만 가능합니다. 현재의 모습은 3D 재구성을 위해 Gaussian splatting과 같은 기술을 활용할 가능성이 있는 상당한 기술적 도약을 시사하지만, 실제 적용 여부는 아직 입증되어야 합니다.
자주 묻는 질문
ByteDance의 월드 모델 데모는 무엇을 하는 것으로 보이나요?
기존 영화 영상에서 카메라 경로를 변경하고 원본 장면과 연기를 유지하면서 새로운 시점을 생성할 수 있게 해주는 것으로 보입니다.
이 데모가 ByteDance가 어떤 영화 장면이든 재촬영할 수 있음을 증명하나요?
아니요. 해당 영상은 미공개 데모를 비공식적으로 저해상도로 촬영한 것이므로 품질, 한계 및 가용성은 검증되지 않았습니다.
Gaussian splatting이란 무엇인가요?
3D 가우시안 모양의 집합을 사용하여 3D 장면을 표현하고 렌더링하는 방법으로, 다양한 카메라 위치에서 빠른 뷰를 지원합니다.
데모에 왜 King of Comedy가 사용되었나요?
Stephen Chow는 AI 생성 비디오 프로젝트를 위해 ByteDance와 라이선스 관계를 맺고 있으며, 이를 통해 허가를 받아 그의 영화 자료를 사용할 수 있는 경로를 제공합니다.