ByteDance의 월드 모델이 장면을 다시 촬영하려 합니다
ByteDance가 최근 이름이 정해지지 않은 world model의 데모를 공개했는데, 이는 일반적인 방식과는 다릅니다. 이 인터랙티브 환경은 마우스 제어, 프롬프트 기반 객체, 그리고 역동적으로 반응하는 캐릭터를 특징으로 하며, 기존의 정적인 장면에서 크게 진일보했습니다.
가장 주목할 점은 기존 영상 내에서 카메라 움직임과 환경 세부 정보를 재추적할 수 있는 잠재력입니다. 데모의 인터페이스 요소들은 camera paths와 3D scene structure를 암시하며, 포스트 프로덕션이나 완전히 새로운 형태의 영화 제작을 위한 강력한 도구가 될 가능성을 보여줍니다.
베이징에서 열린 ByteDance의 'Wonderful Tonight' 행사에서 공개된 영상은 흥미로운 가능성을 보여줍니다. 인상적이기는 하지만, 이러한 데모가 즉각적인 공개 출시나 완성된 워크플로우를 의미하는 것은 아닙니다.
중요한 점은 ByteDance가 아직 이 제품의 이름을 정하지 않았다는 것입니다. 이 고급 기능들은 Apple Vision Pro의 경쟁자로 예상되는 ByteDance의 Pico Space Pro 헤드셋과의 연관성에 대한 추측을 불러일으킵니다. 여기에서의 인센티브 정렬은 분명합니다. 독점 플랫폼을 위한 독점 콘텐츠를 확보하는 것입니다.
OmniHuman 2.0은 대사는 수정하지만, 모든 결함을 해결하지는 못합니다
ByteDance의 OmniHuman 2.0이 출시되면서 딱딱한 토킹 헤드 도구가 표현력이 풍부한 오디오 기반 아바타로 업그레이드되었습니다. 이 시스템은 단일 이미지와 오디오 트랙에서 전체 얼굴 및 상체 애니메이션을 생성하여 더 미묘한 움직임, 향상된 립싱크, 심지어 영화 같은 카메라 움직임까지 제공합니다. '밥블헤드(bobblehead)' 시절과 기계적인 손동작은 이제 과거의 일이 되었습니다.
이 도구의 실용적인 틈새시장은 분명합니다. 바로 AI 영화 제작의 신뢰할 수 있는 대사 처리입니다. Seedance와 같은 일반적인 비디오 모델이 대사를 미묘하게 변경할 수 있는 반면, OmniHuman 2.0은 오디오를 엄격하게 준수하여 픽업 샷이나 정확한 대사 수정에 매우 유용합니다. 이는 완전한 영화 생성기가 아닌 정밀 도구입니다.
하지만 OmniHuman 2.0이 완벽한 것은 아닙니다. 치아 렌더링과 음소 정확도에서 간헐적인 결함이 관찰되었으며, ByteDance 자체 데모에서 지나치게 연극적인 연기를 보이는 경향도 있습니다. 또한 이 시스템은 여전히 이미지 소스만 지원하며, 기존 비디오의 립싱크를 다시 맞출 수는 없습니다.
현재 OmniHuman 2.0은 지역 제한이 있어 광범위한 접근이 어렵습니다. 그러나 ByteDance의 크리에이티브 플랫폼인 Dreamina에 최종적으로 통합될 예정임이 확인되었습니다. 이는 AI로 생성된 대사를 완벽하게 다듬으려는 영화 제작자들에게 전문적이지만 강력한 도구를 제공할 것입니다.
Krea 3는 편집기가 우선이며, 그것이 중요합니다
Krea AI가 이전 버전 출시 5개월 만에 Krea AI 3를 출시했습니다. 이번 릴리스는 LoRA 생성이나 스타일 전송과 같은 기능이 아직 '준비 중'이기 때문에 처음부터 새로운 이미지를 생성하는 것에 초점을 맞추지 않았습니다. 대신 Krea AI는 2K 해상도에서의 fast, precise image editing에 집중하며 편집기로서의 입지를 다지고 있습니다.
전체적인 창작보다는 타겟팅된 수정 작업을 생각해보세요. 워크플로우에는 노이즈 제거, 피부 질감 개선, 또는 의상 변경을 위한 영역 선택 등이 포함됩니다. 이러한 국소적인 제어는 기존 프로덕션 이미지의 무결성을 유지하여 시각적 자산을 재창조하기보다는 정교하게 다듬는 실용적인 도구가 됩니다.
영화 제작자에게 Krea AI 3는 특정 작업에 대한 속도와 제어력을 제공합니다. 첫 프레임과 마지막 프레임을 생성하거나 샷 간의 시각적 연속성을 유지하는 데 도움이 될 수 있습니다. 하지만 복잡하고 다중 요소로 구성된 합성을 대체할 것으로 기대하지는 마십시오. 그러한 작업에는 여전히 더 역동적이고 전문적인 도구가 필요합니다.
Krea AI 3는 포괄적인 이미지 생성이나 복잡한 시각 효과를 완전히 대체하는 도구가 아니라, 툴킷에 빠르게 추가하여 제어할 수 있는 보조 도구입니다. 멀티모달 인간 비디오 생성에 대한 자세한 내용은 OmniHuman: Multimodality-Conditioned Human Video Generation의 연구를 참조하세요.
이 글이 마음에 드셨나요? 매일 아침 이런 글을 메일로 받아보세요.
하루 한 통 · 두 번의 클릭으로 구독 취소 · 제3자 추적 없음
Sora의 신호는 아직 복귀가 아닙니다
Sora의 그림자가 비디오 제목에 크게 드리워지며 복귀를 암시했습니다. 하지만 흥분과 별개의 증거를 살펴보면, OpenAI 사이트와 에셋 다운로드는 여전히 접근 가능한 상태였으며, '복귀'는 단지 OpenAI가 이름 없는 스텔스 스타트업과 논의 중이라는 Information의 기사 내용일 뿐이었습니다. 이는 확인된 Sora의 재출시가 아니며, 중요한 루머일 뿐입니다.
이 루머가 중요한 이유는 Sora의 초기 데모 이후 경쟁 환경이 극적으로 변화했기 때문입니다. 오늘날의 도구들은 제작자들에게 훨씬 더 많은 제어권과 통합 기능을 제공합니다. 이제 우리는 cinematic camera control(영화적 카메라 제어), 정밀한 립싱크 기능, 그리고 더 사용하기 쉬운 인터페이스를 갖춘 제작 워크플로우를 보고 있습니다.
ByteDance는 비디오 생성, 아바타, 월드 모델을 응집력 있는 생태계로 전략적으로 연결하고 있습니다. 한편, Krea AI는 빠르고 정밀한 이미지 편집에 집중하고 있으며, LTX와 같은 후반 작업 도구들은 매트 추출, HDR, 해상도 스케일링과 같은 중요한 단계를 해결합니다.
제작자들은 단순히 데모의 화려함이 아니라 워크플로우 적합성, 접근성, 반복 가능한 결과를 기준으로 이러한 도구를 평가해야 합니다. AI 기반 콘텐츠 제작의 미래는 단순히 화려한 일회성 결과물이 아니라, 실질적인 제작을 지원하는 통합적이고 신뢰할 수 있는 시스템에 있습니다.
자주 묻는 질문
ByteDance의 월드 모델이란 무엇인가요?
사용자가 환경을 탐색하고, 객체를 추가하며, 카메라 경로 또는 샷을 조정할 수 있게 해주는 것으로 보이는 신흥 인터랙티브 장면 기술입니다.
OmniHuman 2.0은 무엇을 위해 설계되었나요?
참조 이미지와 음성 오디오를 사용하여 립싱크, 표현력 있는 연기, 영화적 카메라 움직임을 갖춘 인물을 애니메이션화합니다.
Krea 3는 주로 이미지 생성기인가요?
출시의 중점은 선택된 영역에 대한 타겟팅 변경을 포함한 빠른 이미지 편집에 있으며, 일부 생성 및 스타일 기능은 아직 준비 중입니다.
Sora가 공식적으로 돌아오나요?
인용된 보고서는 OpenAI가 이름 없는 스타트업과 논의 중이라는 내용을 설명할 뿐, Sora의 재출시를 확인한 것이 아닙니다. 복귀 주장은 검증되지 않은 것으로 간주하세요.