당신의 스마트폰이 AI 영화 촬영장이 됩니다
가상 객체가 현실 세계의 뷰에 단순히 떠다니기만 했던 초기 증강 현실(AR) 실험을 기억하시나요? 2023년에 마지막으로 들었던 이름인 Simulon이 돌아왔으며, 단순히 떠다니는 것 이상의 기능을 수행합니다. 이 새로운 워크플로우는 스마트폰 카메라와 생성형 비디오를 결합하여 여러분의 거실을 AI 캐릭터를 위한 영화 촬영장으로 바꿔줍니다.
작동 방식은 다음과 같습니다. "화염방사기 소녀"와 같은 캐릭터 레퍼런스를 업로드하면 Simulon이 이를 3D 에셋으로 변환합니다. 그런 다음 iPhone 카메라를 사용하여 해당 캐릭터를 실제 환경에 직접 배치하고 크기를 조절할 수 있습니다. 책상 위에 미니어처 캐릭터를 놓거나 실물 크기의 캐릭터를 의자에 앉힐 수도 있습니다.
프레임별로 애니메이션을 만드는 대신, 동작을 프롬프트로 입력하면 AI가 움직임을 생성합니다. 이 시스템은 실제 환경을 베이스라인으로 캡처하여 정확한 카메라 트래킹과 현실 세계의 기하학적 구조를 유지합니다. 배경이 "환각"을 일으키거나 물체가 사라지는 현상을 볼 수 없으며, 바닥에 공이 있다면 그대로 유지됩니다.
중요한 점은 이것이 스마트폰 화면에서 실시간으로 이루어지는 효과가 아니라는 것입니다. 기기에서 장면을 연출하는 동안, 최종 비디오 생성 및 렌더링은 클라우드에서 이루어집니다. 스마트폰은 감독이자 카메라 오퍼레이터 역할을 하고, 강력한 서버가 AI 캐릭터를 촬영 장면에 매끄럽게 합성하는 무거운 작업을 처리한다고 생각하면 됩니다. 그 결과 AI 창작물이 현실 세계와 상호작용하는 고화질 비디오가 탄생합니다.
실제 장소가 AI 비디오의 카메라 문제를 해결합니다
Simulon의 접근 방식은 Sora나 Kling과 같은 완전 합성 텍스트-비디오 모델과는 확연히 다릅니다. 처음부터 전체 장면을 생성하는 대신, Simulon은 AI 캐릭터를 실제 카메라 영상에 뿌리내리게 합니다. 이는 카메라의 움직임과 물리적 설정을 고정하여 완전히 생성된 장면에서 발생하는 배경 환각을 획기적으로 줄여줍니다.
책상 위에 미니어처 "화염방사기 소녀" 캐릭터를 올려두거나, 스튜디오의 바 의자에 실물 크기의 인물이 자연스럽게 앉아 있는 모습을 상상해 보세요. Simulon을 사용하면 이러한 AI 캐릭터를 실제 환경 내에서 직접 크기를 조절하고 배치할 수 있습니다. 스마트폰 카메라가 실제 공간을 캡처하고, AI가 캐릭터를 통합하여 일관된 원근감과 조명을 유지합니다.
테니스 코트 장면을 예로 들어보겠습니다. 두 명의 AI 캐릭터가 동네 공원에서 발리 연습을 할 수 있으며, 실제 코트와 캐릭터 배치는 촬영 내내 일관되게 유지됩니다. 실제 테니스 동작 자체는 다소 어색해 보일 수 있지만, 환경과 그 안에서의 캐릭터 존재감은 순수하게 AI로 생성된 설정에 비해 놀라울 정도로 안정적입니다.
이 방법은 정확한 카메라 제어라는 강력한 이점을 제공합니다. 여러분이 카메라의 움직임과 물리적 맥락을 지시하면, Simulon은 AI 캐릭터가 그 현실 세계의 프레임워크를 준수하도록 보장합니다. 이는 증강 현실의 장점과 생성형 비디오의 유연성을 결합하여 창작자가 가상 배우를 더 잘 제어할 수 있게 해줍니다.
현실 세계가 반응할 때 재미가 시작됩니다
Simulon이 진정한 가치를 발휘하는 지점은 단순히 합성하는 것에 그치지 않는다는 것입니다. AI 캐릭터는 현실 세계에 반응할 수 있습니다. 디지털 캐릭터를 찔렀을 때 움찔하거나, 가상 고양이가 실제 물체를 툭툭 건드리거나, 물리적인 횃불에서 나오는 변화하는 빛에 반응하는 모습을 상상해 보세요. 이러한 현실 인식 렌더링(reality-aware rendering)은 역동적인 가능성을 열어줍니다.
기존의 합성은 모든 상호작용을 스크립트로 작성해야 했습니다. 하지만 Simulon은 진정한 즉흥 연기를 가능하게 합니다. 창작자는 현실 세계의 요소나 개입을 도입하여 캐릭터와 환경이 즉흥적으로 반응하도록 할 수 있습니다. 이는 정적인 장면을 넘어 더욱 상호작용적이고 예측 불가능한 스토리텔링으로 나아갑니다.
Simulon은 간단한 명령에 반응하는 캐릭터와 함께 기본적인 음성 상호작용을 선보였습니다. 로드맵에는 캐릭터에게 고유한 목소리와 성격을 부여하는 기능이 포함되어 있어 미래의 가능성을 엿볼 수 있습니다. 현재로서는 reality-aware rendering(현실 인식 렌더링)과 즉흥적인 잠재력이 가장 돋보이는 기능이며, 완전한 음성 기반의 성격 구현은 여전히 목표 단계에 있습니다.
디지털과 물리적 세계의 이러한 결합이 Simulon을 매력적으로 만드는 요소입니다. 기능과 로드맵에 대한 자세한 내용은 Simulon 2.0 | The camera for your imagination에서 확인할 수 있습니다. 이 시스템은 창의적인 혼돈을 장려하도록 설계되었으며, AI와 환경 사이의 예상치 못한 상호작용이 이야기의 일부가 됩니다.
이 글이 마음에 드셨나요? 매일 아침 이런 글을 메일로 받아보세요.
하루 한 통 · 두 번의 클릭으로 구독 취소 · 제3자 추적 없음
마법의 버튼이 아닌 강력한 워크플로우
Simulon을 마법의 버튼으로 착각하지 마십시오. 강력하기는 하지만 AR 컨트롤은 다소 까다로울 수 있으며, 캐릭터를 정확하게 배치하고 크기를 조절하려면 연습이 필요합니다. 렌더링은 실시간으로 이루어지지 않으며, 생성된 세부 정보가 때때로 어긋나거나 의도치 않은 물체를 만들어낼 수 있으므로 이러한 불완전함을 받아들이는 것이 좋습니다.
Simulon은 인디 창작자와 VFX 아티스트를 위한 접근성 높은 옵션으로 빛을 발합니다. 기존의 트래킹이나 복잡한 3D 파이프라인 없이도 상세한 카메라 제어를 제공합니다. 생성된 비디오 출력물은 Kling 4.0의 비디오-투-비디오 워크플로우와 같은 다른 도구로 가져와 창의적인 가능성을 확장할 수 있습니다.
이 앱은 현재 iOS에서 사용할 수 있으며, 무료 입문 등급에서는 라이브러리 에셋을 위한 100개의 스타터 크레딧을 제공합니다. 유료 구독에는 월 14.99달러의 Plus 등급과 월 39.99달러의 Pro 등급이 있으며, 더 많은 크레딧과 사용자 지정 피사체 업로드 기능을 제공합니다. Android 출시 여부는 녹화 당시 승인을 기다리고 있었습니다.
자주 묻는 질문
Simulon이란 무엇인가요?
Simulon은 사용자가 AI로 생성된 캐릭터를 실제 장소에 배치하고 그곳에서 비디오를 제작할 수 있게 해주는 iPhone 앱입니다.
Simulon은 어떻게 AI 캐릭터를 실제 공간에 배치하나요?
사용자가 캐릭터 레퍼런스를 제공하고 휴대폰 카메라로 생성된 3D 에셋을 배치한 다음, 비디오 생성을 위한 동작을 프롬프트로 입력합니다.
Simulon은 실시간으로 비디오를 생성하나요?
아니요. 사용자는 기기에서 캐릭터를 배치하지만, 비디오는 클라우드에서 비동기식으로 생성됩니다.
Simulon 캐릭터가 사람이나 사물에 반응할 수 있나요?
비디오는 캐릭터가 실제 세계의 행동, 조명, 음성 프롬프트에 반응하는 모습을 보여주지만, 결과는 일관되지 않을 수 있습니다.
Simulon은 Android에서 사용할 수 있나요?
영상에서는 이 앱이 iOS에서 사용 가능하며, Android 출시 여부는 녹화 당시 승인을 기다리고 있다고 설명합니다.