Движение камеры, которое может изменить постпродакшн
ByteDance недавно продемонстрировала внутреннюю демо-версию, включающую то, что выглядит как world model, способная переснимать движения камеры в существующих видеоматериалах. Демонстрация, использующая сцены из фильма Стивена Чоу King of Comedy, предполагает, что система не генерирует новые клипы с нуля, а скорее манипулирует перспективой уже отснятого кадра. Это представляет собой значительный сдвиг по сравнению с традиционной генерацией текста в видео.
Эта очевидная возможность может фундаментально изменить рабочие процессы постпродакшна в кинопроизводстве. Представьте себе гибкость: режиссер может настроить угол камеры, изменить кадрирование или даже создать совершенно новый материал спустя долгое время после того, как актеры покинули съемочную площадку, а декорации были разобраны. Это сохраняет оригинальную игру актеров и детали окружения, обеспечивая беспрецедентный творческий контроль над пространственной композицией.
Элементы пользовательского интерфейса в демо намекали на специальные 3D navigation controls и использование методов объемного рендеринга, таких как Gaussian splatting, что предполагает понимание системой базовой геометрии сцены. Однако важно помнить, что это была невыпущенная внутренняя демо-версия, а не доказательство того, что кинематографисты могут в настоящее время переснимать произвольные кадры с результатами, готовыми к производству. Сам материал был снят неофициально, что затрудняет окончательную техническую оценку.
От плоского клипа к навигационной сцене
Пользователи, как сообщается, рисуют или выбирают новый camera path внутри предварительно записанного клипа, а затем система ByteDance генерирует около дюжины новых точек обзора. Это предполагает рабочий процесс, фундаментально отличающийся от традиционной генерации текста в видео, которая обычно создает контент с нуля. Вместо этого ИИ, по-видимому, реконструирует пространственные свойства исходной сцены.
Видимые элементы интерфейса, хотя и размытые на просочившемся видео, подразумевают 3D navigation controls. Этот уровень пространственных манипуляций выходит за рамки простых текстовых подсказок или предустановленных панорам, намекая на прямое взаимодействие с реконструированным объемом сцены, а не просто с плоским изображением. Система, по-видимому, предлагает реальные сдвиги перспективы, а не просто интерполяцию 2D-пикселей.
Эта возможность убедительно указывает на Gaussian splatting или аналогичную технику представления объемных сцен. Такие методы строят 3D-модель на основе 2D-входа, обеспечивая параллакс и изменения точки обзора, которых сложный послойный подход к глубине мог бы с трудом достичь с заявленной точностью. Хотя демо прямо не подтверждает использование Gaussian splatting, его характеристики соответствуют наблюдаемой производительности при пересъемке.
Почему это больше, чем просто очередной генератор видео
Цель этой системы резко отличается от стандартных генераторов текста в видео. Вместо того чтобы изобретать каждый кадр на основе подсказки, подход ByteDance фокусируется на создании world model, которая понимает и может манипулировать целостной сценой. Эта модель, по-видимому, реконструирует базовую 3D-геометрию и физику предварительно записанного клипа, позволяя вносить последовательные изменения.
Функция переотслеживания камеры (re-tracking) в King of Comedy открывает глубокие возможности для постпродакшна. Кинематографисты могут расширять охват, тонко корректировать кадрирование или создавать новые ракурсы для поддержки визуальных эффектов и рабочих процессов виртуального производства — и все это без дорогостоящих пересъемок. Способность системы генерировать дюжину новых точек обзора на основе одного проложенного пути камеры демонстрирует значительную гибкость.
Демонстрация, в которой используется фильм King of King of Comedy of King of Comedy Стивена Чоу (Stephen Chow), также соответствует более широким стратегическим шагам ByteDance в области лицензированного медиаконтента и пространственных впечатлений. Стивен Чоу недавно подписал с ByteDance лицензионное соглашение на использование видео, созданного с помощью ИИ, что является важным шагом для обучения и демонстрации моделей на коммерческом контенте. Подробнее об этом см. в статье Hong Kong 'King of Comedy King of King of Comedy' Stephen Stephen Chow to launch Douyin mini-drama series amid booming popularity of the format.
Хотя конкретные запуски продуктов остаются неподтвержденными, лежащая в основе технология — потенциально использующая Gaussian splatting или аналогичные методы объемного рендеринга — предполагает создание фундамента для будущего XR или интерактивного контента. Этот стратегический контекст позиционирует возможность переотслеживания (re-tracking) в King of Comedy не просто как новинку, а как серьезную инвестицию в передовой пространственный ИИ.
Нравится статья? Получайте такие каждое утро на почту.
одно письмо в день · отписка в два клика · без сторонних трекеров
Главные вопросы, оставшиеся без ответа после демонстрации
Записанные посетителями кадры внутренней демонстрации ByteDance ограничивают возможность полной оценки потенциала мировой модели (world model). К числу критически важных неизвестных относятся: исходное разрешение переснятых сцен, серьезность артефактов при экстремальных углах наклона камеры, временная согласованность в более длинных клипах, а также скорость рендеринга и производительность системы на более сложных динамичных сценах.
Сообщается, что лицензионное соглашение Стивена Чоу с ByteDance на использование видео, созданного ИИ, обеспечивает четкую правовую основу для демонстрации технологии на примере King of King of Comedy of King of Comedy. Однако это конкретное соглашение не разрешает более широкие и продолжающиеся споры об интеллектуальных правах на модели ИИ, обученные на коммерческих материалах или генерирующие их без явного разрешения.
Решающий тест для этой технологии заключается в ее доступности и производительности. Смогут ли создатели получать воспроизводимые и контролируемые результаты на разнообразном видеоматериале, выходящем за рамки внутренних демонстраций? Потенциал динамического переотслеживания (re-track) и пересъемки сцен (re-shoot) после завершения основных съемок может фундаментально изменить рабочие процессы постпродакшна, но только если инструмент станет надежным и широко доступным. Текущие фрагменты демонстрируют значительный технический скачок, потенциально использующий такие методы, как Gaussian splatting для 3D-реконструкции, но практическое применение еще предстоит доказать.
Часто задаваемые вопросы
Что, по-видимому, делает демонстрация мировой модели от ByteDance?
По-видимому, она позволяет пользователям изменять путь камеры в существующем видеоматериале и генерировать новые точки обзора, сохраняя при этом оригинальную сцену и актерскую игру.
Доказывает ли демонстрация, что ByteDance может переснять любую сцену из фильма?
Нет. Эти кадры являются неофициальной записью невыпущенной демонстрации в низком разрешении, поэтому ее качество, ограничения и доступность остаются непроверенными.
Что такое Gaussian splatting?
Это метод представления и рендеринга 3D-сцен с использованием наборов 3D-фигур Гаусса, поддерживающий быстрый просмотр с различных позиций камеры.
Почему в демонстрации использовался фильм King of Comedy?
Stephen Chow заключил лицензионное соглашение с ByteDance для проектов по созданию видео с помощью ИИ, что дает возможность использовать материалы его фильмов на законных основаниях.