ИИ Netflix удаляет реальность

Существующие видеоинструменты на базе AI превосходно удаляют объекты, но они регулярно не справляются с удалением последствий этих объектов. Этот фундаментальный недостаток создает резкие «призрачные взаимодействия», когда физические эффекты удаленного предмета необъяснимо сохраняются. Рассмотрим шар для боулинга: удалите его из сцены, и кегли все равно падают без видимой причины. Сотрите человека, делающего смузи, и блендер продолжает вращаться и перемешивать, лишенный оператора. Текущие модели просто исправляют пиксели, улучшая внешний вид, но полностью игнорируя базовую физику и причинно-следственные связи окружающей среды. Они представляют собой content-aware fill на стероидах, но не более того.

Netflix только что выпустил VOID (Video Object and Interaction Deletion), новаторский фреймворк AI с открытым исходным кодом, который напрямую решает эту распространенную проблему. VOID не просто закрашивает отсутствующие пиксели; он интеллектуально переписывает физику сцены, генерируя контрфактическую реальность, где удаленный объект никогда не существовал. Эта инновационная модель понимает причину и следствие, изменяя видеоконтент на основе отсутствия определенных элементов для обеспечения логической последовательности. Она обещает устранить неправдоподобные остатки, оставленные предыдущими технологиями.

Выпущенный 3 апреля 2026 года под лицензией Apache 2.0 и разработанный в сотрудничестве с INSAIT, VOID представляет собой монументальный скачок за пределы простого видеоинпейнта. Это смена парадигмы, переход от косметических корректировок на уровне пикселей к сложным причинно-следственным рассуждениям в видео. Вместо того чтобы просто угадывать, что находится за удаленным объектом, двухэтапная система рассуждений VOID сначала определяет, что еще будет причинно затронуто его отсутствием.

На начальном этапе рассуждений VOID использует Vision Language Model и SAM 2 (Segment Anything Model 2) от Meta, чтобы не только отслеживать объект для удаления, но и идентифицировать все причинно затронутые элементы. Затем он создает «quadmask» — подробную карту, которая указывает последующей video diffusion model не только где стирать, но и точно где переписывать физику окружающей области. Обученный на синтетических парных данных, сгенерированных с использованием Google Kubric и HUMOTO, VOID изучил сложные взаимосвязи между присутствием объекта и воздействием на окружающую среду. Этот тщательный подход позволяет VOID генерировать видеоматериалы, которые не только визуально связны, но и физически последовательны, переопределяя возможности динамического манипулирования видео и рабочих процессов производства.

Фреймворк VOID от Netflix переопределяет удаление объектов из видео, выходя за рамки простого стирания пикселей, чтобы фундаментально переосмыслить физику сцены. В отличие от стандартных инструментов AI, которые просто пытаются заполнить пустоту, VOID генерирует контрфактическую реальность, тщательно воссоздавая видео так, как если бы целевой объект или человек никогда не существовал. Этот инновационный подход напрямую решает распространенную проблему «призрачного взаимодействия», когда удаленные элементы оставляют после себя необъяснимые физические последствия, такие как падающие кегли без шара для боулинга или вращающийся блендер без оператора.

VOID начинает свой сложный двухпроходный процесс с ключевой фазы рассуждения. Используя Vision Language Model наряду с Meta’s SAM 2 (Segment Anything Model 2), ИИ тщательно анализирует всю сцену. Он не просто идентифицирует объект для удаления; он критически спрашивает: «Если я удалю это, что еще изменится?» Этот запрос побуждает модель точно определить все остальные элементы сцены, которые будут причинно затронуты отсутствием целевого объекта. Например, удаление одного домино из стопки побуждает VOID идентифицировать все последующие домино как физически взаимозависимые, требуя полной пересимуляции их взаимодействия.

Этот аналитический шаг завершается созданием quadmask — высокоточной, сгенерированной ИИ карты. Эта quadmask служит критически важным руководством для последующей модели видеодиффузии. Она диктует не только то, где должны быть стерты пиксели для удаления целевого объекта, но, что крайне важно, где физика окружающей среды должна быть полностью переписана. Карта направляет модель на изменение движений, сил и взаимосвязей между объектами физически правдоподобным образом, обеспечивая абсолютную достоверность регенерированной сцены.

Эта методология знаменует собой глубокий сдвиг парадигмы по сравнению с обычным AI video inpainting. Старые content-aware fill алгоритмы работают исключительно на основе распознавания образов, угадывая пиксели на основе окружающих визуальных данных без какого-либо понимания физических законов. VOID, однако, демонстрирует рудиментарную, но мощную форму понимания мира, улавливая сложные причинно-следственные связи, присущие физическим взаимодействиям. Его обширное обучение на синтетических средах, таких как Google’s Kubric и HUMOTO, предоставило обширные парные наборы данных. Эти наборы данных включали версии «до» и «после» тысяч физических симуляций: одна с взаимодействием, а другая, где объект никогда не присутствовал.

Обучаясь на этих тщательно созданных синтетических реальностях, VOID развил способность выводить точную взаимосвязь между присутствием объекта и его глубоким влиянием на окружающую среду. Это глубокое понимание позволяет VOID создавать связное, физически последовательное видео без характерных признаков манипуляции ИИ, выходя за рамки поверхностных визуальных исправлений к более глубокой, physics-aware реконструкции реальности.

Инновационный подход VOID основан на двухпроходной системе для достижения удалений с учетом физики, фундаментально изменяя реальность сцены. Этот сложный конвейер выходит за рамки простой манипуляции пикселями, сначала понимая причинно-следственную структуру сцены, а затем интеллектуально и точно реконструируя ее.

Начальная фаза рассуждения использует мощную комбинацию передовых моделей ИИ. Vision Language Model, подобная Google’s Gemini, тщательно анализирует сцену, чтобы интерпретировать сложный контекст, выявлять потенциальные причинно-следственные связи и понимать роль объекта. Одновременно Meta’s Segment Anything Model 2 (SAM 2) точно идентифицирует и отслеживает целевой объект в каждом кадре, создавая идеальную по пикселям маску для его удаления.

На этом решающем этапе ИИ не просто находит пиксели для стирания. Он активно запрашивает, какие фундаментальные изменения произошли бы, если бы объекта никогда не существовало, выходя за рамки визуального вида к физическим последствиям. Этот процесс завершается генерацией специализированной «quadmask» — подробной карты, которая инструктирует последующую diffusion model не только о том, где стирать пиксели, но, что крайне важно, где переписывать физику и взаимодействия окружающей среды.

После этого глубокого анализа начинается Фаза Генерации и Уточнения. Мощная модель видеодиффузии, в частности доработанная Alibaba CogVideoX-Fun-V1.5-5b-InP, генерирует новые кадры. Эта модель синтезирует контрфактическую реальность на основе сложных инструкций quadmask, интеллектуально заполняя пустоту, оставленную удаленным объектом, при этом сохраняя единую визуальную эстетику.

Модели диффузии, хотя и мощные, иногда могут вносить едва заметные визуальные несоответствия или искажения формы в генерируемый контент. Для борьбы с этим VOID включает необязательный, но жизненно важный этап уточнения. Он использует технику, включающую 'flow-warped noise', чтобы зафиксировать оставшиеся объекты в их правильных формах и положениях, обеспечивая временную согласованность. Этот процесс делает их твердыми и непоколебимыми, даже если лежащая в основе физика сцены была радикально изменена.

Беспрецедентные возможности VOID обусловлены ее высокоэффективной гибридной архитектурой, объединяющей передовые модели от различных лидеров отрасли. Этот совместный подход стратегически сочетает: - SAM 2 от Meta для точной сегментации и отслеживания объектов. - Gemini-like Vision Language Model от Google для глубокого контекстуального понимания и причинно-следственного вывода. - CogVideoX от Alibaba для высококачественной генерации видео с учетом взаимодействий. Дополнительные технические детали и реализацию с открытым исходным кодом можно изучить по ссылке Netflix/void-model - GitHub. Это сочетание специализированных компонентов ИИ создает удивительно связный и физически правдоподобный результат.

Обучение VOID потребовало преодоления фундаментальной проблемы данных: как научить ИИ событиям, которые *не* произошли. Реальные кадры не могут предоставить сравнения до и после автомобильной аварии, которая *не* случилась, или стакана, который *никогда* не разбивался. Отсутствие достоверных данных для контрфактических реальностей стало серьезным препятствием для традиционного обучения с учителем.

Netflix и INSAIT изобретательно обошли это ограничение, используя синтетические среды. Исследователи использовали такие платформы, как Google's Kubric, для генерации тысяч тщательно контролируемых физических симуляций. Эти цифровые песочницы позволили создавать идеально парные видеопоследовательности.

Каждая пара состояла из двух версий одной и той же сцены: одна изображала объект, взаимодействующий со своей средой (например, мяч, сбивающий кегли), а другая — где объект полностью отсутствовал, со всеми последующими физическими эффектами, корректно удаленными. Подавая ИИ обе версии бок о бок, он учился сложным причинно-следственным связям между присутствием объекта и его точным физическим воздействием на окружающую сцену.

Этот обширный синтетический набор данных позволил VOID усвоить сложное взаимодействие сил и реакций, развивая интуитивное понимание физической причинности. Для более сложных сценариев, включающих взаимодействия человека с объектами, команда дополнительно использовала специализированные наборы данных, такие как HUMOTO, отрендеренные в Blender, гарантируя, что ИИ сможет точно моделировать тонкие движения и их последствия в контрфактической реальности.

Выпуск VOID от Netflix в качестве фреймворка с открытым исходным кодом, хотя и является революционным, представляет значительные практические препятствия для пользователей, пытающихся его реализовать. Практический опыт Better Stack показал, что это далеко не "подключи и работай", подчеркивая сложности, присущие развертыванию передового ИИ. Настройка "совсем не проста", требуя значительной технической подкованности.

Пробелы в документации представляют собой основное препятствие. Официальный репозиторий GitHub часто упускает важные детали и содержит вводящую в заблуждение информацию, что приводит к сбоям команд и неясным ошибкам. Например, первоначальные инструкции по настройке не указывают явное требование к модели SAM 3, критически важной зависимости для процедуры.

Строгие соглашения об именовании еще больше усложняют процесс. Quadmasks, центральные для работы VOID, требуют точного именования как `quadmask_0.mp4` для корректного функционирования. Без этих явных указаний пользователи сталкиваются с незаметными сбоями или неожиданным поведением, что требует глубокого изучения кодовой базы или внешних ресурсов для решения, казалось бы, незначительных проблем.

Одни только аппаратные требования делают VOID недоступным для большинства локальных установок. Модель требует мощного графического процессора с 40ГБ+ VRAM, что делает NVIDIA H100 или эквивалент почти обязательным для эффективной обработки. Это требует использования облачных GPU-платформ, таких как RunPod, добавляя еще один уровень сложности настройки для конфигурации контейнеров и специфического открытия портов (например, 8998 для веб-приложений).

Помимо аппаратного обеспечения, сам доступ является ограниченным и многоуровневым. Пользователям требуется несколько ключей API и токенов, чтобы даже начать инференс. Токен Hugging Face необходим для загрузки различных моделей, в то время как доступ к репозиторию SAM 3 ограничен и требует от пользователей запроса разрешения. Кроме того, начальный этап сегментации, который использует Vision Language Model для точной оценки позы и генерации quadmask, требует Gemini API key. Это сложное требование к учетным данным подчеркивает, что VOID в его текущей форме с открытым исходным кодом ориентирован на опытных пользователей с надежной инфраструктурой и высокой терпимостью к настройке. Это далеко не простой, доступный инструмент для случайных экспериментов.

ИИ VOID от Netflix столкнулся со своим главным испытанием в ключевой сцене из *The Matrix*: удаление Нео из его культового спарринга с Морфеусом. Модель безупречно удалила физическое присутствие Нео, продемонстрировав свою выдающуюся способность стирать актера с пиксельной точностью. Этот первоначальный успех подчеркнул основную возможность VOID в создании контрфактической реальности, где целевой объект никогда не существовал.

Однако полученные кадры выявили текущие границы даже этого сложного ИИ. Морфеус продолжал свою сложную хореографию боевых искусств, нанося удары руками и ногами в пустое додзё. Эффект был тревожным: Морфеус, казалось, вел отчаянную борьбу с невидимым противником, создавая неоспоримое призрачное взаимодействие, которое VOID явно стремится устранить.

Этот результат подчеркивает критическое различие. VOID превосходно переписывает физику объектов, непосредственно затронутых удалением – например, удар шара для боулинга по кеглям. Однако движения Морфеуса были не просто физическими реакциями; это были тщательно хореографированные, преднамеренные действия, напрямую *зависящие* от присутствия и исполнения Нео. Чтобы VOID правдоподобно переписал действия Морфеуса, ему потребовалось бы вывести совершенно новое, не боевое исполнение, что фундаментально изменило бы повествование и движение сцены.

ИИ, несмотря на свои новаторские способности в понимании причинно-следственных связей, не может изобретать совершенно новые человеческие намерения или переписывать всю игру персонажа с нуля. Он действует в рамках внутренней логики исходного материала, способен изменять физические взаимодействия, но не может радикально переписывать сложное человеческое поведение. Это ограничение, более подробно исследованное в таких работах, как VOID: Video Object and Interaction Deletion (arXiv), доказывает мощь VOID, но также и его текущий потолок. Это грозный инструмент, но пока не магия.

Триумфальная демонстрация возможностей VOID произошла с тестом La La Land, где команда Better Stack предложила модели удалить Эмму Стоун из яркой танцевальной сцены с Райаном Гослингом. Эта конкретная сцена, богатая динамичным движением и сложными окклюзиями, когда персонажи переплетаются друг с другом, представила строгий тест способности VOID поддерживать непрерывность и переписывать реальность без оставления артефактов. Результат был удивительно бесшовным, представляя убедительное видение того, чего может достичь ИИ в оптимальных условиях.

Результат работы VOID для сцены La La Land оказался почти безупречным. Когда Райан Гослинг двигался по кадру, проходя прямо перед тем местом, где была Эмма Стоун, ИИ поддерживал идеальную непрерывность и реконструкцию без призраков. Модель точно восстановила скрытый фон, включая сложные детали декораций и освещения, бесшовно встраивая их на передний план. Что крайне важно, здесь не проявилось ни одно из «призрачных взаимодействий» — таких как затянувшиеся тени или необъяснимые изменения окружающей среды — которые преследовали более ранние, более физически запутанные попытки.

Этот оглушительный успех предлагает критически важное понимание текущих сильных сторон VOID. В отличие от сценариев прямого физического причинно-следственного взаимодействия в *The Matrix*, где удары Нео фундаментально изменяли состояние его противника, танец в La La Land в основном включал двух персонажей, движущихся в непосредственной близости с минимальным прямым физическим взаимодействием. Основная задача заключалась в чистом разделении этих двух движущихся фигур и точном заполнении сложных окклюзий, а не в повторном моделировании физических последствий.

Способность модели генерировать убедительную контрфактическую реальность, где Эмма Стоун никогда не существовала в этом танце, сохраняя при этом плавные движения Райана Гослинга и романтическую атмосферу сцены, является ярким примером ее огромного потенциала. Этот тест демонстрирует надежную производительность VOID в сценариях, приоритетом которых является визуальная непрерывность и разделение движущихся, неинтерактивных элементов, предлагая убедительный взгляд на ее будущие применения для кинематографического монтажа и визуальных эффектов.

VOID от Netflix столкнулся со своим самым романтическим вызовом: стереть Леонардо Ди Каприо из культовой сцены «Я лечу» в *Titanic*. Команда Better Stack попыталась удалить Джека Доусона, оставив Роуз ДеВитт Букатер одну на носу корабля. Хотя VOID в значительной степени преуспел в исчезновении фигуры Ди Каприо, результаты были явно неоднозначными, выявив постоянные проблемы даже продвинутого ИИ.

Жуткие артефакты испортили в остальном впечатляющее удаление. Отделенная рука, явно принадлежащая Ди Каприо, жутко оставалась обхваченной вокруг руки Кейт Уинслет. Эта фантомная конечность подчеркнула критическую зависимость: мощная генерация VOID, учитывающая физику, сильно зависит от точной начальной сегментации. Несовершенная маска пользователя, а не сбой основного физического движка VOID, вероятно, стала причиной этого постоянного «призрачного» взаимодействия.

Инцидент подчеркивает важную проблему со стороны пользователя. Даже с надежными инструментами, такими как SAM 2 для отслеживания, создание идеально точной начальной маски в сложных, движущихся сценах остается сложной ручной или полуручной задачей. Любая неточность в определении объекта, который нужно удалить, напрямую влияет на качество вывода VOID, демонстрируя, что даже новаторский ИИ требует тщательного ввода.

Помимо фантомной руки, появился более тонкий, но тревожный артефакт. Лицо Уинслет демонстрировало небольшое морфинг, распространенное явление в видео, сгенерированном ИИ, когда черты лица незаметно искажаются или смещаются. Это незначительное изменение подтолкнуло результат прямо в зловещую долину, где изображение почти человеческое, но достаточно отклонено, чтобы вызвать беспокойство. Это служит ярким напоминанием о том, что, хотя VOID может изменять реальность, достижение идеального фотореализма, особенно с человеческими объектами, остается труднодостижимой целью.

VOID фундаментально переопределяет ландшафт видео-инпейнта, значительно превосходя как коммерческих гигантов, таких как RunwayML и Adobe, так и альтернативы с открытым исходным кодом, такие как ProPainter и DiffuEraser. В то время как эти инструменты превосходны в простом удалении объектов или манипуляциях со статическими сценами, их ограничения становятся очевидными при столкновении с физически зависимыми взаимодействиями или сложными окклюзиями. Ключевое новшество VOID заключается в его способности понимать и переписывать причинно-следственные связи, а не просто заполнять пиксели.

Независимые исследования подтверждают превосходную точность и реализм VOID. Всестороннее исследование предпочтений человека, подробно описанное в оригинальной статье Netflix, показало, что пользователи предпочитали результат VOID в 64,8% случаев по сравнению с результатами ведущих конкурентов, включая самые современные методы. Это решающее предпочтение подчеркивает его прорывную способность генерировать правдоподобные, контрфактические реальности, где отсутствие объекта ощущается естественным и физически последовательным.

Истинное конкурентное преимущество VOID заключается не только в более высоком качестве, но и в его особом мастерстве в сложных сценариях, которые ставят в тупик другие модели. Там, где конкуренты часто оставляют «призрачные взаимодействия» — например, блендер необъяснимо вращается после удаления человека, или вода брызгает без ныряльщика — VOID тщательно реконструирует физику сцены. Это позволяет беспрепятственно удалять объекты даже в высокодинамичных средах, гарантируя, что оставшиеся элементы реагируют так, как если бы удаленного объекта никогда не существовало, сохраняя физическую правдоподобность во всех кадрах. Эта уникальная способность выводить и имитировать отсутствующие физические взаимодействия отличает его от традиционных подходов к заполнению с учетом содержимого.

Решение Netflix выпустить VOID под лицензией Apache 2.0 с открытым исходным кодом является стратегическим маневром, призванным ускорить его внедрение и утвердить его в качестве отраслевого стандарта. Этот открытый подход способствует широкому развитию сообщества, позволяя исследователям и разработчикам по всему миру строить на его сложной основе, интегрировать его в новые рабочие процессы и даже вносить улучшения. Демократизируя эту передовую, учитывающую физику технологию, Netflix стремится стимулировать инновации во всей экосистеме видеопроизводства и постпроизводства, потенциально революционизируя способы создания и изменения контента. Для получения дополнительной информации о его более широких отраслевых последствиях см. Netflix Launches VOID AI That Rewrites Video Scenes After Filming - Forbes. Этот шаг позиционирует VOID не просто как инструмент, а как фундаментальную технологию для будущего интерактивного видео.

Возможности VOID выходят далеко за рамки простого удаления объектов, обещая радикальный сдвиг в производстве и потреблении медиаконтента. Netflix, открыв исходный код VOID, получит огромную выгоду от интеграции такого мощного инструмента в свой контент-пайплайн. Представьте себе устранение дорогостоящих пересъемок из-за незначительных ошибок в непрерывности или удаление нежелательных фоновых элементов с беспрецедентной физической точностью, что сэкономит миллионы на затратах на постпроизводство.

В масштабах всей индустрии VOID открывает новые творческие возможности. Кинематографисты могли бы многократно работать над сценами, тестируя различные композиции персонажей или размещения объектов без необходимости пересъемки. Эта цифровая податливость превращает монтажную студию в динамичный центр творчества, где режиссеры могут по-настоящему создавать контрфактическую реальность для любой заданной последовательности.

Что крайне важно, VOID переопределяет интерактивное повествование. Будущий *Black Mirror: Bandersnatch* мог бы динамически изменять присутствие персонажей на основе выбора зрителя, делая сюжетные ветви физически последовательными. Если пользователь выбирает, чтобы персонаж никогда не появлялся, VOID гарантирует, что его отсутствие будет не просто визуальным, но повлияет на физику сцены и взаимодействие других персонажей, углубляя погружение.

Такой уровень контроля над визуальными нарративами имеет глубокие последствия. Фреймворк Netflix предоставляет беспрецедентную кнопку «отменить» для визуальных эффектов, кардинально меняя рабочие процессы для VFX artists и редакторов. Удаление отражения микрофона-«журавля» или неуместного реквизита становится точной, учитывающей физику операцией, значительно сокращая усилия по ручному rotoscoping и inpainting.

Однако возможность беспрепятственно переписывать визуальную историю представляет собой серьезную этическую дилемму. Инструмент, способный создавать столь убедительные альтернативные реальности, также становится мощным инструментом для дезинформации. Та же технология, которая удаляет актера из сцены, с такой же легкостью может сфабриковать его присутствие, способствуя распространению deepfakes и подрывая доверие к визуальным медиа.

Защитные меры, такие как надежная аутентификация контента и цифровые водяные знаки, станут обязательными. По мере того как контент, созданный ИИ, становится неотличимым от реальности, индустрия должна активно разрабатывать механизмы для проверки происхождения медиа. VOID представляет собой монументальный скачок в манипуляции видео с помощью ИИ, требующий как творческого исследования, так и строгого этического рассмотрения.

Что такое модель VOID от Netflix?

VOID (Video Object and Interaction Deletion) — это фреймворк ИИ с открытым исходным кодом от Netflix, который удаляет объекты или актеров из видео и интеллектуально переписывает физику сцены, чтобы учесть их отсутствие, устраняя «призрачные взаимодействия».

Чем VOID отличается от других ИИ-видеоредакторов?

В то время как другие инструменты стирают пиксели, они часто оставляют физические последствия удаленного объекта (например, остается тень). VOID использует двухпроходную систему для понимания причинно-следственных связей, переписывая сцену так, как будто объекта никогда не существовало.

Могу ли я запустить модель VOID на своем персональном компьютере?

Для большинства пользователей это маловероятно. VOID требует мощного облачного GPU с как минимум 40 ГБ VRAM, такого как NVIDIA A100 или H100, что делает его недоступным для стандартного потребительского оборудования.

Использует ли Netflix VOID в своих фильмах и шоу?

Netflix выпустил VOID как исследовательский проект и пока не объявил об официальных планах по его интеграции в свои производственные процессы. Однако его потенциал для экономии затрат на постпродакшн значителен.