Tu teléfono se convierte en un set de filmación de IA
Recuerdas aquellos primeros experimentos de realidad aumentada (AR), donde un objeto virtual simplemente... ¿flotaba en tu vista del mundo real? Simulon, un nombre que escuchamos por última vez en 2023, ha vuelto, y está haciendo mucho más que solo flotar. Este nuevo flujo de trabajo combina la cámara de tu teléfono con video generativo, convirtiendo tu sala de estar en un set de filmación para personajes de IA.
Así es como funciona: subes una referencia de personaje, digamos, "flamethrower girl", y Simulon lo convierte en un 3D asset. Luego, usando la cámara de tu iPhone, posicionas y escalas ese personaje directamente en tu entorno físico. Puedes colocar un personaje en miniatura en tu escritorio o hacer que uno de tamaño real se siente en una silla.
En lugar de animar cuadro por cuadro, indicas una acción y la IA genera el movimiento. Este sistema captura tu entorno real como base, manteniendo un seguimiento preciso de la cámara y la geometría del mundo real. No verás fondos "alucinar" ni objetos desaparecer; si hay una pelota en el suelo, se queda ahí.
Fundamentalmente, este no es un efecto en vivo y en tiempo real en la pantalla de tu teléfono. Aunque preparas la escena en tu dispositivo, la video generation final y el renderizado ocurren en la nube. Piensa en tu teléfono como el director y operador de cámara, mientras que potentes servidores se encargan del trabajo pesado de componer tu personaje de IA perfectamente en tu toma. El resultado es un video de alta fidelidad de tus creaciones de IA interactuando con el real world.
Las ubicaciones reales resuelven el problema de la cámara en el video de IA
El enfoque de Simulon difiere drásticamente de los modelos de texto a video totalmente sintéticos como Sora o Kling. En lugar de generar una escena completa desde cero, Simulon arraiga a sus personajes de IA en tus imágenes de cámara del mundo real. Esto fundamenta el movimiento de la cámara y el entorno físico, reduciendo drásticamente las alucinaciones de fondo que afectan a las escenas generadas en su totalidad.
Imagina colocar un personaje miniatura de "flamethrower girl" justo en tu escritorio, o hacer que una figura de tamaño real tome asiento casualmente en una silla de bar en tu estudio. Simulon te permite escalar y posicionar estos personajes de IA directamente dentro de tu entorno real. La cámara de tu teléfono captura el espacio real y la IA integra al personaje, manteniendo una perspectiva e iluminación consistentes.
Toma una escena de una cancha de tenis, por ejemplo. Dos personajes de IA pueden practicar voleas en un parque del vecindario, con la cancha del mundo real y la ubicación del personaje permaneciendo consistentes durante toda la toma. Si bien la acción real del tenis puede verse un poco extraña, el entorno y la presencia de los personajes dentro de él se mantienen notablemente estables en comparación con un entorno generado puramente por IA.
Este método ofrece una ventaja poderosa: control preciso de la cámara. Tú dictas el movimiento de la cámara y el contexto físico, y Simulon asegura que los personajes de IA se adhieran a ese marco del mundo real. Se trata de fusionar lo mejor de la realidad aumentada con la flexibilidad del video generativo, dando a los creadores más control sobre sus actores virtuales.
La diversión comienza cuando el mundo real responde
Aquí es donde Simulon realmente comienza a justificar su existencia: no es solo composición. Los personajes de IA pueden reaccionar al mundo real. Imagina a un personaje digital estremeciéndose cuando lo tocas, o un gato virtual golpeando un objeto real, incluso respondiendo a la luz cambiante de una antorcha física. Este reality-aware rendering abre posibilidades dinámicas.
La composición tradicional requiere programar cada interacción. Simulon, sin embargo, permite una improvisación genuina. Los creadores pueden introducir elementos o intervenciones del mundo real, permitiendo que los personajes y el entorno reaccionen de forma espontánea. Esto va más allá de las escenas estáticas hacia una narración más interactiva y menos predecible.
Simulon demostró una interacción de voz rudimentaria, con personajes respondiendo a comandos simples. La hoja de ruta promete asignar voces y personalidades distintas a los personajes, ofreciendo un vistazo a las capacidades futuras. Por ahora, el reality-aware rendering y el potencial de improvisación son las características destacadas, siendo las personalidades impulsadas por voz completa todavía una ambición.
Esta mezcla de lo digital y lo físico es lo que hace que Simulon sea fascinante. Puedes obtener más información sobre sus características y hoja de ruta en Simulon 2.0 | The camera for your imagination. Es un sistema diseñado para fomentar el caos creativo, donde las interacciones inesperadas entre la IA y tu entorno se convierten en parte de la narrativa.
¿Te está gustando? Recibe uno así en tu bandeja cada mañana.
un correo al día · date de baja en dos clics · sin rastreadores de terceros
Un flujo de trabajo potente, no un botón mágico
No confundas a Simulon con un botón mágico. Aunque es potente, los controles de AR pueden ser complicados, requiriendo práctica para colocar y escalar los personajes con precisión. El renderizado no es en tiempo real, y los detalles generados pueden ocasionalmente desviarse o inventar objetos, así que acepta las imperfecciones.
Simulon destaca como una opción accesible para creadores independientes y artistas de VFX. Ofrece un control de cámara detallado sin la complejidad del rastreo tradicional o un pipeline 3D completo. Las salidas de video generadas también pueden integrarse en otras herramientas, como un flujo de trabajo de video a video en Kling 4.0, ampliando las posibilidades creativas.
La aplicación está actualmente disponible para iOS, con un nivel de entrada gratuito que ofrece 100 créditos iniciales para activos de la biblioteca. Las suscripciones de pago incluyen el nivel Plus a $14.99/mes y Pro a $39.99/mes, proporcionando más créditos y cargas de sujetos personalizados. La disponibilidad en Android estaba pendiente de aprobación en el momento de la grabación.
Preguntas frecuentes
¿Qué es Simulon?
Simulon es una aplicación para iPhone que permite a los usuarios colocar personajes generados por IA en ubicaciones del mundo real y crear videos de ellos allí.
¿Cómo pone Simulon a los personajes de IA en espacios reales?
Los usuarios proporcionan una referencia de personaje, colocan su activo 3D generado con la cámara de su teléfono y luego solicitan una acción para la generación del video.
¿Genera Simulon video en tiempo real?
No. Los usuarios preparan los personajes en el dispositivo, pero el video se genera de forma asíncrona en la nube.
¿Pueden los personajes de Simulon reaccionar a personas y objetos?
El video demuestra que los personajes responden a acciones del mundo real, iluminación y comandos de voz, aunque los resultados pueden ser inconsistentes.
¿Está Simulon disponible en Android?
El video describe la aplicación como disponible en iOS, con la disponibilidad en Android pendiente de aprobación en el momento de la grabación.