Ihr Smartphone wird zum KI-Filmset
Erinnern Sie sich an die frühen Experimente mit Augmented Reality (AR), bei denen ein virtuelles Objekt einfach nur in Ihrem Sichtfeld schwebte? Simulon, ein Name, den wir zuletzt 2023 hörten, ist zurück und kann weit mehr als nur schweben. Dieser neue Workflow kombiniert die Kamera Ihres Smartphones mit generativem Video und macht Ihr Wohnzimmer zum Filmset für KI-Charaktere.
So funktioniert es: Sie laden eine Charakterreferenz hoch – zum Beispiel ein „Flammenwerfer-Mädchen“ – und Simulon wandelt diese in ein 3D-Asset um. Dann positionieren und skalieren Sie diesen Charakter mithilfe Ihrer iPhone-Kamera direkt in Ihrer physischen Umgebung. Sie können einen Miniatur-Charakter auf Ihren Schreibtisch stellen oder eine lebensgroße Figur auf einen Stuhl setzen lassen.
Anstatt Bild für Bild zu animieren, geben Sie eine Aktion vor, und die KI generiert die Bewegung. Dieses System erfasst Ihre tatsächliche Umgebung als Basis und behält dabei präzises Kamera-Tracking und die Geometrie der realen Welt bei. Sie werden keine „halluzinierenden“ Hintergründe oder verschwindenden Objekte sehen; wenn ein Ball auf dem Boden liegt, bleibt er dort.
Entscheidend ist, dass dies kein Live-Echtzeiteffekt auf Ihrem Smartphone-Bildschirm ist. Während Sie die Szene auf Ihrem Gerät inszenieren, finden die finale Video-Generierung und das Rendering in der Cloud statt. Betrachten Sie Ihr Smartphone als Regisseur und Kameramann, während leistungsstarke Server die Schwerstarbeit leisten, Ihren KI-Charakter nahtlos in Ihre Aufnahme einzufügen. Das Ergebnis ist ein hochauflösendes Video Ihrer KI-Kreationen, die mit der realen Welt interagieren.
Reale Orte lösen das Kameraproblem von KI-Videos
Der Ansatz von Simulon unterscheidet sich deutlich von rein synthetischen Text-zu-Video-Modellen wie Sora oder Kling. Anstatt eine ganze Szene von Grund auf neu zu generieren, verankert Simulon seine KI-Charaktere in Ihrem realen Kamera-Footage. Dies stabilisiert die Kamerabewegung und die physische Umgebung und reduziert drastisch die Hintergrund-Halluzinationen, die bei vollständig generierten Szenen auftreten.
Stellen Sie sich vor, Sie platzieren ein Miniatur-„Flammenwerfer-Mädchen“ direkt auf Ihrem Schreibtisch oder lassen eine lebensgroße Figur lässig auf einem Barhocker in Ihrem Studio Platz nehmen. Simulon ermöglicht es Ihnen, diese KI-Charaktere direkt in Ihrer tatsächlichen Umgebung zu skalieren und zu positionieren. Ihre Smartphone-Kamera erfasst den realen Raum, und die KI integriert den Charakter unter Beibehaltung von Perspektive und Beleuchtung.
Nehmen wir zum Beispiel eine Tennisplatz-Szene. Zwei KI-Charaktere können in einem Park in der Nachbarschaft Volleys üben, wobei der reale Platz und die Positionierung der Charaktere während der gesamten Aufnahme konsistent bleiben. Während die eigentliche Tennis-Action manchmal etwas holprig wirken kann, bleiben die Umgebung und die Präsenz der Charaktere darin im Vergleich zu einer rein KI-generierten Umgebung bemerkenswert stabil.
Diese Methode bietet einen entscheidenden Vorteil: präzise Kamerakontrolle. Sie bestimmen die Kamerabewegung und den physischen Kontext, und Simulon stellt sicher, dass sich die KI-Charaktere an diesen realen Rahmen halten. Es geht darum, das Beste aus Augmented Reality mit der Flexibilität von generativem Video zu verbinden, was Kreativen mehr Kontrolle über ihre virtuellen Schauspieler gibt.
Der Spaß beginnt, wenn die reale Welt reagiert
Hier beginnt Simulon wirklich, seine Existenz zu rechtfertigen: Es geht nicht nur um Compositing. Die KI-Charaktere können auf die reale Welt reagieren. Stellen Sie sich einen digitalen Charakter vor, der zusammenzuckt, wenn Sie ihn anstupsen, oder eine virtuelle Katze, die nach einem realen Objekt schlägt oder sogar auf das wechselnde Licht einer physischen Taschenlampe reagiert. Dieses Reality-Aware Rendering eröffnet dynamische Möglichkeiten.
Traditionelles Compositing erfordert das Skripten jeder Interaktion. Simulon hingegen ermöglicht echte Improvisation. Kreative können reale Elemente oder Eingriffe einbringen und die Charaktere sowie die Umgebung spontan reagieren lassen. Dies geht über statische Szenen hinaus und führt zu einem interaktiveren, weniger vorhersehbaren Storytelling.
Simulon demonstrierte eine rudimentäre Sprachinteraktion, bei der Charaktere auf einfache Befehle reagierten. Die Roadmap verspricht, Charakteren eigene Stimmen und Persönlichkeiten zuzuweisen, was einen Ausblick auf zukünftige Möglichkeiten bietet. Vorerst sind das reality-aware rendering und das improvisatorische Potenzial die herausragenden Funktionen, während vollständig sprachgesteuerte Persönlichkeiten noch ein Ziel für die Zukunft sind.
Diese Verschmelzung von Digitalem und Physischem macht Simulon so überzeugend. Mehr über die Funktionen und die Roadmap erfahren Sie unter Simulon 2.0 | The camera for your imagination. Es ist ein System, das dazu entwickelt wurde, kreatives Chaos zu fördern, bei dem die unerwarteten Interaktionen zwischen KI und Ihrer Umgebung Teil der Erzählung werden.
Gefällt Ihnen der Artikel? Erhalten Sie jeden Morgen einen wie diesen per E-Mail.
eine E-Mail pro Tag · Abmeldung mit zwei Klicks · kein Tracking durch Dritte
Ein leistungsstarker Workflow, kein magischer Knopf
Verwechseln Sie Simulon nicht mit einem magischen Knopf. Obwohl leistungsstark, können die AR-Steuerungen knifflig sein und erfordern Übung, um Charaktere präzise zu platzieren und zu skalieren. Das Rendering erfolgt nicht in Echtzeit, und generierte Details können gelegentlich abweichen oder Objekte erfinden – akzeptieren Sie also die Unvollkommenheiten.
Simulon glänzt als zugängliche Option für Indie-Kreative und VFX-Künstler. Es bietet detaillierte Kamerasteuerung ohne die Komplexität von traditionellem Tracking oder einer vollständigen 3D-Pipeline. Die generierten Videoausgaben können auch in andere Tools eingespeist werden, wie etwa in einen Video-zu-Video-Workflow in Kling 4.0, was die kreativen Möglichkeiten erweitert.
Die App ist derzeit für iOS verfügbar, mit einer kostenlosen Einstiegsstufe, die 100 Start-Credits für Bibliothek-Assets bietet. Kostenpflichtige Abonnements umfassen die Plus-Stufe für 14,99 $/Monat und Pro für 39,99 $/Monat, die mehr Credits und das Hochladen eigener Subjekte ermöglichen. Die Verfügbarkeit für Android wartete zum Zeitpunkt der Aufnahme noch auf die Genehmigung.
Häufig gestellte Fragen
Was ist Simulon?
Simulon ist eine iPhone-App, mit der Nutzer KI-generierte Charaktere an realen Orten platzieren und Videos von ihnen erstellen können.
Wie bringt Simulon KI-Charaktere in reale Räume?
Nutzer stellen eine Charakterreferenz bereit, platzieren das generierte 3D-Asset mit ihrer Handykamera und geben dann eine Aktion für die Videogenerierung vor.
Generiert Simulon Videos in Echtzeit?
Nein. Nutzer platzieren Charaktere auf dem Gerät, aber das Video wird asynchron in der Cloud generiert.
Können Simulon-Charaktere auf Menschen und Objekte reagieren?
Das Video zeigt, wie Charaktere auf reale Aktionen, Beleuchtung und gesprochene Befehle reagieren, obwohl die Ergebnisse inkonsistent sein können.
Ist Simulon für Android verfügbar?
Das Video beschreibt die App als für iOS verfügbar, wobei die Verfügbarkeit für Android zum Zeitpunkt der Aufnahme noch auf die Genehmigung wartete.