Realtime AI-video en wereldmodellen uitgelegd voor makers

Realtime AI-video is op dit moment het meest besproken front in generatieve media, en tegelijk het slechtst gedefinieerde. Afhankelijk van wie er praat betekent het een model dat sneller rendert dan het afspeelt, een model dat je met een toetsenbord bijstuurt terwijl het draait, of een model dat een hele gesimuleerde omgeving in zijn hoofd houdt. Dat zijn drie verschillende technische problemen met drie verschillende tijdlijnen, en ze onder één kop samenvegen is precies hoe makers gaan plannen rond mogelijkheden die nog niet bestaan.

Dit stuk haalt de termen uit elkaar. Wat “realtime genereren” eigenlijk beschrijft, wat een “wereldmodel” wel en niet is, wie er in deze hoek bouwt, waar de harde grenzen liggen en — het deel dat telt voor iedereen met een deadline deze maand — wat dit wel en niet verandert aan werk dat vandaag de deur uit gaat. Kort samengevat: productievideo draait nog steeds op modellen in batch, en dat blijft voorlopig zo.

Wat “realtime” in AI-video eigenlijk betekent#

De modellen die de meeste makers gebruiken zijn batchmodellen. Je schrijft een briefing, je dient hem in, het model plant en rendert de hele clip als één geheel, en enkele seconden of minuten later heb je een afgerond bestand. Niets aan het resultaat wordt beslist terwijl je kijkt. De generatie is een taak.

Realtime genereren keert die lus om. In plaats van een afgeronde clip produceert het model continu frames, snel genoeg om de stroom te bekijken terwijl hij ontstaat — en, cruciaal, snel genoeg dat invoer die halverwege binnenkomt de volgende frames kan beïnvloeden. Die laatste eigenschap is wat mensen meestal bedoelen met realtime, en die heet beter interactieve videogeneratie.

Er schuilen eigenlijk drie verschillende claims onder één etiket:

Het eerste is een optimalisatie. Het derde is een ander soort systeem.

Wat een wereldmodel is (en niet is)#

Een wereldmodel is niet simpelweg een videomodel dat langer doorloopt. Het onderscheid zit in de toestand. Een model voor tekst naar video vertaalt een prompt naar een reeks frames; de prompt is de hele instructie en de reeks is het hele antwoord. Een wereldmodel houdt een interne voorstelling van een scène bij — wat erin zit, waar de dingen staan, hoe ze zich gedragen — en genereert frames als een blik op die voorstelling, die het bijwerkt als reactie op acties.

Daarom worden wereldmodellen in één adem met game-engines genoemd en niet met videogereedschap. De vergelijking klopt niet helemaal, maar ze helpt:

De interessante onderzoeksvraag is bestendigheid: als je je van een object afwendt en terugkijkt, staat het er dan nog, op dezelfde plek, met hetzelfde uiterlijk? Batchmodellen hoeven die vraag nooit te beantwoorden. Wereldmodellen slagen of zakken erop.

De opvallende deelnemers#

Drie losse groepen duwen hieraan, en ze willen verschillende dingen.

De wereldmodellen van Google in de Genie-lijn#

De Genie-lijn van Google DeepMind is het ijkpunt dat de meeste mensen aanhalen. De belofte is generatie van doorwandelbare omgevingen op basis van acties, vanuit een prompt of een afbeelding — je beschrijft een plek en beweegt er vervolgens doorheen, waarbij het model elke volgende blik genereert in plaats van een vooraf gerenderde af te spelen. Publieke demonstraties benadrukten interactie bij framerates die responsief aanvoelen en samenhang die een tijdje aaneengesloten verkennen volhoudt, en het kader was uitdrukkelijk onderzoeksgericht, met agenttraining en belichaamde AI als motieven die minstens zo zwaar wogen als het maken van content.

PixVerse R1 en R2#

De R2-aankondiging van 22 september (Opent in een nieuw tabblad) volgt op R1 met claims over langere coherente sessies en blijvende reacties op tekst, referentiemateriaal, audio en acties. Het R2-onderzoeksoverzicht (Opent in een nieuw tabblad) beschrijft de technische richting. Dat zijn claims van de aanbieder, geen resultaten die wij onafhankelijk hebben gemeten. Beoordeel een interactieve sessie door terug te keren naar eerdere plekken, een actie te herhalen en te kijken of een personage een eerdere interactie onthoudt. R2 is geen OmniArt-generatiemodus; de huidige videowerkruimte levert afgeronde clips.

Het game-nabije middenveld#

De derde groep levert de minst pakkende koppen en misschien wel de grootste gevolgen: werk dat generatieve modellen ín of náást conventionele engines zet. Neurale renderpasses boven op de uitvoer van een engine, gegenereerde bestanden en omgevingen die een gewone productiepijplijn voeden, generatief gedrag van NPC’s, stijloverdracht per frame. Niets daarvan is een volwaardig wereldmodel. Het komt allemaal eerder op de markt, omdat het de voorspelbaarheid en de controle van een engine erft en generatie alleen inzet waar generatie echt beter is.

De grenzen die de tijdlijn bepalen#

Bij het beoordelen van een interactief systeem tellen vier technische afwegingen. Een aankondiging of een gepolijste demo laat niet zien hoe betrouwbaar het alle vier op jouw eigen sessie aankan.

Vertraging tegenover kwaliteit. Interactiviteit legt een hard rekenbudget per frame op: wat het model kan produceren voordat het volgende frame moet vallen, is alles wat je krijgt. Batchmodellen mogen zo lang over een frame doen als ze willen. Elke eenheid kwaliteit in een interactief systeem moet binnen dat budget worden betaald, en daarom loopt interactieve uitvoer een generatie achter op uitvoer in batch — en daarom blijft dat zo, ook als beide beter worden.

Resolutie en detail. Hetzelfde budget, nu toegepast op pixels. Pijplijnen in batch kunnen zich verfijningspasses en opschaalstappen veroorloven; een systeem dat frames op aanvraag genereert kan dat doorgaans niet, in elk geval niet zonder precies de vertraging toe te voegen die het wilde vermijden.

Samenhang over tijd. Dit is de diepe. Consistentie over een lange horizon vraagt om geheugen van wat al is gegenereerd, en geheugen kost rekenkracht die concurreert met het framebudget. Objecten die wegdrijven, geometrie die zichzelf stilletjes tegenspreekt en licht dat verandert tussen twee bezoeken aan dezelfde plek zijn allemaal symptomen van dezelfde beperking. De vooruitgang hier is echt maar stapsgewijs, en het eerlijke kader is dat sessies een tijdje kloppen en daarna niet meer.

Precisie van de besturing. Interactie is alleen nuttig als het model op je invoer reageert zoals je het bedoelde. Bewegen in een richting is relatief goed te doen. Precieze, herhaalbare regie tot op het frame — wat een filmmaker of gameontwerper echt nodig heeft — is veel lastiger, en er zit een onopgeloste spanning tussen een systeem dat improviseert en een systeem dat exact doet wat het krijgt opgedragen.

Er speelt ook een economische grens die minder aandacht krijgt. Een render in batch is een afgebakende, factureerbare taak. Een interactieve sessie is een open rekenstroom, en iemand betaalt voor elke seconde ervan. Dat bepaalt hoe producten in deze categorie eruit kunnen zien, lang voordat het onderzoek af is.

Wat dit voor makers verandert — en wat niet#

Wat er voorlopig niet verandert#

Bepaal bij een klantoplevering of het contract een speelbare sessie of een afgerond bestand is. De huidige videomodellen van OmniArt leveren afgeronde clips, met modelgebonden bediening voor referentiemateriaal, formaat en audio. Een interactief systeem kan nuttig zijn om te verkennen, maar een geslaagde livesessie bewijst op zichzelf geen exportkwaliteit, herhaalbaarheid of geschiktheid voor de eindmontage. Test die eisen voordat je het onderdeel maakt van een leveringsafspraak.

Het is ook geen vervangingsroute. Interactief genereren en genereren in batch optimaliseren tegenovergestelde uiteinden van dezelfde afweging. Een toekomst waarin wereldmodellen uitstekend zijn, impliceert geen toekomst waarin batchmodellen achterhaald zijn — net zomin als realtime game-engines het offline renderen van film achterhaald maakten.

Wat er wel verandert#

Op drie dingen loont het om je nu al in te stellen.

• Previsualisatie wordt als eerste goedkoper. De eerste echt bruikbare toepassing van stuurbaar genereren is een ruimte of een blokkering verkennen voordat je je aan een afgeronde render vastlegt. Ruw, interactief en meteen aanpasbaar wint van gepolijst en traag zolang je nog aan het beslissen bent.
• De prompt is niet langer de enige interface. Naarmate modellen doorlopende invoer aannemen, gaan briefings minder op alinea’s lijken en meer op regie — een begintoestand plus een reeks intenties. Makers die al in shots en beats denken in plaats van in zinnen, passen zich sneller aan.
• Game-nabij werk gaat eerder open dan film-nabij werk. Interactieve media accepteren lagere kwaliteit in ruil voor responsiviteit, omdat het publiek meedoet in plaats van kijkt. Daar is deze techniek als eerste echt concurrerend.

De vaardigheden die meeverhuizen#

Niets van wat je op de huidige modellen leert, is verspild. Een scène precies beschrijven, camera en licht vastleggen, een personage of een look over verschillende shots heen vasthouden en een herhaalbare beoordelingsgewoonte opbouwen — dezelfde briefing, dezelfde referenties, hetzelfde beoordelingsschema, losgelaten op wat er nieuw is — het verhuist allemaal rechtstreeks mee. De interface verandert; het vak om precies te zijn over wat je wilt, niet.

Wat je vandaag op OmniArt kunt doen#

OmniArt biedt geen generatie met realtime wereldmodellen, en dat zeggen we liever gewoon dan dat we de grens vervagen. Wat de videowerkruimte wel biedt, is de huidige line-up in batch op één plek — Seedance 2.0, Veo 3.1, Kling, Sora 2, PixVerse V6 en C1, Google Gemini Omni, Happy Horse en Grok Imagine — met één tegoed en één promptgrammatica over alles heen.

Dat is nuttiger voor de interactieve toekomst dan het klinkt. De manier om er klaar voor te zijn, is snel worden in de onderdelen die meegaan:

1. Itereer op de goedkope niveaus. Schets een shot op een snelle of mini-variant, leg de compositie en de beweging vast en draai dezelfde briefing daarna op een hoger niveau. Dat is het equivalent in batch van een interactieve lus, en zo leer je wat een briefing eigenlijk vraagt.
2. Werk in vervolgen, niet in losse schoten. OmniArt heeft aparte modellen Grok Imagine Extend en Modify die op een afgeronde clip werken — hem verlengen of aanpassen in plaats van opnieuw genereren vanaf nul — en Extend werkt op beeld uit elk model in de videowerkruimte. Je kunt ook handmatig aaneenrijgen: gebruik de overgangsmodus, of geef het laatste frame van de ene clip terug als beginbeeld van de volgende. Hoe dan ook bouwt denken in vervolgen precies de opeenvolgende, toestandsbewuste gewoonten op die interactief genereren zal vragen.
3. Vergelijk modellen op dezelfde briefing. Eén prompt, meerdere modellen, naast elkaar. Het is de enige eerlijke manier om in dit veld iets te beoordelen, en het is de gewoonte waarmee je een werkelijk nieuwe mogelijkheid in een middag inschat in plaats van in een kwartaal.

Een volledige rondleiding langs de modellen in de werkruimte staat in alle AI-videomodellen in één werkruimte. Wil je nu een shot starten, ga dan naar de aanmaakpagina.

Veelgestelde vragen#

Is realtime AI-video vandaag beschikbaar voor makers?+−

Snel renderen wel. Echt interactief, stuurbaar genereren is nog een opkomende mogelijkheid met demo’s en vroege producten, geen betrouwbaar productiegereedschap. Afgerond videowerk draait op batchmodellen.

Wat is het verschil tussen een wereldmodel en een model voor tekst naar video?+−

Een model voor tekst naar video maakt van een prompt een afgeronde clip. Een wereldmodel houdt een blijvende interne toestand van een scène bij en genereert daar blikken op als reactie op lopende acties, en daarom telt samenhang bij terugkeer naar een plek zwaarder dan de kwaliteit van de clip.

Gaan wereldmodellen batchvideomodellen vervangen?+−

Onwaarschijnlijk, in elk geval niet als categorie. De twee optimaliseren tegenovergestelde uiteinden van dezelfde afweging tussen vertraging en kwaliteit, dus je kunt ze beter zien als aanvullend gereedschap dan als opeenvolgende generaties.

Wat kan ik nu leren om er klaar voor te zijn?+−

Precies een scène beschrijven, camera en licht regisseren, consistentie over shots bewaken en een herhaalbare vergelijkingsgewoonte. Het verhuist allemaal mee, hoe de interface er uiteindelijk ook uitziet.