Any-to-any-invoer van Gemini Omni Flash: wat het echt doet

Het woord dat bij de lancering van Gemini Omni Flash het zwaarste werk deed, was “Omni” — de belofte van één model dat je tekst, afbeeldingen, audio en video tegelijk kunt voeren, in één prompt. Dat is een wezenlijk ander verhaal dan de videomodellen met één invoerkanaal die eraan voorafgingen, en het is de reden dat het model zijn naam verdient. Maar de versie die in de ontwikkelaars-API is verschenen, is smaller dan het keynote-verhaal, en dat gat telt als je er echt werk omheen plant.

Dit stuk scheidt wat any-to-any je vandaag oplevert van wat nog toekomstmuziek is — en komt daarna bij het nuttigere punt: hoe multimodale invoer de manier verandert waarop je überhaupt een briefing schrijft.

Wat “any-to-any” eigenlijk betekent

De meeste videomodellen accepteren één soort sturing. Je schrijft tekst, of je levert één referentieafbeelding, en het model werkt daarvandaan. Any-to-any-invoer betekent dat één promptgrammatica meerdere modaliteiten samen accepteert en een samenhangend resultaat teruggeeft dat ze allemaal respecteert: een referentieframe voor de look, een korte clip voor de beweging en een geschreven aanwijzing voor de rest — gecombineerd, niet gekozen.

De verschuiving gaat van een shot beschrijven in woorden naar een shot samenstellen uit bestanden. Dat is de echte capaciteit, en daarom is “omni-modaal” geen pure marketing. De vraag is hoeveel ervan live staat.

De belofte tegenover de live API

Dit is de eerlijke matrix voor de huidige preview, rechtstreeks uit de documentatie van de API zelf:

De juiste lezing is dus: any-to-any is vandaag tekst + afbeelding + video erin, video (met gegenereerde audio) eruit. De audio-in-helft van de omni-modale belofte wordt bewust achtergehouden — in lijn met de spraakbewerking in beeld en de avatarfuncties die Google bij de lancering terughield om veiligheidsredenen. Het is een echte stap vooruit ten opzichte van modellen met één invoerkanaal; het is alleen nog niet het volledige any-to-any-to-any-plaatje dat de naam suggereert.

Wat multimodale invoer verandert aan de briefing

Zodra je uit bestanden samenstelt in plaats van in proza beschrijft, verandert de briefing zelf van vorm. Drie invoerkanalen doen verschillend werk, en de vaardigheid zit in het toewijzen van elk kanaal aan waar het het beste in is:

• De referentieafbeelding draagt de look — het onderwerp, het palet, de kadrering die je al mooi vindt.
• De videoreferentie draagt de beweging — een camerabeweging of een handeling die je terug wilt zien.
• De tekst draagt de intentie en alles wat de bestanden nog niet laten zien — stemming, veranderingen, dat wat in geen van beide referenties zit.

Het praktische effect is dat je niet langer probeert een beeld in bijvoeglijke naamwoorden te vertalen. In plaats van “een warme close-up met geringe scherptediepte en een trage push-in” te schrijven, lever je het frame dat er al zo uitziet en de clip die al zo beweegt, en besteed je je woorden aan wat nieuw is. Voor iedereen die ooit heeft geworsteld om een specifieke esthetiek in tekst te vangen, is dat de doorbraak in de workflow.

De vier taakmodi, en hoe ze combineren

De API stelt vier task-types beschikbaar, en die sluiten netjes aan op het idee van samenstellen uit bestanden:

1. text_to_video — pure beschrijving, geen bestanden. De terugvaloptie als je vanaf nul begint.
2. image_to_video — een stilstaand beeld tot leven wekken. Het meest gebruikte startpunt: een sterke afbeelding wordt het eerste frame van de beweging.
3. reference_to_video — een onderwerp of stijl uit een referentie meenemen naar een nieuwe generatie.
4. edit — de conversationele modus met geheugen, die de vorige clip herziet en behoudt wat je niet hebt veranderd.

De bedoelde werkwijze rijgt ze aaneen: genereer of animeer een basis met een van de eerste drie, stap dan over op edit en verfijn in gesprek. Dat is dezelfde vorm als Google’s eigen koppeling van Nano Banana 2 Lite aan Omni Flash — bewerk een stilstaand beeld, animeer het daarna — uitgebreid over meerdere beurten.

De audionuance, uitgeschreven

Omdat audio niet aangeleverd kan worden, wordt sounddesign een schrijftaak. Het model produceert dialoog, effecten en omgevingsgeluid op basis van wat je prompt beschrijft — “gentle rain on a window, no music” of “a single soft click, then room tone”. Je krijgt betekenisvolle controle, maar het is beschrijvende controle, en dat betekent twee dingen voor je planning:

• Moet de gegenereerde video aansluiten op een bestaand spoor — een gelicentieerd nummer, een merksting, een opgenomen voice-over — dan gebeurt die synchronisatie in een aparte audiostap, niet binnen Omni Flash.
• Heb je alleen passend, origineel geluid nodig, dan kom je er zonder upload als je het goed beschrijft in de prompt.

Waar OmniArt vandaag staat

Op de workflow van samenstellen uit bestanden hoef je niet te wachten tot Omni Flash zover is — hij draait al op de modellen die live staan in de videowerkruimte van OmniArt, en op één punt gaan die verder.

Seedance 2.0, nu beschikbaar op OmniArt, is precies rond dit idee gebouwd: het accepteert tot negen afbeeldingen, drie videoclips en — opvallend genoeg — drie audiobestanden in één prompt, elk aan een rol gekoppeld met de syntax @image1 / @video1 / @audio1. Daar zit dus de audioreferentie bij die Omni Flash achterhoudt. Als je briefing ervan afhangt dat je het model een specifiek geluid meegeeft, bestaat die route vandaag al.

En de richting is duidelijk in het hele veld: Seedance 2.5, aangekondigd in juni, duwt dezelfde referentiearchitectuur door naar wel 50 multimodale invoeren tegelijk. Any-to-any-invoer is geen verhaal van één model — het is de kant die geregisseerde AI-video op gaat. Omni Flash gaf het idee een naam; de werkruimte laat je het nu al oefenen.

Open de videowerkruimte op OmniArt, stel je referentieset samen en laat de bestanden de look en de beweging dragen terwijl je woorden de intentie dragen. Dat is de any-to-any-briefing, en die is er nu.