Wejście any-to-any w Gemini Omni Flash: co naprawdę potrafi

Słowem, które przy premierze Gemini Omni Flash dźwigało najwięcej, było „Omni” — obietnica jednego modelu, któremu podasz naraz tekst, obrazy, audio i wideo w jednym prompcie. To naprawdę inna propozycja niż jednowejściowe modele wideo sprzed niego i to dzięki niej model zasługuje na swoją nazwę. Wersja, która trafiła do API dla deweloperów, jest jednak węższa niż ujęcie z keynote'u, a ta różnica ma znaczenie, jeśli planujesz wokół modelu prawdziwą pracę.

Ten tekst oddziela to, co any-to-any realnie ci dziś daje, od tego, co pozostaje na razie aspiracją — a potem przechodzi do ciekawszej sprawy: jak wejście multimodalne w ogóle zmienia sposób pisania briefu.

Co naprawdę znaczy „any-to-any”

Większość modeli wideo przyjmuje jeden rodzaj sterowania. Piszesz tekst albo podajesz pojedynczy obraz referencyjny i model pracuje na tym. Wejście any-to-any oznacza, że jedna gramatyka promptu przyjmuje kilka modalności naraz i zwraca spójny wynik, który respektuje je wszystkie: kadr referencyjny na wygląd, krótki klip na ruch i pisemną reżyserię na całą resztę — razem, a nie do wyboru.

Przejście prowadzi od opisywania ujęcia słowami do komponowania go z materiałów. To jest ta prawdziwa zdolność i dlatego „omnimodalność” nie jest czystym marketingiem. Pytanie brzmi, ile z niej faktycznie działa.

Zapowiedź kontra wydane API

Oto uczciwa macierz dla obecnej wersji zapoznawczej, prosto z dokumentacji samego API:

Trafny odczyt jest więc taki: any-to-any to dziś tekst + obraz + wideo na wejściu, wideo (z wygenerowanym dźwiękiem) na wyjściu. Połowa obietnicy omnimodalnej dotycząca audio na wejściu została świadomie wstrzymana — spójnie z edycją mowy w wideo i funkcjami awatarów, które Google zatrzymało na premierę ze względów bezpieczeństwa. To realna zmiana możliwości wobec modeli jednowejściowych; po prostu nie jest to jeszcze pełny obraz any-to-any-to-any, który sugeruje nazwa.

Co wejście multimodalne zmienia w briefie

Kiedy zaczynasz komponować z materiałów zamiast opisywać prozą, sam brief zmienia kształt. Trzy wejścia wykonują różne zadania, a cała umiejętność polega na przypisaniu każdemu tego, w czym jest najlepsze:

• Obraz referencyjny niesie wygląd — temat, paletę, kadrowanie, które już ci się podoba.
• Wideo referencyjne niesie ruch — jazdę kamery albo akcję, której chcesz echa.
• Tekst niesie intencję i wszystko, czego materiały jeszcze nie pokazują — nastrój, zmiany, to, czego nie ma w żadnej z referencji.

Praktyczny skutek jest taki, że przestajesz próbować przetłumaczyć obraz na przymiotniki. Zamiast pisać „a warm, shallow-depth close-up with a slow push-in”, podajesz kadr, który już tak wygląda, i klip, który już tak się porusza, a słowa wydajesz na to, co nowe. Dla każdego, kto walczył z opisaniem konkretnej estetyki tekstem, to właśnie jest odblokowanie przebiegu pracy.

Cztery tryby zadań i to, jak się łączą

API wystawia cztery typy task i mapują się one czysto na ideę komponowania z materiałów:

1. text_to_video — czysty opis, bez materiałów. Wyjście awaryjne, kiedy zaczynasz od zera.
2. image_to_video — ożywienie kadru. Najczęstszy punkt wejścia: mocny obraz staje się pierwszą klatką ruchu.
3. reference_to_video — przeniesienie tematu albo stylu z referencji do nowego generowania.
4. edit — konwersacyjny tryb ze stanem, który poprawia poprzedni klip, zachowując to, czego nie zmieniasz.

Zamierzony przebieg łączy je w łańcuch: wygeneruj albo ożyw bazę jednym z pierwszych trzech, a potem przejdź do edit i dopracowuj rozmową. To ten sam kształt, co w samym duecie Nano Banana 2 Lite i Omni Flash od Google — edytujesz kadr, potem go ożywiasz — rozciągnięty na kolejne tury.

Niuans audio, rozpisany

Skoro audio nie da się dostarczyć, projektowanie dźwięku staje się zadaniem pisarskim. Model tworzy dialog, efekty i tło na podstawie tego, co opisuje twój prompt — „gentle rain on a window, no music” albo „a single soft click, then room tone”. Dostajesz sensowną kontrolę, ale jest to kontrola opisowa, co oznacza dwie rzeczy przy planowaniu:

• Jeśli twój projekt wymaga, żeby wygenerowane wideo pasowało do istniejącej ścieżki — licencjonowanego utworu, dżingla marki, nagranego lektora — ta synchronizacja dzieje się w osobnym kroku dźwiękowym, a nie wewnątrz Omni Flash.
• Jeśli potrzebujesz po prostu pasującego, oryginalnego dźwięku, dobry opis w prompcie dowiezie cię bez żadnego wgrywania.

Gdzie dziś stoi OmniArt

Na przebieg pracy oparty na komponowaniu z materiałów nie musisz czekać na Omni Flash — działa już na modelach dostępnych w przestrzeni wideo OmniArt, a pod jednym względem idą one dalej.

Seedance 2.0, dostępny w OmniArt już teraz, zbudowano dokładnie wokół tej idei: przyjmuje w jednym prompcie do dziewięciu obrazów, trzech klipów wideo i — co istotne — trzech plików audio, każdy przypisany do roli składnią @image1 / @video1 / @audio1. To obejmuje audio referencyjne, którego Omni Flash nie udostępnia. Jeśli twój brief zależy od podania modelowi konkretnego dźwięku do pracy, ta droga istnieje już dziś.

Kierunek marszu widać zresztą w całej branży: Seedance 2.5, ogłoszony w czerwcu, rozpycha tę samą architekturę referencji aż do 50 wejść multimodalnych naraz. Wejście any-to-any nie jest historią jednego modelu — to kierunek, w którym zmierza reżyserowane wideo AI. Omni Flash nazwał ideę; przestrzeń tworzenia już pozwala ją ćwiczyć.

Otwórz przestrzeń wideo w OmniArt, złóż swój zestaw referencji i pozwól materiałom nieść wygląd oraz ruch, a swoim słowom — intencję. To właśnie brief any-to-any, dostępny już teraz.