Gemini Omni Flash 任意模态输入：它真正能做什么

在 Gemini Omni Flash 的发布中，扛起最重分量的词是"Omni"——它承诺一款模型能同时接收文本、图像、音频和视频，全部装进一个提示词里。这与在它之前的单输入视频模型是截然不同的定位，也是它配得上这个名字的原因。但实际在开发者 API 中上线的版本，比主题演讲里的框架更窄，而如果你打算围绕它规划真正的工作，这道落差就很关键。

本文把任意模态如今真正给你带来的能力，与仍停留在愿景里的部分区分开——然后落到更有用的那个点上：多模态输入究竟如何改变你写一份简报的方式。

"任意模态"究竟意味着什么

大多数视频模型只接受一种引导方式。你写文字，或者提供一张参考图，模型据此工作。任意模态输入意味着同一套提示语法能同时接受多种模态，并返回一个尊重所有输入的连贯结果：一张定调外观的参考帧、一段提供运动的短片，加上一份负责其余一切的文字指令——是"合并"，而不是"二选一"。

这个转变，是从用文字描述一个镜头，转向用素材构图出一个镜头。这才是真正的能力，也是"多模态"并非纯营销的原因。问题在于：其中有多少已经上线。

宣传口径 vs 实际上线的 API

以下是当前公测版本的诚实矩阵，直接取自 API 自己的文档：

所以准确的解读是：如今的任意模态是文本 + 图像 + 视频进，视频（附生成的音频）出。多模态承诺里"音频进"的那一半，是被刻意保留的——这与 Google 在发布时出于安全考虑而按下不发的视频内语音编辑与数字人功能一致。相比单输入模型，它确实带来了实打实的能力升级；只是还没达到名字所暗示的那种完整的"任意到任意到任意"图景。

多模态输入改变了简报的哪些环节

一旦你从"用散文描述"转向"从素材构图"，简报本身的形态就变了。三种输入各司其职，而技巧就在于把每一种都分派到它最擅长的事情上：

• 图像参考承载外观——你已经中意的主体、色调、构图。
• 视频参考承载运动——你想要复现的一次运镜或一个动作。
• 文本承载意图，以及素材本身没有呈现的一切——氛围、改动，那些两份参考里都没有的东西。

实际效果是，你不再费力把一张画面翻译成一堆形容词。与其写"a warm, shallow-depth close-up with a slow push-in"，不如直接提供那张本就长成这样的画面帧，以及那段本就这样运动的片段，把你的文字全花在"什么是新的"上。对任何曾为"用文字描述某种特定美学"而苦苦挣扎的人来说，这就是工作流上的解放。

四种任务模式，以及它们如何组合

这个 API 暴露了四种 task 类型，它们干净地映射到"从素材构图"的思路上：

1. text_to_video——纯描述，无素材。当你从零开始时的兜底方案。
2. image_to_video——让一张静图动起来。最常见的入口：一张有力的图像成为运动的首帧。
3. reference_to_video——把一个主体或一种风格从参考中带入一次新的生成。
4. edit——那种对话式、带状态的模式，在保留你未改动部分的同时修订先前的片段。

设计好的流程会把它们串起来：先用前三种之一生成或动画化一个基础片段，然后进入 edit 做对话式打磨。这与 Google 自家 Nano Banana 2 Lite 搭配 Omni Flash 的组合是同一种形态——先编辑一张静图，再让它动起来——只是扩展到了多个轮次。

把音频的微妙之处讲清楚

因为音频无法提供，声音设计就成了一项写作任务。模型会根据你提示词的描述产出对白、音效和环境声——"gentle rain on a window, no music"或"a single soft click, then room tone"。你确实拿到了有意义的控制权，但那是描述性的控制，这对规划意味着两件事：

• 如果你的项目需要生成的视频去匹配一段已有的音轨——一首授权歌曲、一段品牌音效签名、一段录制好的旁白——那么这个同步要放在一个独立的音频步骤里完成，而不是在 Omni Flash 内部。
• 如果你只是需要贴合的、原创的声音，把它在提示词里描述好，无需上传就能达成。

OmniArt 如今所处的位置

"从素材构图"这套工作流，你不必等到 Omni Flash 才能尝试——它已经运行在 OmniArt 视频工作台里那些上线的模型上，而且在某一点上它们走得更远。

Seedance 2.0 现已在 OmniArt 上线，它正是围绕这一思路打造：在单个提示词中最多可接受九张图像、三段视频片段，以及——尤为关键的——三个音频文件，每一项都用 @image1 / @video1 / @audio1 语法绑定到一个角色。这里面就包含了 Omni Flash 所保留的音频参考输入。如果你的简报依赖于喂给模型一段特定的声音去配合，那么这条路径今天就已存在。

而整个领域的走向十分清晰：Seedance 2.5 于 6 月公布，把同一套参考架构推到了单次最多 50 个多模态输入。任意模态输入并非一家一款的故事——它是定向 AI 视频正在前进的方向。Omni Flash 为这个理念命了名；而工作台早已让你能够动手练习它。

打开 OmniArt 上的视频工作台，把你的参考素材集组装起来，让素材承载外观与运动、让文字承载意图。这就是任意模态的简报，现在就能用上。