AI 视频生成如何运作：从文字和参考图到连续画面

AI 视频生成不只是提示词#

AI 视频生成依据学到的规律和你提供的指令，造出一个可能的运动场面。提示词总会留下未明确的细节：袖子怎么折、手后面藏着什么、反光会走到哪里。看清这些空隙，你才能导演并审看一个镜头。工作台里的具体步骤，见第一支视频指南。

设想修理台上有一只虚构的发条鸟。你希望黄铜翅膀抬起，同时摄影机保持不动。这是一次未实测的概念练习，没有附带任何已生成的示范。我们用这个瞬间，把经常混在一起的五个概念拆开。

条件给模型证据#

条件是指提供会影响生成的信息。文字可以点明一个动作，图片可以确立外观。这些输入必须先变成数值，模型才能使用。在已发表的 Video Diffusion Models 研究 (在新标签页中打开)里，条件与正在被细化的带噪视频一起进入网络。这描述的是一种有文献记录的设计，不是每一家商业模型的实现。

对这只鸟来说，“黄铜翅膀”说的是材料和部件。一张参考图还可以显示铰链位置和划痕。两者都不会告诉模型，看不见的机构究竟怎么动。先决定每项要求由哪一份证据承担：外观交给图片，你要求的变化交给提示词。

这段原创指示让鸟与垫子的接触始终可见。即使金属看起来很吸引人，鸟一旦漂起来，你也有具体的理由拒绝它。

采样造出一个结果，检索是找到一个#

检索是找到已有的东西，像在素材库里搜一段影像。采样是从模型学到的分布里产出一个结果，也就是模型学到的一系列可能情况。按 Ho 与合作者的论文 (在新标签页中打开)所写的扩散做法，生成从噪声开始，在给定条件下反复细化，直到成为一段视频。

这个区别在给反馈时很要紧。在资料库里，“找出翅膀抬起来的那条”说得通。在生成里，你必须先定义怎样的抬起才算能用，再去检查这一版片段。采样也不确立原创性或权利许可；它描述的是机制，不是授权。

扩散只是一种有文献记录的做法，不能稳妥地假定每个模型都如此。Stable Video Diffusion (在新标签页中打开)描述的是在压缩视觉表示里生成，并在图像模型基础上加上时间层。单看产品界面，看不出它的架构。

时间一致性是变化之中仍然对得上#

时间一致性是指细节随时间推移仍然彼此相容。翅膀的角度在变，铰链应当还在；鸟的影子应当跟着这个运动走。Ho 与合作者描述的时间注意力，是把各帧之间的信息连起来。一段视频不必先生成互不相关的画面，再事后拼接。可看该研究的架构 (在新标签页中打开)。

审看时跟着一个固定的观察点走，不要只评整体好不好看。从第一帧追到最后一帧，看铰链还在不在。再看脚有没有贴着垫子。开头和结尾都像那么回事，中间仍可能断掉：翅膀短暂脱离，然后又回来。所以完整播放，和挑一张缩略图，是两种不同的检验。

随机性解释差异，解释不了每一次失败#

在扩散流程里，随机值会影响起始噪声。如果所用工具提供 Seed 设置，Seed 就控制这条随机序列。Hugging Face 的可复现文档 (在新标签页中打开)说明，即使 Seed 相同，执行条件一变，结果仍不能保证一致。

把再跑一次当成另一版片段，不是一条纠正指令。如果好几条都把翅膀放在错误的一侧，先检查参考图的角度和措辞，再要求更多条。留下输入和设置记录，才能分清你改的是要求，还是只是在试另一种可能。Seed 无法充当可复用的角色身份标识。

为什么参考图不能保证这个镜头#

一张静照只给出某一瞬间的一个视角。这只鸟的底面、被挡住的铰链，以及接下来翅膀会到的位置，都不在里面。实际推论很直接：模型必须补上这份证据之外的细节。要求一个反打角度，会比保持现有视角引入更多未知。

修改之前先把要求分开。如果开场剪影就不对，重新考虑输入。如果身份还在、翅膀却在空转，就把动作简化。如果镜头在摄影机绕到背后之前都成立，可以考虑固定机位。这些是收窄不确定性的办法，不能保证模型完全按要求生成。