ワンパスでネイティブ音声を生成: Grok Imagine 1.5 の対話・リップシンク・環境音

ほとんどの AI 動画モデルは無音クリップを生成します。動画をエクスポートして DAW や別の音声ツールに読み込み、異なるプロバイダーから台詞・環境音・音楽を調達してタイムライン上で合わせ、同期が保たれることを祈るしかありません。Grok Imagine 1.5 はそのパイプラインを丸ごと不要にします。音声 — 対話、リップシンク、効果音、環境音レイヤー — が動画フレームと同じ推論パスで生成されます。届いたクリップはすでに自分の音を持っています。このガイドでは、ネイティブ音声の仕組み、1.0 から 1.5 への改善点、そしてモデルが実際に活用するようにプロンプトにサウンドを書き込む方法を解説します。

ネイティブ音声生成の仕組み

従来の AI 動画モデルはサウンドを後処理ステップとして扱います。まずビデオトークンが生成され、その後音声モデルが結果に対して実行され、すでにレンダリングされた映像に音を合わせようとします。2つのパスが独立しているため、タイミングのずれが頻繁に起きます。ドアが1フレーム早く閉まったり、台詞が誤ったタイミングで息継ぎをしたり、環境音レイヤーがシーン切り替えに反応しなかったりします。

Grok Imagine 1.5 は、単一の推論パスでビデオと音声のトークンを同時に生成します。モデルはどんな音をいつ鳴らすかを決める際に、完全なシーンコンテキスト — 構図、キャラクターの動き、照明の雰囲気 — をすべて参照します。口の動きは音声波形と並行して形成され、後から重ねて合わせるのではありません。環境音レイヤーは、すでにエクスポートされたフレームを事後解釈するのではなく、モデルが構築中の視覚環境に応答します。

1.0 から 1.5 への変化

Grok Imagine 1.0 にもネイティブ音声はありましたが、2つの一貫した問題がありました。対話のタイミングが機械的で、キャラクターがメトロノームのような一定ペースで話し、自然な間・語調の起伏・文単位のイントネーションがありませんでした。環境音レイヤーは画一的で、繁華街のシーンに視覚的密度・天気・時間帯に関係なく、汎用的な群衆雑音が当てられました。

Grok Imagine 1.5 はどちらも改善しています。台詞の発話が文のリズムを尊重するようになりました。短い言葉は素早く届き、感情的な場面はわずかに遅くなり、疑問文の末尾には耳で聞き取れる上昇イントネーションがあります。環境音レイヤーはシーンに応答するようになりました。雨に濡れた夜市と乾いた昼の市場では異なるサウンドになります。モデルが生成している視覚的手がかりを読み取り、それに合わせて音声ミックスを調整するためです。

アリーナランキングが改善を裏付けています。Grok Imagine 1.5 は 1.0 比で +52 Elo を獲得し、Image-to-Video Arena のブラインドテストで1位を獲得。Seedance 2.0、HappyHorse 1.0、Google Veo を上回りました。Aurora エンジンがフレームを順次処理する方式が、音声パスが有効な同期を生成するのに十分なモーションの一貫性を実現しています。

プロンプトにサウンドを書き込む方法

自然言語プロンプトでサウンドを指示するには、いくつかの一貫したパターンがあります。モデルは音声の手がかりを独立した指示ブロックではなくシーン描写の一部として扱います。そのため、撮影描写の後ではなく、その中にサウンドを組み込んでください。

台詞と発話スタイルを明示する

モデルが適切な言葉を自分で考え出すと仮定しないでください。台詞を明示的に書き、発話の注釈を添えてください。

効果的な発話注釈: 温かい、切迫した、無感動で疲れた、少し息切れした、静かだが毅然とした。形容詞は通常ひとつで十分です。2つ以上になると矛盾し始めます。

環境音レイヤーを明示的に指定する

環境音を指定しないと、モデルは汎用的なものを選びます。レイヤー名 — 相対的な音量も含めて — を明示すると、モデルに具体的な目標を与えられます。

「料理人が皿に盛り付けるクローズアップ: 背景でフライパンの焼き音、静かな厨房の換気音、磁器の上でスプーンが鳴る音、音楽なし。」

音楽なし は効果音と室内音だけでシーンを成立させたいときに有効です。書かないと、モデルが軽いスコアを加えることがあります。

テンポと間を描写する

間は音声イベントです。キャラクターが答える前に一瞬ためらうとき、または効果音が鳴る前に2拍の沈黙が必要なとき、明示してください。

「彼女が手紙を見つめ、2秒の沈黙、それから鋭く息を吐く。」

自動スコアリングか制御かを決める

音楽に言及しないと、Grok Imagine 1.5 はクリップに雰囲気に合った音楽を自動的に付ける場合があります。感情的なシーンには軽い弦楽器、アクションには力強いリズムといった具合です。手早いソーシャル用ドラフトには有効です。精密な作業 — 無音を望む場合、特定のジャンルが必要な場合、カットのタイミングにビートを合わせたい場合 — には明示的に制御してください。ジャンル・テンポ感を指定するか、バックグラウンドミュージックなし と書いてオフにしてください。

3つの制作シーン

以下の例は、実際のプロンプトパターンを示します。各例には視覚設定、音声指示、ネイティブ音声パスが生成するものが含まれます。

シーン1: リップシンク付き対話クローズアップ

目標: キャラクターがカメラに向かって一言を発します。別録りの声ではなく、クリーンなリップシンクと自然な発話が必要です。

プロンプト:

「キッチンのテーブルに座る30代後半の女性のミディアムクローズアップ、左の窓から朝の光が差し込む。彼女がカメラを真っ直ぐ見て『こんなに時間がかかるとは思っていなかった』と疲れながらも率直な口調で言う — 『思っていなかった』の前でわずかに間を取り、最後は声が下がる。背景: 低い冷蔵庫のうなり音、音楽なし。」

期待される結果: モデルが対話の音声と口の動きを同じパスで生成します。文の中間の間が音声波形と見えるリップの動き両方を形成します。冷蔵庫のうなり音は対話と競合せず、低いレベルで下に敷かれます。

調整方法: 発話が平板すぎる場合は、発話注釈に 感情的な重み を加えてください。うなり音が目立ちすぎる場合は、前に ほぼ聞こえないほどの を追加してください。

シーン2: 多層的な環境アトモスフィア

目標: 雨に濡れた夜市 — 対話なし、純粋な雰囲気。単一のループ音源ではなく、層をなして物理的な存在感のある音声が必要です。

プロンプト:

「激しい雨の中、賑やかな夜市をゆっくりとドリーで抜ける。水たまりに映るネオンサイン、屋台から立ち上る湯気。音声レイヤー: キャンバスのひさしに当たる激しい雨音（最上層）、近くの屋台からの炒め物の音、遠くにこもった群衆のざわめき、音楽なし。親密感を保てるほど静かに、圧倒的にならないように。」

期待される結果: モデルが視覚的なシーン — ひさし、屋台、群衆の密度 — を構築しているため、音声パスでそれらの要素に応答できます。フレーム内に見える屋台の炒め音は、空間的に遠く配置された群衆音より大きくなる傾向があります。

調整方法: 質感を増すなら 近接マイクの雨粒の音 を追加してください。 遠くの行商人の呼び込み声 を指定すると、正式な対話なしに物語的な音声要素を加えられます。

シーン3: 音楽主導のビート

目標: ダンサーの動きが特定のリズム感と同期する必要があります。偶発的にではなく、クリップのデザインの中心として。

プロンプト:

「暗いスタジオの木製フロアを叩くダンサーの足のスローモーションクローズアップ、真上から単独のスポットライト。足が落ちるたびにビートに合う。音声: 約120 BPM のドライビングなミニマルテクノ、足が落ちる衝撃音がビートにミックスされ、物理的な音と音楽が同じひとつの出来事のように感じられる。環境の室内音なし — 密で乾いた音響。」

期待される結果: モデルが音楽を生成し、足の衝撃をその中のリズム音声イベントとして扱います。動きと音声が同時に生成されるため、各動作の視覚的タイミングがビートに合う確率は、2パスのワークフローより高くなります。

調整方法: ジャンルを指定して雰囲気を変えてください — ミニマルハウス、オーケストラ打楽器、90 BPM のヒップホップ。乾いた音響が無機質に感じられる場合は わずかな室内リバーブ を加えてください。

ベストプラクティスまとめ

OmniArt クレジット費用

ネイティブ音声は1秒あたりの追加費用なしで含まれます。クレジット料金は通常の Grok Imagine 生成と同じです。

720p での 10 秒の対話シーンは 150 クレジットです。480p での 12 秒の環境アトモスフィアシーンは 120 クレジットです。音声の指示を反復調整している場合 — 発話注釈や環境音レイヤーの説明を変えながら — まず 480p で始めてください。費用が3分の1少なく、残したいテイクだけを高解像度にアップスケールすれば済みます。

OmniArt ではじめる

Grok Imagine 1.5 は OmniArt のビデオワークスペースでライブラリのすべてのモデルと並んで利用できます。同じクレジット残高、同じプロンプトインターフェース、xAI の別途サブスクリプション不要です。ネイティブ音声の可能性を学ぶ最速の方法は、テキストから動画のプロンプトに台詞を1行書き込み、モデルがどう処理するかを確認してから、そこで繰り返すことです。

Grok Imagine の生成モード・料金・他のモデルとの使い分けについては、Grok Imagine クリエイターガイドをご覧ください。動画生成パスの外で追加の効果音・環境音・音楽を調達したい場合は、AI 効果音ジェネレーターガイドで OmniArt の専用音声モデルを解説しています。