ワンパスでネイティブ音声を生成: Grok Imagine 1.5 の対話・リップシンク・環境音

ほとんどの AI 動画モデルは無音クリップを生成します。動画をエクスポートして DAW や別の音声ツールに読み込み、異なるプロバイダーから台詞・環境音・音楽を調達してタイムライン上で合わせ、同期が保たれることを祈るしかありません。Grok Imagine 1.5 はそのパイプラインを丸ごと不要にします。音声 — 対話、リップシンク、効果音、環境音レイヤー — が動画フレームと同じ推論パスで生成されます。届いたクリップはすでに自分の音を持っています。このガイドでは、ネイティブ音声の仕組み、1.0 から 1.5 への改善点、そしてモデルが実際に活用するようにプロンプトにサウンドを書き込む方法を解説します。

ネイティブ音声生成の仕組み

従来の AI 動画モデルはサウンドを後処理ステップとして扱います。まずビデオトークンが生成され、その後音声モデルが結果に対して実行され、すでにレンダリングされた映像に音を合わせようとします。2つのパスが独立しているため、タイミングのずれが頻繁に起きます。ドアが1フレーム早く閉まったり、台詞が誤ったタイミングで息継ぎをしたり、環境音レイヤーがシーン切り替えに反応しなかったりします。

Grok Imagine 1.5 は、単一の推論パスでビデオと音声のトークンを同時に生成します。モデルはどんな音をいつ鳴らすかを決める際に、完全なシーンコンテキスト — 構図、キャラクターの動き、照明の雰囲気 — をすべて参照します。口の動きは音声波形と並行して形成され、後から重ねて合わせるのではありません。環境音レイヤーは、すでにエクスポートされたフレームを事後解釈するのではなく、モデルが構築中の視覚環境に応答します。

1.0 から 1.5 への変化

Grok Imagine 1.0 にもネイティブ音声はありましたが、2つの一貫した問題がありました。対話のタイミングが機械的で、キャラクターがメトロノームのような一定ペースで話し、自然な間・語調の起伏・文単位のイントネーションがありませんでした。環境音レイヤーは画一的で、繁華街のシーンに視覚的密度・天気・時間帯に関係なく、汎用的な群衆雑音が当てられました。

Grok Imagine 1.5 はどちらも改善しています。台詞の発話が文のリズムを尊重するようになりました。短い言葉は素早く届き、感情的な場面はわずかに遅くなり、疑問文の末尾には耳で聞き取れる上昇イントネーションがあります。環境音レイヤーはシーンに応答するようになりました。雨に濡れた夜市と乾いた昼の市場では異なるサウンドになります。モデルが生成している視覚的手がかりを読み取り、それに合わせて音声ミックスを調整するためです。

アリーナランキングが改善を裏付けています。Grok Imagine 1.5 は 1.0 比で +52 Elo を獲得し、Image-to-Video Arena のブラインドテストで1位を獲得。Seedance 2.0、HappyHorse 1.0、Google Veo を上回りました。Aurora エンジンがフレームを順次処理する方式が、音声パスが有効な同期を生成するのに十分なモーションの一貫性を実現しています。

プロンプトにサウンドを書き込む方法

自然言語プロンプトでサウンドを指示するには、いくつかの一貫したパターンがあります。モデルは音声の手がかりを独立した指示ブロックではなくシーン描写の一部として扱います。そのため、撮影描写の後ではなく、その中にサウンドを組み込んでください。

台詞と発話スタイルを明示する

モデルが適切な言葉を自分で考え出すと仮定しないでください。台詞を明示的に書き、発話の注釈を添えてください。

効果的な発話注釈: warm、urgent、flat and tired、slightly breathless、quiet but firm。形容詞は通常ひとつで十分です。2つ以上になると矛盾し始めます。

環境音レイヤーを明示的に指定する

環境音を指定しないと、モデルは汎用的なものを選びます。レイヤー名 — 相対的な音量も含めて — を明示すると、モデルに具体的な目標を与えられます。

「Close-up of a chef plating a dish: the sizzle of the pan in the background, quiet kitchen ventilation, the clink of a spoon on porcelain, no music.」

no music は効果音と室内音だけでシーンを成立させたいときに有効です。書かないと、モデルが軽いスコアを加えることがあります。

テンポと間を描写する

間は音声イベントです。キャラクターが答える前に一瞬ためらうとき、または効果音が鳴る前に2拍の沈黙が必要なとき、明示してください。

「She looks at the letter, two seconds of silence, then exhales sharply.」

自動スコアリングか制御かを決める

音楽に言及しないと、Grok Imagine 1.5 はクリップに雰囲気に合った音楽を自動的に付ける場合があります。感情的なシーンには軽い弦楽器、アクションには力強いリズムといった具合です。手早いソーシャル用ドラフトには有効です。精密な作業 — 無音を望む場合、特定のジャンルが必要な場合、カットのタイミングにビートを合わせたい場合 — には明示的に制御してください。ジャンル・テンポ感を指定するか、no background music と書いてオフにしてください。

3つの制作シーン

以下の例は、実際のプロンプトパターンを示します。各例には視覚設定、音声指示、ネイティブ音声パスが生成するものが含まれます。

シーン1: リップシンク付き対話クローズアップ

目標: キャラクターがカメラに向かって一言を発します。別録りの声ではなく、クリーンなリップシンクと自然な発話が必要です。

プロンプト:

「Medium close-up of a woman in her late 30s at a kitchen table, morning light from a window to her left. She looks directly at camera and says 'I didn't think it would take this long' with a tired, honest delivery — slight pause after 'think', voice dropping at the end. Background: low refrigerator hum, no music.」

期待される結果: モデルが対話の音声と口の動きを同じパスで生成します。文の中間の間が音声波形と見えるリップの動き両方を形成します。冷蔵庫のうなり音は対話と競合せず、低いレベルで下に敷かれます。

調整方法: 発話が平板すぎる場合は、発話注釈に emotional weight を加えてください。うなり音が目立ちすぎる場合は、前に barely audible を追加してください。

シーン2: 多層的な環境アトモスフィア

目標: 雨に濡れた夜市 — 対話なし、純粋な雰囲気。単一のループ音源ではなく、層をなして物理的な存在感のある音声が必要です。

プロンプト:

「Slow dolly through a busy night market in heavy rain. Neon signs reflecting in puddles, steam rising from food stalls. Audio layers: heavy rain on canvas awnings (top layer), sizzling woks from nearby stalls, muffled crowd chatter in the distance, no music. Quiet enough to feel intimate, not overwhelming.」

期待される結果: モデルが視覚的なシーン — ひさし、屋台、群衆の密度 — を構築しているため、音声パスでそれらの要素に応答できます。フレーム内に見える屋台の炒め音は、空間的に遠く配置された群衆音より大きくなる傾向があります。

調整方法: 質感を増すなら close-mic'd rain drops を追加してください。 a distant vendor calling out を指定すると、正式な対話なしに物語的な音声要素を加えられます。

シーン3: 音楽主導のビート

目標: ダンサーの動きが特定のリズム感と同期する必要があります。偶発的にではなく、クリップのデザインの中心として。

プロンプト:

「Slow-motion close-up of a dancer's feet hitting a wooden floor in a dark studio, single overhead spotlight. Each footfall lands on a beat. Audio: driving minimal techno at roughly 120 BPM, the impact of each footfall mixed into the beat so the physical sound and the music feel like the same event. No ambient room noise — tight, dry acoustics.」

期待される結果: モデルが音楽を生成し、足の衝撃をその中のリズム音声イベントとして扱います。動きと音声が同時に生成されるため、各動作の視覚的タイミングがビートに合う確率は、2パスのワークフローより高くなります。

調整方法: ジャンルを指定して雰囲気を変えてください — minimal house、orchestral percussion、hip-hop at 90 BPM。乾いた音響が無機質に感じられる場合は slight room reverb を加えてください。

ベストプラクティスまとめ

OmniArt クレジット費用

ネイティブ音声は1秒あたりの追加費用なしで含まれます。クレジット料金は通常の Grok Imagine 生成と同じです。

720p での 10 秒の対話シーンは 150 クレジットです。480p での 12 秒の環境アトモスフィアシーンは 120 クレジットです。音声の指示を反復調整している場合 — 発話注釈や環境音レイヤーの説明を変えながら — まず 480p で始めてください。費用が3分の1少なく、残したいテイクだけを高解像度にアップスケールすれば済みます。

OmniArt ではじめる

Grok Imagine 1.5 は OmniArt のビデオワークスペースでライブラリのすべてのモデルと並んで利用できます。同じクレジット残高、同じプロンプトインターフェース、xAI の別途サブスクリプション不要です。ネイティブ音声の可能性を学ぶ最速の方法は、テキストから動画のプロンプトに台詞を1行書き込み、モデルがどう処理するかを確認してから、そこで繰り返すことです。

Grok Imagine の生成モード・料金・他のモデルとの使い分けについては、Grok Imagine クリエイターガイドをご覧ください。動画生成パスの外で追加の効果音・環境音・音楽を調達したい場合は、AI 効果音ジェネレーターガイドで OmniArt の専用音声モデルを解説しています。