動画から音声を生成する AI：完成した映像を変えずに音をつくり直す

動画から音声を生成する AI は、完成したクリップを入力し、画面に映る動きに合わせて音声をつくります。映像は気に入っているのに音が合わない場合、編集済みの映像をそのまま残し、音だけを別に調整できます。まず決めたいのは、効果音、音楽、台詞、あるいはすべての音のうち、どの層を置き換える必要があるかです。

2026年10月21日時点で、OmniArt には動画から音声を生成するモデル、単体の効果音生成ツール、AI フォーリーツールはありません。対応する動画モデルで映像と同時に音声を生成したり、BGM を別に生成したりして、書き出したファイルを編集ソフトでミックスできます。以下では、別の音声仕上げ工程が役立つ場面を外部ツールの例で説明します。

動画から音声を生成する AI の役割#

この工程では、編集済みの映像を入力し、そのタイミングに合う効果音、環境音、音楽のいずれか、または組み合わせを生成します。足音、ドアの動き、場面転換が音のきっかけになります。文章で単独の音を指定してから自分で配置する方法とも、新しい映像と一緒に生成される音声とも異なります。

演技やカメラワークがすでに狙いどおりなら、映像を固定できることには意味があります。不要な音楽の盛り上がりを直そうと再生成すると、残したかったカットまで変わる可能性があります。音声だけを別に生成すれば、新たな映像テイクを求めずに音を修正できます。ただし、試聴とミックスは必要です。

同じ分類のツールでも、出力は共通ではありません。フォーリーや環境音に重点を置くものもあれば、効果音を含む音楽をつくるものもあります。選ぶ前に、音声の保持が必要なのか、編集可能なトラックが必要なのか、背景音楽だけでよいのかを確認しましょう。

2026年10月の2つの例#

以下の機能は、2026年10月21日に確認したプロバイダー発表に基づきます。OmniArt の機能ではなく、当方の実機テスト結果でもありません。

Mirelo SFX 2.0#

Mirelo の10月14日の発表 (新しいタブで開きます)では、台詞以外の音を効果音や環境音に置き換えながら、発話とカット間の連続性を保持すると説明しています。製品 FAQ (新しいタブで開きます)によると、発話の保持は初期設定で有効です。これは台詞保持の主張であり、元の録音が無加工で残るという保証ではありません。ブログでは発話の再生成、FAQ では発話の分離と説明されています。

公開中の発表は、動画からの音声生成とテキストからの音声生成を区別し、映像に同期する単一音のステム版を近日公開としています。現時点でマルチトラック書き出しが使えるとは確認できません。10月21日時点の Runway モデル一覧 (新しいタブで開きます)には Mirelo SFX 2.0 が掲載され、料金は1分あたり15 Runway クレジットです（プロバイダー発表）。OmniArt の料金でも、現金への換算でもありません。

ElevenLabs Instant Soundtracks#

2026年10月15日公開、10月20日更新の ElevenLabs の発表 (新しいタブで開きます)では、音楽と効果音をタイムライン上に配置する機能を説明しています。短い動画でのタイミングや場面ごとのムード変化が改善され、既存の音声を新しい音楽の参考にすることも可能としています。音声を参照できることは、台詞を保持できるという意味ではありません。

プロバイダーは Video to Music API のパラメーターとして add_sfx、separate_tracks、use_audio_as_reference を挙げています。separate_tracks=true では、音楽と効果音を別ファイルにした ZIP が返るとのことです。これは2種類の出力の分離であり、楽器や効果音ごとのステムを保証するものではありません。

表の制限と利用先は、リンク先の Mirelo FAQ と ElevenLabs 発表に記載された、2026年10月21日時点のプロバイダー情報です。どちらも OmniArt の公開カタログにはありません。

ブラインドテストでわかること、わからないこと#

Mirelo は2026年10月14日に以下の結果を公開しました。各行は、同社が実施したブラインドテストの3つの回答の割合をすべて示しており、10月21日に確認しています。これは聴き手の好みであり、正解率や独立した順位表ではありません。出典と手法：Mirelo (新しいタブで開きます)。

Mirelo によると、事前審査を通過したクラウドソーシングの評価者25名が、比較ごとに30本の動画を評価しました。音の品質と画面内の出来事との一致を考慮し、引き分けも選べる形式です。2026年10月21日時点で、独立した再現テストは見つかっていません。結果は音の差し替えを試聴する理由にはなりますが、あらゆる条件での勝者を示すものではありません。

競合名に対応する正確なビルドや設定は未確認です。これらの行を OmniArt の似た名前のモデルにそのまま対応させたり、自分の台詞、編集、ミックスでも同じ結果になると考えたりしないでください。好みを問うテストでは、特定の単語がそのまま残ったか、編集ソフトが納品形式を扱えるかもわかりません。

映像と同時に生成する音声と後付け音声の選び方#

編集で何を残す必要があるかから考えましょう。以下は制作工程の提案であり、実測した性能の主張ではありません。

不足しているのが音楽だけなら、効果音をつくり直す必要はないかもしれません。足音が着地とずれているなら、BGM では直せません。発話内容が重要なら、どちらの方法を採用する場合も、元の音と置き換えた音を一行ずつ比較しましょう。

現在の OmniArt での制作工程#

2026年10月21日時点で、OmniArt は Kling O3 Pro、Kling 3.0 Pro、Veo 3.1 Standard、Veo 3.1 Fast などのモデル向けに音声設定を提供しています。動画ワークスペースで対応モデルを選び、音声オプションを有効にして、映像とともに聞こえる出来事を記述します。

これはプロンプトの提案であり、テスト済みの出力でも、不要な音楽が消える保証でもありません。生成結果を確認してから編集の土台にしてください。聞こえる場面の描写方法は、Veo の音声指定ガイドで紹介しています。

音楽には音声ワークスペースを開き、MiniMax Music 3.0 または ElevenLabs Music V2 を選びます。これらの音楽モデルが生成するのは BGM です。対応しているからといって、OmniArt で Instant Soundtracks や動画を条件にした効果音生成が使えるわけではありません。

選んだ映像と音楽を書き出し、編集ソフトで組み合わせ、必要に応じて録音した効果音や使用許諾を得た効果音を配置します。発話の間は音楽を下げ、カット間のつながりを確認してください。動画に音楽を追加するガイドではこの受け渡しを、音声ワークスペースの概要では発話と音楽の対応範囲を説明しています。

現在の OmniArt は、アップロードした完成動画の台詞を保持しながら音楽を置き換えることはできません。それが目的なら、編集を固定した動画のコピーで外部の仕上げツールを評価し、比較用に元の音声も残してください。