影片 轉聲音 AI: 保留 剪好 的 畫面, 重新 設計聲音
新一類工具能分析剪好的影片,產生同步音效、環境聲或配樂。本文說明如何在原生音訊、獨立背景音樂與後期聲音生成之間選擇,以及 OmniArt 目前的適用範圍。

影片轉聲音 AI 從完成剪輯的片段出發,依照畫面中的動作生成音訊。如果你喜歡畫面,卻不滿意聲音,就可以保留剪輯,獨立處理聲音。接下來要判斷的是:需要替換音效、音樂、對白,還是全部聲音?
截至 2026 年 10 月 21 日,OmniArt 沒有影片轉聲音模型、獨立音效生成工具或 AI 擬音工具。你可以用支援的影片模型生成原生音訊,另外生成背景音樂,再將匯出的素材放進剪輯軟體混音。以下外部工具的介紹,能協助你判斷何時適合採用其他後期聲音流程。
影片轉聲音 AI 能做什麼#
影片轉聲音流程以剪輯後的影像為輸入,回傳時間與畫面對應的音效、環境聲及/或音樂。腳步、開關門或換場,都能成為聲音的觸發點。這與先用文字描述聲音、再自行安排位置的文字生成音效不同,也與跟著新生成畫面一起輸出的原生影片音訊不同。
當表演或運鏡已經到位,保留畫面就很重要。若只是為了修正一段不想要的漸強音樂而重新生成,可能連想保留的鏡頭也跟著改變。獨立生成一版聲音,就能在不重做畫面的情況下修改音訊;但仍需要試聽與混音。
同樣稱為影片轉聲音,各工具提供的輸出並不相同。有些著重擬音與環境聲,有些則製作包含音效的配樂。選擇前,先確認你需要的是保留語音、可編輯的音軌,還是只要背景音樂。
2026 年 10 月的兩個例子#
以下能力均為廠商公布的資訊,核對日期為 2026 年 10 月 21 日;它們不是 OmniArt 功能,也不是我們親自測試的結果。
Mirelo SFX 2.0#
Mirelo 於 10 月 14 日發布的公告 (在新分頁中開啟)表示,可用音效與環境聲替換非對白音訊,同時保留語音及鏡頭切換之間的連續性。其產品常見問題 (在新分頁中開啟)表示,語音保留預設開啟。這是保留對白的宣稱,不代表保證原始錄音完全不變:部落格描述的是重新生成語音,常見問題則說是分離語音。
目前的公告也區分了影片轉聲音與文字生成聲音,並將可同步的單一聲音分軌版本標示為即將推出。這不足以證明目前已有多軌匯出功能。截至 10 月 21 日,Runway 模型清單 (在新分頁中開啟)已列出 Mirelo SFX 2.0,費用為每分鐘 15 Runway 點數(廠商公布);這不是 OmniArt 的價格,也不是現金換算。
ElevenLabs Instant Soundtracks#
ElevenLabs 公告 (在新分頁中開啟)於 2026 年 10 月 15 日發布、10 月 20 日更新,說明了在時間軸上編排配樂與音效的功能。廠商表示,它改善了短片的聲音時機與場景情緒變化,也可選擇以現有音訊引導新音樂。將音訊作為參考,不代表能保留對白。
廠商列出的 Video to Music API 參數包含 add_sfx、separate_tracks 與 use_audio_as_reference。依其說明,設定 separate_tracks=true 後,回應會是包含獨立音樂檔與音效檔的 ZIP 壓縮檔。這只是將這兩類輸出分開,不代表每種樂器或每個音效都會有獨立分軌。
| 問題 | Mirelo SFX 2.0 | ElevenLabs Instant Soundtracks |
|---|---|---|
| 輸入 | 剪好的影片;文字生成聲音是獨立版本 | 上傳的影片;可選擇參考現有音訊 |
| 輸出 | 同步音效、擬音與環境聲 | 原創音樂與依時間編排的音效 |
| 保留對白? | 常見問題稱預設開啟;需試聽結果 | 支援參考音訊;尚未證實能保留對白 |
| 獨立分軌? | 單一聲音分軌版本即將推出;不要假設已有多軌匯出 | 透過 separate_tracks=true 取得音樂與音效檔;編輯器內可編輯音效圖層 |
| 限制 | Studio/API 最長 10 分鐘;更長內容需透過 Enterprise 協商 | 每次請求最多 10 支影片,合計不超過 200 MB、10 分鐘 |
| 使用管道 | Mirelo 工具/API,以及 Runway、fal 等合作夥伴 | ElevenCreative Music Video Editor、ElevenMusic 與 Video to Music API |
表中的限制與使用管道均為截至 2026 年 10 月 21 日的廠商資訊,來源為上方連結的 Mirelo 常見問題及 ElevenLabs 公告。兩項服務都不在 OmniArt 的公開目錄中。
盲測能說明什麼,以及無法證明什麼#
Mirelo 於 2026 年 10 月 14 日公布以下結果。每一列都完整列出廠商主辦盲測的三種選擇比例,核對日期為 10 月 21 日;這些是聽眾偏好,不是準確率,也不是獨立排名。來源與方法:Mirelo (在新分頁中開啟)。
| 比較組別 | Mirelo 測試中的競品標籤 | 偏好 Mirelo | 偏好競品 | 無偏好 |
|---|---|---|---|---|
| 影片轉音效 | Sony Woosh | 81% | 9% | 10% |
| 影片轉音效 | Kling Foley | 63% | 18% | 19% |
| 影片轉音效 | Sonilo | 46% | 33% | 21% |
| 原生影片音訊 | Veo 3.1 Fast | 57% | 21% | 22% |
| 原生影片音訊 | MiniMax H3 Max | 49% | 30% | 21% |
| 原生影片音訊 | Flux 3 | 48% | 23% | 29% |
| 原生影片音訊 | Seedance 2.5 | 47% | 28% | 25% |
| 原生影片音訊 | Kling | 45% | 30% | 25% |
依 Mirelo 的說法,每組比較由 25 位經過預先篩選的群眾外包評分者評判 30 支影片,考量音訊品質與畫面事件的契合度,並可選擇平手。截至 2026 年 10 月 21 日,我們未找到獨立重現的測試。這些結果支持你試聽一版新聲音,不能證明某項工具在所有情況下都勝出。
競品標籤背後的確切版本與設定仍未確認。不要將表中項目直接對應到 OmniArt 名稱相近的模型,也不要假設自己的對白、剪輯與混音會有相同表現。偏好測試也無法告訴你某個字詞是否原樣保留,或剪輯軟體是否接受交付格式。
原生音訊與後期生成音訊:選擇對照表#
先確認剪輯中必須保留什麼。以下是工作流程建議,不是實測效能結論。
| 情況 | 開啟音訊重新生成 | 獨立背景音樂 | 影片轉聲音工具 | 手動音效庫 |
|---|---|---|---|---|
| 鏡頭中有對白 | 允許畫面與表演改變時適用 | 鋪在語音下方;不能修復語音 | 檢查保留方式,逐句核對 | 保留對白,在周圍安排音效 |
| 出現未要求的音樂 | 能接受重做鏡頭時,可嘗試更清楚的描述 | 無法移除已混入語音的音樂 | 考慮明確宣稱能替換音樂的工具 | 只有能捨棄混合音訊時才適合靜音 |
| 剪輯長達數分鐘 | 重做鏡頭可能破壞連續性 | 為組好的剪輯配樂 | 檢查整支影片的限制與轉場銜接 | 控制精確,但需要更多音效配置工作 |
| 混音需要分軌 | 不要假設原生輸出包含分軌 | 背景音樂可獨立編輯 | 確認獨立檔案實際包含什麼 | 各段音效仍可獨立編輯 |
| 快速製作社群短片 | 探索鏡頭時很方便 | 只缺氛圍時適用 | 對照已鎖定的剪輯試聽一版聲音 | 適合少量需要精確落點的音效 |
如果只是缺少音樂,可能不需要重新生成音效。如果腳步聲沒有對準落地時機,背景音樂也無法解決。若說話內容很重要,在決定採用哪種方式前,要逐句比較原始音訊與替換音訊。
OmniArt 目前的工作流程#
截至 2026 年 10 月 21 日,OmniArt 為包括 Kling O3 Pro、Kling 3.0 Pro、Veo 3.1 Standard 與 Veo 3.1 Fast 在內的模型提供音訊控制。在影片工作台選擇支援的模型,開啟音訊選項,並一併描述畫面與可聽見的事件。
這是一則建議提示詞,不是測試過的輸出,也不保證不想要的音樂一定會消失。先檢查作品,再以它為基礎安排剪輯。描述聲音場景的方法,可參考 Veo 音訊描述指南。
需要音樂時,開啟音訊工作台,選擇 MiniMax Music 3.0 或 ElevenLabs Music V2。這些音樂模型生成的是背景音樂;它們的存在不代表 OmniArt 已加入 Instant Soundtracks 或根據影片生成音效的功能。
匯出選好的畫面與音樂,在剪輯軟體中組合,並視需要加入自行錄製或已取得授權的音效。對白出現時降低音樂音量,檢查鏡頭間的聲音銜接。替影片加音樂的教學說明了這個銜接流程;音訊工作台概覽則解釋語音與音樂功能的邊界。
OmniArt 目前無法接收你上傳的成片,並在保留對白的同時替換音樂。如果這正是你的需求,可以用鎖定剪輯的副本評估外部後期工具,同時保留原始音訊以便比較。
常見問題#
什麼是影片轉聲音 AI?
影片轉聲音 AI 以剪好的影片為輸入,生成與畫面事件時間對應的音效、環境聲及/或音樂。它不同於描述單一聲音,也不同於同時生成畫面與音訊。截至 2026 年 10 月 21 日,Mirelo SFX 2.0 與 ElevenLabs Instant Soundtracks 是廠商公布的兩個例子,輸出內容及編輯控制各不相同。
影片轉聲音模型能保留對白嗎?
Mirelo 表示 SFX 2.0 會預設保留對白,同時替換其他音訊;這不能證明原始錄音完全不變。ElevenLabs 表示 Instant Soundtracks 可以將現有音訊作為音樂參考,這是另一種宣稱。這些廠商說法核對於 2026 年 10 月 21 日。替換重要的對白錄音前,要試聽字詞與表演是否保留。
它比影片模型的原生音訊更好嗎?
沒有適用於所有情況的答案。Mirelo 於 2026 年 10 月 14 日主辦的廠商測試中,Seedance 2.5 這列的結果為 47% 偏好 Mirelo、28% 偏好原生音訊、25% 無偏好。其他完整的三方比例見上文。截至 10 月 21 日未找到獨立重現測試,競品的確切設定也未確認,因此應以自己的剪輯試聽。
可以在 OmniArt 完成嗎?
截至 2026 年 10 月 21 日,OmniArt 沒有影片轉聲音模型。你可以在生成畫面時使用支援影片模型的音訊選項,或在音訊工作台獨立生成音樂,再到剪輯軟體混音。兩種方式都不保證移除上傳成片中的音樂,或保留其中的對白。Mirelo 與 Instant Soundtracks 是外部選擇。


