影片轉聲音 AI:保留剪好的畫面,重新設計聲音

新一類工具能分析剪好的影片,產生同步音效、環境聲或配樂。本文說明如何在原生音訊、獨立背景音樂與後期聲音生成之間選擇,以及 OmniArt 目前的適用範圍。

OmniArt 團隊發佈於 閱讀時間 15 分鐘
影片轉聲音 AI:保留剪好的畫面,重新設計聲音

影片轉聲音 AI 從完成剪輯的片段出發,依照畫面中的動作生成音訊。如果你喜歡畫面,卻不滿意聲音,就可以保留剪輯,獨立處理聲音。接下來要判斷的是:需要替換音效、音樂、對白,還是全部聲音?

截至 2026 年 10 月 21 日,OmniArt 沒有影片轉聲音模型、獨立音效生成工具或 AI 擬音工具。你可以用支援的影片模型生成原生音訊,另外生成背景音樂,再將匯出的素材放進剪輯軟體混音。以下外部工具的介紹,能協助你判斷何時適合採用其他後期聲音流程。

影片轉聲音 AI 能做什麼#

影片轉聲音流程以剪輯後的影像為輸入,回傳時間與畫面對應的音效、環境聲及/或音樂。腳步、開關門或換場,都能成為聲音的觸發點。這與先用文字描述聲音、再自行安排位置的文字生成音效不同,也與跟著新生成畫面一起輸出的原生影片音訊不同。

當表演或運鏡已經到位,保留畫面就很重要。若只是為了修正一段不想要的漸強音樂而重新生成,可能連想保留的鏡頭也跟著改變。獨立生成一版聲音,就能在不重做畫面的情況下修改音訊;但仍需要試聽與混音。

同樣稱為影片轉聲音,各工具提供的輸出並不相同。有些著重擬音與環境聲,有些則製作包含音效的配樂。選擇前,先確認你需要的是保留語音、可編輯的音軌,還是只要背景音樂。

2026 年 10 月的兩個例子#

以下能力均為廠商公布的資訊,核對日期為 2026 年 10 月 21 日;它們不是 OmniArt 功能,也不是我們親自測試的結果。

Mirelo SFX 2.0#

Mirelo 於 10 月 14 日發布的公告 (在新分頁中開啟)表示,可用音效與環境聲替換非對白音訊,同時保留語音及鏡頭切換之間的連續性。其產品常見問題 (在新分頁中開啟)表示,語音保留預設開啟。這是保留對白的宣稱,不代表保證原始錄音完全不變:部落格描述的是重新生成語音,常見問題則說是分離語音。

目前的公告也區分了影片轉聲音與文字生成聲音,並將可同步的單一聲音分軌版本標示為即將推出。這不足以證明目前已有多軌匯出功能。截至 10 月 21 日,Runway 模型清單 (在新分頁中開啟)已列出 Mirelo SFX 2.0,費用為每分鐘 15 Runway 點數(廠商公布);這不是 OmniArt 的價格,也不是現金換算。

ElevenLabs Instant Soundtracks#

ElevenLabs 公告 (在新分頁中開啟)於 2026 年 10 月 15 日發布、10 月 20 日更新,說明了在時間軸上編排配樂與音效的功能。廠商表示,它改善了短片的聲音時機與場景情緒變化,也可選擇以現有音訊引導新音樂。將音訊作為參考,不代表能保留對白。

廠商列出的 Video to Music API 參數包含 add_sfx、separate_tracks 與 use_audio_as_reference。依其說明,設定 separate_tracks=true 後,回應會是包含獨立音樂檔與音效檔的 ZIP 壓縮檔。這只是將這兩類輸出分開,不代表每種樂器或每個音效都會有獨立分軌。

問題Mirelo SFX 2.0ElevenLabs Instant Soundtracks
輸入剪好的影片;文字生成聲音是獨立版本上傳的影片;可選擇參考現有音訊
輸出同步音效、擬音與環境聲原創音樂與依時間編排的音效
保留對白?常見問題稱預設開啟;需試聽結果支援參考音訊;尚未證實能保留對白
獨立分軌?單一聲音分軌版本即將推出;不要假設已有多軌匯出透過 separate_tracks=true 取得音樂與音效檔;編輯器內可編輯音效圖層
限制Studio/API 最長 10 分鐘;更長內容需透過 Enterprise 協商每次請求最多 10 支影片,合計不超過 200 MB、10 分鐘
使用管道Mirelo 工具/API,以及 Runway、fal 等合作夥伴ElevenCreative Music Video Editor、ElevenMusic 與 Video to Music API

表中的限制與使用管道均為截至 2026 年 10 月 21 日的廠商資訊,來源為上方連結的 Mirelo 常見問題及 ElevenLabs 公告。兩項服務都不在 OmniArt 的公開目錄中。

盲測能說明什麼,以及無法證明什麼#

Mirelo 於 2026 年 10 月 14 日公布以下結果。每一列都完整列出廠商主辦盲測的三種選擇比例,核對日期為 10 月 21 日;這些是聽眾偏好,不是準確率,也不是獨立排名。來源與方法:Mirelo (在新分頁中開啟)。

比較組別Mirelo 測試中的競品標籤偏好 Mirelo偏好競品無偏好
影片轉音效Sony Woosh81%9%10%
影片轉音效Kling Foley63%18%19%
影片轉音效Sonilo46%33%21%
原生影片音訊Veo 3.1 Fast57%21%22%
原生影片音訊MiniMax H3 Max49%30%21%
原生影片音訊Flux 348%23%29%
原生影片音訊Seedance 2.547%28%25%
原生影片音訊Kling45%30%25%

依 Mirelo 的說法,每組比較由 25 位經過預先篩選的群眾外包評分者評判 30 支影片,考量音訊品質與畫面事件的契合度,並可選擇平手。截至 2026 年 10 月 21 日,我們未找到獨立重現的測試。這些結果支持你試聽一版新聲音,不能證明某項工具在所有情況下都勝出。

競品標籤背後的確切版本與設定仍未確認。不要將表中項目直接對應到 OmniArt 名稱相近的模型,也不要假設自己的對白、剪輯與混音會有相同表現。偏好測試也無法告訴你某個字詞是否原樣保留,或剪輯軟體是否接受交付格式。

原生音訊與後期生成音訊:選擇對照表#

先確認剪輯中必須保留什麼。以下是工作流程建議,不是實測效能結論。

情況開啟音訊重新生成獨立背景音樂影片轉聲音工具手動音效庫
鏡頭中有對白允許畫面與表演改變時適用鋪在語音下方;不能修復語音檢查保留方式,逐句核對保留對白,在周圍安排音效
出現未要求的音樂能接受重做鏡頭時,可嘗試更清楚的描述無法移除已混入語音的音樂考慮明確宣稱能替換音樂的工具只有能捨棄混合音訊時才適合靜音
剪輯長達數分鐘重做鏡頭可能破壞連續性為組好的剪輯配樂檢查整支影片的限制與轉場銜接控制精確,但需要更多音效配置工作
混音需要分軌不要假設原生輸出包含分軌背景音樂可獨立編輯確認獨立檔案實際包含什麼各段音效仍可獨立編輯
快速製作社群短片探索鏡頭時很方便只缺氛圍時適用對照已鎖定的剪輯試聽一版聲音適合少量需要精確落點的音效

如果只是缺少音樂,可能不需要重新生成音效。如果腳步聲沒有對準落地時機,背景音樂也無法解決。若說話內容很重要,在決定採用哪種方式前,要逐句比較原始音訊與替換音訊。

OmniArt 目前的工作流程#

截至 2026 年 10 月 21 日,OmniArt 為包括 Kling O3 Pro、Kling 3.0 Pro、Veo 3.1 Standard 與 Veo 3.1 Fast 在內的模型提供音訊控制。在影片工作台選擇支援的模型,開啟音訊選項,並一併描述畫面與可聽見的事件。

提示詞Kling O3 Pro
A close-up follows a ceramic cup being set on a wooden cafe table. A gentle ceramic tap lands exactly on contact, followed by soft room tone and distant conversation without intelligible words. Natural location sound, no background music, no narration.

這是一則建議提示詞,不是測試過的輸出,也不保證不想要的音樂一定會消失。先檢查作品,再以它為基礎安排剪輯。描述聲音場景的方法,可參考 Veo 音訊描述指南。

需要音樂時,開啟音訊工作台,選擇 MiniMax Music 3.0 或 ElevenLabs Music V2。這些音樂模型生成的是背景音樂;它們的存在不代表 OmniArt 已加入 Instant Soundtracks 或根據影片生成音效的功能。

提示詞MiniMax Music 3.0
An instrumental bed for a calm cafe product film. Warm felt piano, soft brushed percussion and restrained bass. Leave space for dialogue and small contact sounds. Begin gently, build subtly through the middle and resolve cleanly. No vocals, no sound effects.

匯出選好的畫面與音樂,在剪輯軟體中組合,並視需要加入自行錄製或已取得授權的音效。對白出現時降低音樂音量,檢查鏡頭間的聲音銜接。替影片加音樂的教學說明了這個銜接流程;音訊工作台概覽則解釋語音與音樂功能的邊界。

OmniArt 目前無法接收你上傳的成片,並在保留對白的同時替換音樂。如果這正是你的需求,可以用鎖定剪輯的副本評估外部後期工具,同時保留原始音訊以便比較。

常見問題#

什麼是影片轉聲音 AI?

影片轉聲音 AI 以剪好的影片為輸入,生成與畫面事件時間對應的音效、環境聲及/或音樂。它不同於描述單一聲音,也不同於同時生成畫面與音訊。截至 2026 年 10 月 21 日,Mirelo SFX 2.0 與 ElevenLabs Instant Soundtracks 是廠商公布的兩個例子,輸出內容及編輯控制各不相同。

影片轉聲音模型能保留對白嗎?

Mirelo 表示 SFX 2.0 會預設保留對白,同時替換其他音訊;這不能證明原始錄音完全不變。ElevenLabs 表示 Instant Soundtracks 可以將現有音訊作為音樂參考,這是另一種宣稱。這些廠商說法核對於 2026 年 10 月 21 日。替換重要的對白錄音前,要試聽字詞與表演是否保留。

它比影片模型的原生音訊更好嗎?

沒有適用於所有情況的答案。Mirelo 於 2026 年 10 月 14 日主辦的廠商測試中,Seedance 2.5 這列的結果為 47% 偏好 Mirelo、28% 偏好原生音訊、25% 無偏好。其他完整的三方比例見上文。截至 10 月 21 日未找到獨立重現測試,競品的確切設定也未確認,因此應以自己的剪輯試聽。

可以在 OmniArt 完成嗎?

截至 2026 年 10 月 21 日,OmniArt 沒有影片轉聲音模型。你可以在生成畫面時使用支援影片模型的音訊選項,或在音訊工作台獨立生成音樂,再到剪輯軟體混音。兩種方式都不保證移除上傳成片中的音樂,或保留其中的對白。Mirelo 與 Instant Soundtracks 是外部選擇。

選擇剪輯需要的聲音層#

先在 OmniArt 影片工作台生成原生音訊,或另外製作背景音樂,再對照剪好的影片檢查並混合匯出的素材。

開始創作

繼續閱讀

返回分類