คู่มือเสียงเนทีฟ MiniMax H3: บทสนทนา ดนตรี และการซิงก์

เสียงเนทีฟของ MiniMax H3 เปลี่ยน soundtrack ให้เป็นส่วนหนึ่งของบรีฟการสร้าง แทนที่จะเป็นไฟล์ที่คุณเพิ่มโดยอัตโนมัติหลังภาพเสร็จ MiniMax ระบุว่า H3 เข้าใจข้อความ ภาพ วิดีโอ และเสียงร่วมกัน แล้วสร้างวิดีโอพร้อมเสียงสเตอริโอเนทีฟ ขอบเขตการฝึกยังมองเสียงพูด sound effects และดนตรีเป็นโดเมนเสียงเดียวกัน ไม่ใช่เครื่องมือแยกจากกัน

นี่เป็นการเปลี่ยนแปลงเวิร์กโฟลว์ที่มีความหมาย แต่ไม่ใช่คำสัญญาว่าทุกประโยคจะพูดได้สมบูรณ์ ทุกฝีเท้าจะลงในเฟรมที่ถูกต้อง หรือทุกมิกซ์สเตอริโอจะพร้อมเผยแพร่ คู่มือนี้แยกความสามารถ H3 ที่ MiniMax มีเอกสารรองรับออกจากการทดสอบการผลิตที่ผู้สร้างควรรัน พร้อมให้โครงสร้าง sound brief ที่ใช้งานได้จริง เวิร์กโฟลว์เสียงอ้างอิง เทมเพลตพรอมป์ต์ห้าแบบ และ scorecard ประเมินผลที่ทำซ้ำได้ โดยไม่เสนอเดโมทางการเป็นผลลัพธ์อิสระ

สิ่งที่ MiniMax มีเอกสารอย่างเป็นทางการเกี่ยวกับเสียง H3

MiniMax อธิบาย H3 ว่าเป็นโมเดลวิดีโอมัลติโหมดอเนกประสงค์ ไม่ใช่ตัวสร้างวิดีโอเงียบที่มีขั้นตอนเสียงแยกต่างหาก เอกสารเปิดตัวของบริษัทระบุว่าโมเดลสร้างเสียงสเตอริโอเนทีฟและจำลองเสียงพูด sound effects และดนตรีร่วมกัน MiniMax ยังสาธิตพรอมป์ต์ที่รวมการเคลื่อนกล้องจากวิดีโอ ตัวละครจากภาพ และเสียงร้องที่จับคู่กับเสียงอ้างอิง

คู่มือสร้างวิดีโอ H3 อย่างเป็นทางการกำหนดขอบเขต API ปัจจุบัน:

มีข้อจำกัดสำคัญสามข้อ เสียงอ้างอิงส่งเดี่ยว ๆ ไม่ได้ MiniMax ต้องมีภาพหรือวิดีโออย่างน้อยหนึ่งรายการร่วมด้วย ไฟล์เสียงจำกัดไฟล์ละ 15 MB และคำขอข้อมูลอ้างอิงผสมทั้งหมดจำกัด 12 แอสเซ็ต โหมดอ้างอิงยังใช้ร่วมกับโหมดเฟรมแรกหรือเฟรมสุดท้ายในคำขอเดียวกันไม่ได้ ดังนั้นให้ตัดสินใจว่าช็อตต้องการเฟรมขอบเขตที่แม่นยำ หรือ multimodal conditioning ที่กว้างกว่ามากกว่ากัน

สร้าง sound brief ก่อนเขียนพรอมป์ต์

พรอมป์ต์ H3 ที่มีประโยชน์ที่สุดไม่ใช่รายชื่อเสียงยาว ๆ แต่เป็นแผนเสียงกระชับที่บอกโมเดลว่าสิ่งใดควรนำ สิ่งใดควรสนับสนุน และสิ่งใดต้องเกิดขึ้นในช่วงเวลาที่มองเห็น เขียนแผนเป็นห้ารอบ

1. ล็อกแอ็กชันภาพและจังหวะเวลา

การซิงก์เสียงขึ้นกับเหตุการณ์ที่มองเห็น เริ่มด้วยช็อต แอ็กชันของตัวแบบ การเคลื่อนกล้อง และลำดับ beat “ช้อนกระทบจานรองขณะที่กล้องหยุดนิ่ง” ทำให้โมเดลมีเหตุการณ์ภาพและเสียงร่วมกัน “เพิ่มเสียงแก้ว” ไม่ได้บอกว่าเหตุการณ์เกิดเมื่อใดหรืออะไรเป็นสาเหตุ

สำหรับคลิป 10 วินาที แผน beat ง่าย ๆ อาจเป็น:

• 0–3 วินาที: สร้างฉากห้องและตัวแบบ
• 3–7 วินาที: บทสนทนาหรือแอ็กชันหลัก
• 7–10 วินาที: เผยผลิตภัณฑ์และสัญญาณเสียงสุดท้าย

ถือว่าเวลานั้นเป็นทิศทาง ไม่ใช่ marker ตัดต่อที่แม่นระดับเฟรม การทดสอบการผลิตควรวัดว่าเอาต์พุตทำตามได้ใกล้เพียงใด

2. ตั้งชื่อเลเยอร์เสียงหลักหนึ่งอย่าง

เลือกเสียงที่ผู้ชมต้องสังเกตเป็นอย่างแรก: บทสนทนา ปฏิสัมพันธ์กับผลิตภัณฑ์ musical hook หรือส่วนหนึ่งของเสียงสิ่งแวดล้อม ให้ถ้อยคำที่ชัดที่สุดและกันพื้นที่รอบมัน

หากบทสนทนาเป็นหลัก ให้เขียนประโยคที่แน่นอนในเครื่องหมายคำพูดและกำหนดทิศทางการแสดงหนึ่งอย่าง หากเสียงผลิตภัณฑ์เป็นหลัก ให้อธิบายแอ็กชันทางกายภาพที่สร้างเสียงนั้น หากดนตรีเป็นหลัก ให้ระบุ tempo เครื่องดนตรี mood และจุดที่ arrangement ควรเปลี่ยน

3. เพิ่มบรรยากาศในฐานะสถานที่ทางเสียง

บรรยากาศควรอธิบายว่าช็อตอาศัยอยู่ที่ใด แทน “เสียงคาเฟ่” ให้บรรยายเสียงเครื่อง espresso เบา ๆ ด้านหลังผู้พูด การสนทนาในห้องระดับต่ำ และเสียงกริ่งประตูไกล ๆ สำหรับโฆษณาผลิตภัณฑ์ที่สะอาด ขอ studio room tone ที่ควบคุมได้แทนความเงียบ เว้นแต่ความเงียบคือทางเลือกสร้างสรรค์โดยเจตนา

ใช้คำเรื่องระยะและวัสดุที่ใช้ได้ทั้งภาพและเสียง:

• ใกล้ แห้ง ใกล้ชิด และ reverberant เล็กน้อย
• ไกล อู้อี้ผ่านกระจก หรืออยู่นอกกล้องด้านซ้าย
• ฝีเท้าบนกระเบื้อง การขยับผ้า ฝนบนโลหะ หรือวางแก้วบนไม้

4. ตัดสินใจว่าดนตรีเป็น score หรือ source

Score อยู่ภายนอกฉาก; source music มาจากวัตถุหรือสถานที่ภายในฉาก ระบุว่าคุณหมายถึงแบบใด “ดนตรี electronic ที่ยับยั้งอยู่ใต้บทสนทนา” ขอเลเยอร์พื้นหลัง ขณะที่ “เพลงเล่นเบา ๆ จากวิทยุในคาเฟ่ อู้อี้เล็กน้อย” ให้แหล่งกำเนิดเสียงในภาพ

เมื่อไม่ต้องการดนตรี ให้ระบุ no music วิธีนี้ทำให้ประเมินบทสนทนาหรือ Foley ได้ง่ายขึ้น เมื่อจำเป็น ให้เหลือ headroom สำหรับเสียงพูดแทนขอให้ทุกเลเยอร์ดังและดรามาติก

5. ระบุสิ่งที่ต้องไม่เอา

คำสั่งเสียงเชิงลบมีประโยชน์เมื่อปกป้องบรีฟ ตัวอย่างคือ no narration, no crowd cheering, no added melody และ no exaggerated whooshes ให้รายการข้อยกเว้นสั้นเกินไป ข้อจำกัดมากเกินไปอาจแข่งกับแอ็กชันที่คุณต้องการจริง

ใช้เสียงอ้างอิงโดยไม่สับสนเรื่องบทบาท

ระบบข้อมูลอ้างอิงของ H3 มีประโยชน์ที่สุดเมื่อทุกแอสเซ็ตมีงานเดียว คลิปเสียงอ้างอิงอาจให้ timbre และ cadence ของเสียงพูด พลังดนตรี texture เสียง หรือจังหวะตัดต่อ อย่าสันนิษฐานว่าโมเดลรู้ว่าต้องยืมคุณสมบัติใด

เขียนแผนผังแอสเซ็ตก่อนสรุปพรอมป์ต์:

จากนั้นอธิบายความสัมพันธ์เหล่านั้นด้วยภาษาธรรมชาติ ตัวอย่าง H3 ของ MiniMax เองใช้ประโยคที่มอบการเคลื่อนกล้องให้วิดีโออ้างอิง ผู้แสดงให้ภาพอ้างอิง และเสียงร้องให้เสียงอ้างอิง ป้ายแอสเซ็ตแบบมีหมายเลขแตกต่างกันไปตามอินเทอร์เฟซ ขณะที่ API ใช้ content แบบมี type และ reference roles ดังนั้นให้แทนป้ายในเทมเพลตด้านล่างด้วยรูปแบบที่แน่นอนที่เวิร์กโฟลว์ของคุณแสดง

ข้อมูลอ้างอิงสะอาดทำให้การทดลองสะอาดขึ้น ตัดความเงียบ ตัดดนตรีพื้นหลังที่ไม่เกี่ยวข้อง หลีกเลี่ยง clipping และให้ช่วงเสียงพูดหรือดนตรีที่เกี่ยวข้องได้ยินง่าย ใช้ช่วงสั้นที่แสดงคุณสมบัติที่ต้องการ แทนการอัปโหลดระยะเวลาสูงสุดโดยอัตโนมัติ

เทมเพลตพรอมป์ต์เสียงเนทีฟ MiniMax H3 ห้าแบบ

นี่คือบรีฟตั้งต้น ไม่ใช่ผลทดสอบที่กล่าวอ้าง รันแต่ละพรอมป์ต์มากกว่าหนึ่งครั้งและให้คะแนนเอาต์พุตด้วย protocol ในส่วนถัดไป

1. บทสนทนาผู้พูดคนเดียวพร้อม room tone

โคลสอัปเชฟที่เคาน์เตอร์ส่งอาหารในครัวร้านอาหารเงียบ ๆ หลังปิดบริการ กล้อง push-in ช้า ๆ ขณะที่เธอมองไปยังเพื่อนร่วมงานนอกกล้องและพูดว่า “พรุ่งนี้เราลองใหม่อีกครั้ง” การส่งอารมณ์: เหนื่อยแต่มีความหวังเงียบ ๆ จังหวะเป็นธรรมชาติ หายใจสั้นหนึ่งครั้งก่อนคำว่า “พรุ่งนี้” เสียงของเธอเป็นเลเยอร์เสียงหลัก ใกล้และแห้ง เสียงฮัมระบายอากาศต่ำและเสียงโลหะเย็นตัวเป็นครั้งคราวอยู่ไกล ไม่มีดนตรี ไม่มี narration ไม่มีเสียงอื่น

ใช้เทมเพลตนี้ประเมินความแม่นยำของคำพูด การส่งอารมณ์ การเคลื่อนไหวปาก และว่าบรรยากาศอยู่หลังประโยคหรือไม่

2. บรรยากาศเป็นชั้นพร้อม Foley ที่ซิงก์

ไวด์ช็อตภายในร้านซักผ้าเกือบว่างยามค่ำคืน แสง fluorescent สะท้อนบนพื้นกระเบื้อง คนคนหนึ่งย้ายแจ็กเก็ตเปียกจากเครื่องซักไปตะกร้าเข็น; ประตูโลหะคลิกปิดพอดีกับจังหวะที่มือปิด จากนั้นล้อตะกร้าส่งเสียงกระทบเบา ๆ บนกระเบื้อง เบื้องหน้า: การขยับผ้าและเสียงคลิกประตู ระยะกลาง: การหมุนคงที่ของเครื่องซัก พื้นหลัง: ฝนกระทบหน้าต่างด้านหน้าและรถหนึ่งคันแล่นผ่านไกล ๆ ด้านนอก มิกซ์สเตอริโอเนทีฟ ไม่มีบทสนทนา ไม่มีดนตรี

บรีฟนี้แยกบรรยากาศ ความสมจริงของวัสดุ การแยกซ้าย-ขวา และการซิงก์เสียงสัมผัสออกมาตรวจได้

3. การเผยผลิตภัณฑ์ที่นำด้วยดนตรี

ภาพยนตร์ผลิตภัณฑ์แนวตั้ง 10 วินาทีสำหรับขวดกีฬาสี coral โปร่งแสงบนพื้นผิวสตูดิโอสี lilac เริ่มจาก macro shot ของหยดควบแน่น แล้ว orbit ขณะที่ขวดลอยขึ้นสู่ตำแหน่ง hero ดนตรี electronic minimal แบบต้นฉบับที่ 100 BPM: pulse เบา ๆ สำหรับช่วงเปิด accent percussion ที่ชัดเจนเมื่อโลโก้หันสู่กล้อง แล้วจบด้วยโน้ตสุดท้ายสั้นที่คลี่คลาย เพิ่มหยดน้ำละเอียดและเสียงวางหนึ่งครั้งที่ควบคุมได้ ดนตรีสนับสนุนเสียงผลิตภัณฑ์แทนกลบมัน ไม่มีเสียงพูดและไม่มี cinematic boom แบบ stock

สำหรับการวางแผนภาพของผลิตภัณฑ์เพิ่มเติมนอกเหนือจาก soundtrack ใช้เวิร์กโฟลว์ภาพเป็นวิดีโอผลิตภัณฑ์

4. เสียงอ้างอิงที่ได้รับอนุญาตพร้อมบทสนทนาใหม่

ใช้ voice reference 1 เฉพาะสำหรับ timbre ของผู้บรรยาย จังหวะการพูด และพลังสนทนาที่อบอุ่น ห้ามใช้คำพูดหรือเสียงรบกวนพื้นหลังซ้ำ บุคคลจาก image reference 1 ยืนข้างหน้าต่างและพูดว่า “ร่างแรกเป็นเพียงจุดเริ่มต้น” ให้ประโยคพูดฟังชัดและซิงก์กับผู้พูดที่มองเห็น เพิ่ม room tone ที่อยู่อาศัยเงียบ ๆ และฝนเบา ๆ ด้านนอก ไม่มีดนตรี การบันทึกเสียงได้รับอนุญาตสำหรับการใช้นี้

ทดสอบว่าคุณสมบัติเสียงที่ตั้งใจถ่ายโอนโดยไม่ได้คัดลอก noise ถ้อยวลี หรือเนื้อหาจากไฟล์บันทึกต้นทางโดยไม่ตั้งใจหรือไม่ บรรยายคุณสมบัติที่ต้องการด้วยคำเพื่อให้คำสั่งยังมีประโยชน์ แม้การยึดตามข้อมูลอ้างอิงจะแปรผัน

5. ข้อมูลอ้างอิงจังหวะสำหรับ social edit

สร้าง montage 12 วินาทีของศิลปินเซรามิกที่ขึ้นรูป เคลือบ และวางถ้วยที่เสร็จแล้วบนชั้น ใช้ audio reference 1 เฉพาะสำหรับ tempo พลังจังหวะ และจังหวะตัดต่อ สร้างแทร็ก percussion ต้นฉบับที่มีทำนองและ sound design ต่างออกไป ตัดแอ็กชันภาพตามการเปลี่ยนจังหวะสำคัญ: ดินลงบนแป้นหมุน แปรงแตะเคลือบ ถ้วยถึงชั้น คงการหมุนแป้นตามธรรมชาติ texture แปรง และเสียงเคาะเซรามิกสุดท้ายใต้ดนตรี ไม่มีบทสนทนา

วิธีนี้แยก rhythmic conditioning ออกจากการคัดลอกดนตรี และให้คุณมีจุดซิงก์ที่มองเห็นสามจุดเพื่อตรวจ

แผนประเมินเสียง H3 ที่ทำซ้ำได้

เดโมทางการที่ขัดเงาเพียงหนึ่งชิ้นตอบไม่ได้ว่าโมเดลเหมาะกับเวิร์กโฟลว์การผลิตของคุณหรือไม่ ใช้บรีฟเดียวกันอย่างน้อยสาม generation คงระยะเวลาและข้อมูลอ้างอิงไว้ และให้คะแนนทุกเอาต์พุตแทนเลือกเพียงผลลัพธ์ที่ดีที่สุด

ทดสอบแต่ละเลเยอร์แยกกันก่อน

เริ่มด้วยพรอมป์ต์ควบคุมสี่แบบ:

1. บทสนทนาและ room tone เงียบ ๆ เท่านั้น
2. บรรยากาศและเหตุการณ์ Foley ที่มองเห็นสามเหตุการณ์ โดยไม่มีคำพูดหรือดนตรี
3. ดนตรีบรรเลงพร้อม accent ภาพที่วางแผนไว้สองจุด
4. เสียงอ้างอิงที่ได้รับอนุญาตหนึ่งรายการจับคู่กับภาพหรือวิดีโออ้างอิงแบบง่าย

หลังจากส่วนเหล่านั้นผ่านแล้วเท่านั้นจึงรวมบทสนทนา บรรยากาศ Foley และดนตรีในฉากที่หนาแน่นหนึ่งฉาก วิธีนี้ทำให้วิเคราะห์ความล้มเหลวได้: คุณบอกได้ว่าปัญหามาจากการออกเสียง จังหวะเวลา การถ่ายโอนข้อมูลอ้างอิง หรือความหนาแน่นของมิกซ์

ใช้ scorecard ไม่ใช่ความประทับใจ

ตรวจไฟล์ที่ export ใน video editor หรือ audio workstation ยืนยันว่ามีสองช่องสัญญาณ ฟังปัญหา phase ใน mono และเปรียบเทียบ waveform รอบเหตุการณ์สัมผัสที่วางแผนไว้ อย่าสรุปคุณภาพเสียงจาก preview บน social platform ซึ่งอาจ recompress หรือ remap soundtrack

ข้อจำกัดที่ต้องวางแผนรับมือ

โพสต์เปิดตัวของ MiniMax เองระบุว่า H3 ยังมีพื้นที่ให้ปรับปรุง และชี้รายละเอียดภาพเป็นหนึ่งในด้านสำหรับงานอนาคต สำหรับการผลิตเสียง เอกสารสาธารณะปัจจุบันก็ยังเปิดคำถามหลายข้อ ไม่ได้เผยแพร่การรับประกันเรื่อง word error rate ความแม่นยำ lip-sync loudness sample rate โครงสร้างช่องสัญญาณนอกเหนือจากสเตอริโอ ขอบเขตภาษา ความคล้ายของเสียงอ้างอิง หรือการควบคุม cue ระดับ timecode

วางแผนตามขอบเขตในทางปฏิบัติเหล่านี้:

• เอาต์พุตสั้น: 4–15 วินาทีเหมาะกับช็อต โฆษณา และคลิป social แต่ความต่อเนื่อง long-form ต้องตัดต่อข้ามหลาย generation
• บริบทอ้างอิงสั้น: อนุญาตคลิปเสียงสูงสุดสามคลิป แต่ระยะเวลารวมต้องไม่เกิน 15 วินาที
• ไม่มีคำขออ้างอิงแบบเสียงล้วน: คลิปเสียงอ้างอิงต้องจับคู่กับภาพหรือวิดีโออย่างน้อยหนึ่งรายการ
• จังหวะเวลาด้วยภาษาธรรมชาติไม่ใช่ไทม์ไลน์ที่ล็อก: ถือ beat timing เป็นเจตนาจนการทดสอบซ้ำพิสูจน์ความแม่นยำที่คุณต้องการ
• สเตอริโอต้องยืนยัน: สองช่องสัญญาณไม่ได้สร้างทิศทาง ความลึก หรือความเข้ากันได้กับ mono ที่น่าเชื่อโดยอัตโนมัติ
• มิกซ์หนาแน่นอาจซ่อนข้อผิดพลาด: บทสนทนา effects บรรยากาศ และดนตรีอาจจำลองร่วมกันได้ แต่บรีฟที่เรียบง่ายควบคุมและแก้ไขง่ายกว่า
• สิทธิ์ข้อมูลอ้างอิงยังมีผล: ความสามารถโมเดลไม่ได้ให้สิทธิ์เลียนแบบเสียงหรือใช้ดนตรีที่ได้รับการคุ้มครองซ้ำ

การเปิดให้ใช้ การควบคุมอินเทอร์เฟซ และค่าบริการก็เปลี่ยนได้เช่นกัน ราคาทางการปัจจุบันของ MiniMax ระบุว่าสื่อเสียงอ้างอิงไม่มีค่าอินพุตแยก ขณะที่เอาต์พุตวิดีโอและสื่ออ้างอิงอื่นบางประเภทคิดค่าบริการภายใต้กฎของตัวเอง ตรวจหน้าราคา pay-as-you-go อย่างเป็นทางการก่อนตั้งงบสำหรับการผลิต API; อย่าใช้ราคาของโฮสต์บุคคลที่สามแทนอัตราของ MiniMax เอง คู่มือราคาและสเปก H3คำนวณอัตราทางการของ MiniMax และต้นทุนสื่ออ้างอิง แค็ตตาล็อกโมเดล OmniArt ปัจจุบันไม่ได้ยืนยันความพร้อมของ H3 ดังนั้นคู่มือนี้จึงไม่กล่าวอ้างว่าสร้าง H3 ภายใน OmniArt ได้แล้ว

สร้าง soundtrack ส่วนที่เหลือใน OmniArt

เสียงเนทีฟลดการส่งต่องานได้ แต่ไม่ได้ลดคุณค่าของเครื่องมือเสียงแยกต่างหาก หากช็อต H3 ได้ภาพถูกต้องแต่ narration อ่อน ให้เก็บภาพไว้และสร้าง voice track ที่ควบคุมได้ หากบทสนทนาใช้ได้แต่ห้องขาด texture ให้เพิ่มเลเยอร์ ambience หรือ Foley แทนสร้างช็อตทั้งหมดใหม่

OmniArt รวมเวิร์กโฟลว์วิดีโอ เสียงพูด เสียง และดนตรีไว้ในพื้นที่ทำงานสร้างสรรค์เดียว ใช้คู่มือเครื่องมือสร้าง sound effect ด้วย AIเพื่อออกแบบ Foley และ ambience ทดแทน หรือเปรียบเทียบวิธีเขียนพรอมป์ต์กับคู่มือ spatial audio ของ Veo 3.1 เป้าหมายไม่ใช่บังคับทุกเสียงให้อยู่ในการสร้างเดียว แต่คือเก็บแทร็กเนทีฟไว้เมื่อใช้ได้ และแทนที่เฉพาะเลเยอร์ที่ใช้ไม่ได้

สำรวจเวิร์กโฟลว์การสร้างวิดีโอบน OmniArt