สร้างเสียงพื้นฐานในรอบเดียว: บทสนทนา ซิงค์ปาก และเสียงบรรยากาศใน Grok Imagine 1.5

โมเดลวิดีโอ AI ส่วนใหญ่สร้างคลิปที่ไม่มีเสียง คุณต้องส่งออกวิดีโอ นำเข้า DAW หรือเครื่องมือเสียงแยกต่างหาก หาบทพูด เสียงบรรยากาศ และดนตรีจากผู้ให้บริการต่างกัน จัดเรียงทุกอย่าง แล้วหวังว่าการซิงค์จะยังคงอยู่ Grok Imagine 1.5 ขจัดขั้นตอนทั้งหมดนั้น เสียง ทั้งบทสนทนา ซิงค์ปาก เอฟเฟกต์เสียง และชั้นบรรยากาศ ถูกสร้างขึ้นในรอบการอนุมานเดียวกับเฟรมวิดีโอ ผลลัพธ์คือคลิปที่มาพร้อมกับเสียงของมันเองตั้งแต่ต้น คู่มือนี้อธิบายวิธีทำงานของกลไกเสียงพื้นฐาน จุดที่ 1.5 ดีกว่า 1.0 และวิธีเขียนเสียงลงในพรอมต์เพื่อให้โมเดลนำคำสั่งเหล่านั้นไปใช้จริง

กลไกการสร้างเสียงพื้นฐานทำงานอย่างไร

โมเดลวิดีโอ AI แบบดั้งเดิมถือว่าเสียงเป็นขั้นตอนหลังการประมวลผล สร้าง token วิดีโอก่อน แล้วจึงรันโมเดลเสียงบนผลลัพธ์ พยายามจับคู่กับสิ่งที่เรนเดอร์ไปแล้ว เนื่องจากสองรอบนั้นเป็นอิสระจากกัน การไม่ตรงกันของจังหวะเวลาจึงเกิดขึ้นบ่อย ประตูที่ดังก่อนหนึ่งเฟรม บทพูดที่หายใจผิดจังหวะ ชั้นเสียงบรรยากาศที่ไม่ตอบสนองต่อการเปลี่ยนฉาก

Grok Imagine 1.5 สร้าง token วิดีโอและเสียงร่วมกันในรอบการอนุมานเดียว โมเดลเห็นบริบทฉากทั้งหมด ทั้งการจัดเฟรม การเคลื่อนไหวของตัวละคร อารมณ์แสง ขณะที่ตัดสินใจว่าจะสร้างเสียงอะไรและเมื่อใด การเคลื่อนไหวของริมฝีปากถูกกำหนดรูปร่างพร้อมกับรูปคลื่นเสียง ไม่ใช่ถูกกำหนดทีหลัง ชั้นบรรยากาศตอบสนองต่อสภาพแวดล้อมภาพที่โมเดลกำลังสร้าง ไม่ใช่เฟรมที่ส่งออกมาแล้วที่ต้องตีความย้อนหลัง

สิ่งที่เปลี่ยนแปลงจาก 1.0 ไป 1.5

Grok Imagine 1.0 มีเสียงพื้นฐานด้วย แต่ผลลัพธ์มีปัญหาสองอย่างที่เกิดขึ้นสม่ำเสมอ จังหวะเวลาของบทสนทนาเป็นแบบกลไก ตัวละครพูดในจังหวะที่สม่ำเสมอเหมือนเมตรอนอมโดยไม่มีการหยุดตามธรรมชาติ การขึ้นลงของเสียง หรืออินโทเนชันระดับประโยค ชั้นบรรยากาศแบนราบ ฉากบนถนนที่คึกคักได้รับเสียงฝูงชนทั่วไปโดยไม่คำนึงถึงความหนาแน่นของภาพ สภาพอากาศ หรือเวลาของวัน

Grok Imagine 1.5 แก้ไขทั้งสองอย่าง การส่งมอบบทสนทนาตอนนี้เคารพจังหวะของประโยค ความคิดสั้นๆ มาเร็ว ช่วงเวลาอารมณ์ช้าลงเล็กน้อย คำถามมีการขึ้นเสียงที่ได้ยินได้ที่ท้ายประโยค ชั้นบรรยากาศกลายเป็นแบบตอบสนองต่อฉาก ตลาดกลางคืนที่เปียกฝนฟังดูต่างจากตลาดเวลาเที่ยงที่แห้ง เพราะโมเดลอ่านสัญญาณภาพที่กำลังสร้างและปรับมิกซ์เสียงตามนั้น

การจัดอันดับ Arena สะท้อนถึงการปรับปรุง Grok Imagine 1.5 ได้ +52 Elo เหนือ 1.0 เพื่อขึ้นอันดับ 1 ใน Image-to-Video Arena นำหน้า Seedance 2.0, HappyHorse 1.0 และ Google Veo ในการทดสอบแบบตาบอด เครื่องยนต์ Aurora ประมวลผลเฟรมตามลำดับ ซึ่งทำให้การเคลื่อนไหวสอดคล้องพอที่รอบเสียงจะสร้างการซิงค์ที่มีประโยชน์

วิธีเขียนเสียงลงในพรอมต์

การกำกับเสียงในพรอมต์ภาษาธรรมชาติปฏิบัติตามรูปแบบที่สอดคล้องกันบางอย่าง โมเดลถือว่าสัญญาณเสียงเป็นส่วนหนึ่งของคำอธิบายฉาก ไม่ใช่บล็อกคำสั่งแยกต่างหาก ดังนั้นคุณฝังเสียงพร้อมกับการถ่ายภาพยนตร์ ไม่ใช่หลังจากนั้น

ระบุบทพูดและวิธีการส่งมอบ

อย่าสมมติว่าโมเดลจะคิดคำที่ถูกต้องเอง เขียนบรรทัดอย่างชัดเจนและตามด้วยหมายเหตุการส่งมอบ

หมายเหตุการส่งมอบที่ทำงานได้ดี: warm, urgent, flat and tired, slightly breathless, quiet but firm คำคุณศัพท์หนึ่งคำมักเพียงพอ สองคำขึ้นไปเริ่มขัดแย้งกัน

ระบุชั้นบรรยากาศอย่างชัดเจน

เมื่อคุณปล่อยให้บรรยากาศไม่ระบุ โมเดลจะเลือกบางอย่างที่ทั่วไป การตั้งชื่อชั้น รวมถึงระดับสัมพัทธ์ ให้เป้าหมายที่จะมุ่งไป

"Close-up of a chef plating a dish: the sizzle of the pan in the background, quiet kitchen ventilation, the clink of a spoon on porcelain, no music."

วลี no music มีประโยชน์เมื่อคุณต้องการให้ฉากพึ่งพาเพียงเอฟเฟกต์เสียงและโทนของห้อง หากไม่มี โมเดลอาจเพิ่มสกอร์เบาๆ

อธิบายจังหวะและการหยุด

การหยุดคือเหตุการณ์เสียง หากตัวละครลังเลก่อนตอบ หรือคุณต้องการเสียงเงียบสองจังหวะก่อนเอฟเฟกต์เสียงจะเข้ามา ให้บอกอย่างชัดเจน

"She looks at the letter, two seconds of silence, then exhales sharply."

ตัดสินใจว่าจะใช้การสกอร์อัตโนมัติหรือจำกัดเสียง

หากคุณไม่กล่าวถึงดนตรี Grok Imagine 1.5 อาจสกอร์คลิปโดยอัตโนมัติด้วยคิวที่ตรงกับอารมณ์ สายเบาๆ สำหรับฉากอารมณ์ จังหวะขับเคลื่อนสำหรับแอคชัน ซึ่งใช้ได้ดีสำหรับร่างโซเชียลที่รวดเร็ว สำหรับงานที่แม่นยำ เมื่อคุณต้องการความเงียบ ประเภทเฉพาะ หรือจังหวะที่ตกลงบนการตัด ให้จำกัดอย่างชัดเจน ตั้งชื่อประเภท ความรู้สึกของจังหวะ หรือเขียน no background music เพื่อปิด

สามฉากตัวอย่าง

ตัวอย่างเหล่านี้แสดงรูปแบบพรอมต์เต็มในทางปฏิบัติ แต่ละอย่างรวมถึงการตั้งค่าภาพ การกำกับเสียง และสิ่งที่รอบเสียงพื้นฐานสร้างขึ้น

ฉากที่ 1: ภาพใกล้บทสนทนาพร้อมซิงค์ปาก

เป้าหมาย: ตัวละครส่งมอบบรรทัดเดียวไปยังกล้อง ช็อตต้องการการซิงค์ปากที่สะอาดและการส่งมอบตามธรรมชาติ ไม่ใช่แทร็กเสียงพากย์ที่หาแหล่งต่างหาก

พรอมต์:

"Medium close-up of a woman in her late 30s at a kitchen table, morning light from a window to her left. She looks directly at camera and says 'I didn't think it would take this long' with a tired, honest delivery — slight pause after 'think', voice dropping at the end. Background: low refrigerator hum, no music."

สิ่งที่คาดหวัง: โมเดลสร้างเสียงบทสนทนาและการเคลื่อนไหวของปากในรอบเดียวกัน การหยุดกลางประโยคกำหนดรูปร่างทั้งรูปคลื่นเสียงและการเคลื่อนไหวของริมฝีปากที่มองเห็น เสียงตู้เย็นอยู่ใต้บทสนทนาในระดับต่ำโดยไม่แข่งขัน

ตัวปรับ: หากการส่งมอบแบนเกินไป ให้เพิ่ม emotional weight ในหมายเหตุการส่งมอบ หากเสียงดังเกินไป ให้เพิ่ม barely audible ก่อนมัน

ฉากที่ 2: สภาพแวดล้อมบรรยากาศแบบชั้น

เป้าหมาย: ตลาดกลางคืนที่เปียกฝน ไม่มีบทสนทนา บรรยากาศล้วนๆ เสียงต้องรู้สึกเป็นชั้นและมีอยู่จริงทางกายภาพ ไม่ใช่ไฟล์เสียงวนซ้ำเดียว

พรอมต์:

"Slow dolly through a busy night market in heavy rain. Neon signs reflecting in puddles, steam rising from food stalls. Audio layers: heavy rain on canvas awnings (top layer), sizzling woks from nearby stalls, muffled crowd chatter in the distance, no music. Quiet enough to feel intimate, not overwhelming."

สิ่งที่คาดหวัง: เนื่องจากโมเดลกำลังสร้างฉากภาพ ผ้าใบกันสาด แผง ความหนาแน่นของฝูงชน มันสามารถตอบสนองต่อองค์ประกอบเหล่านั้นในรอบเสียง เสียงกระทะจากแผงที่มองเห็นในเฟรมจะมีแนวโน้มดังกว่าเสียงฝูงชนที่วางไว้ไกลออกไปในเชิงพื้นที่

ตัวปรับ: เพิ่ม close-mic'd rain drops สำหรับพื้นผิวมากขึ้น ระบุ a distant vendor calling out เพื่อแนะนำองค์ประกอบเสียงเชิงเล่าเรื่องโดยไม่มีบทสนทนาทางการ

ฉากที่ 3: จังหวะที่ขับเคลื่อนด้วยดนตรี

เป้าหมาย: การเคลื่อนไหวของนักเต้นต้องซิงค์กับความรู้สึกจังหวะเฉพาะ ไม่ใช่โดยบังเอิญ แต่เป็นการออกแบบหลักของคลิป

พรอมต์:

"Slow-motion close-up of a dancer's feet hitting a wooden floor in a dark studio, single overhead spotlight. Each footfall lands on a beat. Audio: driving minimal techno at roughly 120 BPM, the impact of each footfall mixed into the beat so the physical sound and the music feel like the same event. No ambient room noise — tight, dry acoustics."

สิ่งที่คาดหวัง: โมเดลจะสร้างดนตรีและถือว่าการกระแทกของเท้าเป็นเหตุการณ์เสียงจังหวะภายในมัน เนื่องจากการเคลื่อนไหวและเสียงถูกสร้างร่วมกัน จังหวะเวลาภาพของการตีแต่ละครั้งมีโอกาสดีกว่าที่จะตรงกับจังหวะมากกว่าในเวิร์กโฟลว์สองรอบ

ตัวปรับ: ระบุประเภทที่แตกต่างกัน minimal house, orchestral percussion, hip-hop at 90 BPM เพื่อเปลี่ยนความรู้สึก เพิ่ม slight room reverb หากเสียงแห้งรู้สึกเป็นทางคลินิกเกินไป

สรุปแนวทางปฏิบัติที่ดีที่สุด

ค่าใช้จ่ายในเครดิต OmniArt

เสียงพื้นฐานรวมอยู่โดยไม่มีค่าใช้จ่ายเพิ่มเติมต่อวินาที อัตราเครดิตเหมือนกับการสร้าง Grok Imagine ทุกประเภท

ฉากบทสนทนา 10 วินาทีที่ 720p มีค่าใช้จ่าย 150 เครดิต ฉากบรรยากาศ 12 วินาทีที่ 480p มีค่าใช้จ่าย 120 เครดิต หากคุณกำลังวนซ้ำในการกำกับเสียงโดยเฉพาะ ปรับหมายเหตุการส่งมอบหรือคำอธิบายชั้นบรรยากาศ เริ่มต้นที่ 480p ซึ่งมีค่าใช้จ่ายน้อยกว่าหนึ่งในสาม และอัปสเกลเฉพาะเทคที่คุณต้องการเก็บ

เริ่มต้นบน OmniArt

Grok Imagine 1.5 พร้อมใช้งานในพื้นที่ทำงานวิดีโอของ OmniArt พร้อมกับโมเดลอื่นๆ ทุกตัวในไลบรารี ยอดเครดิตเดียวกัน อินเทอร์เฟซพรอมต์เดียวกัน ไม่ต้องสมัครสมาชิก xAI แยกต่างหาก วิธีที่เร็วที่สุดในการเรียนรู้สิ่งที่เสียงพื้นฐานทำได้คือการเขียนบทสนทนาหนึ่งบรรทัดลงในพรอมต์สร้างวิดีโอจากข้อความและดูว่าโมเดลจัดการอย่างไร จากนั้นวนซ้ำจากตรงนั้น

สำหรับภาพรวมทั้งหมดเกี่ยวกับโหมดการสร้าง ราคา และเมื่อใดควรใช้กับโมเดลอื่น โปรดดู คู่มือครีเอเตอร์ Grok Imagine หากคุณหาเอฟเฟกต์เสียงเพิ่มเติม บรรยากาศ หรือดนตรีนอกรอบการสร้างวิดีโอ คู่มือตัวสร้างเอฟเฟกต์เสียง AI ครอบคลุมโมเดลเสียงเฉพาะของ OmniArt