การสร้างวิดีโอด้วย AI ทำงานอย่างไร : กำกับการเกิดขึ้นของช่วงเวลาหนึ่ง

การสร้างวิดีโอด้วย AI ไม่ได้จบที่พรอมต์#

การสร้างวิดีโอด้วย AI สร้างฉากเคลื่อนไหวที่เป็นไปได้จากแพตเทิร์นที่เรียนรู้และข้อความที่ให้ไว้ พรอมต์ยังเหลือรายละเอียดที่ไม่ได้ระบุ เช่น แขนเสื้อพับอย่างไร อะไรซ่อนหลังมือ และแสงสะท้อนจะไปทางไหน การเห็นช่องเหล่านี้ช่วยให้คุณกำกับและตรวจช็อตได้ ขั้นตอนในพื้นที่ทำงานดูได้ที่คู่มือวิดีโอชิ้นแรก

ลองนึกถึงนกไขลานสมมติบนโต๊ะซ่อม คุณอยากให้ปีกทองเหลืองยกขึ้นขณะกล้องอยู่นิ่ง นี่คือแบบฝึกแนวคิดที่ยังไม่ได้ทดลองจริง ไม่มีตัวอย่างที่สร้างแล้วแนบมา เราจะใช้ช่วงเวลานี้แยกแนวคิด 5 ข้อที่มักปนกัน

เงื่อนไขให้หลักฐานแก่โมเดล#

เงื่อนไขหมายถึงการให้ข้อมูลที่มีผลต่อการสร้าง ข้อความระบุการกระทำได้ ภาพกำหนดรูปลักษณ์ได้ อินพุตเหล่านี้ต้องถูกแทนเป็นตัวเลข โมเดลจึงใช้ได้ ในงานวิจัย Video Diffusion Models (เปิดในแท็บใหม่)ที่เผยแพร่แล้ว เงื่อนไขเข้าสู่เครือข่ายพร้อมวิดีโอที่มีนอยส์ซึ่งกำลังถูกปรับละเอียด นี่อธิบายการออกแบบที่มีเอกสาร ไม่ใช่การทำงานของโมเดลเชิงพาณิชย์ทุกรุ่น

สำหรับนกตัวนี้ “ปีกทองเหลือง” บอกวัสดุและชิ้นส่วน ภาพอ้างอิงยังแสดงตำแหน่งบานพับและรอยขีดข่วนได้ ทั้งสองอย่างไม่ได้บอกว่ากลไกที่มองไม่เห็นขยับอย่างไรแน่ ตัดสินก่อนว่าหลักฐานชิ้นใดรับข้อกำหนดข้อใด ภาพรับรูปลักษณ์ พรอมต์รับการเปลี่ยนแปลงที่คุณขอ

พรอมต์ต้นฉบับนี้ให้จุดสัมผัสกับแผ่นรองยังมองเห็นอยู่ ถ้าตัวนกหลุดลอย คุณจึงมีเหตุผลที่จับต้องได้จะปฏิเสธ แม้โลหะจะดูน่าสนใจ

การสุ่มตัวอย่างสร้างผลลัพธ์ การค้นหาคือการเจอของที่มีอยู่#

การค้นหาคือการเจอสิ่งที่มีอยู่แล้ว เหมือนค้นในคลังฟุตเทจ การสุ่มตัวอย่างคือการสร้างผลลัพธ์จากชุดความเป็นไปได้ที่โมเดลเรียนรู้มา ซึ่งก็คือการกระจายที่มันเรียนรู้ที่จะแสดง ในวิธีดิฟฟิวชันที่บทความของ Ho และคณะ (เปิดในแท็บใหม่)อธิบาย การสร้างเริ่มจากนอยส์ แล้วปรับซ้ำไปสู่วิดีโอภายใต้เงื่อนไขที่ให้ไว้

ความต่างนี้สำคัญตอนให้ความเห็น “หาเทคที่ปีกยกขึ้น” ใช้ได้ในคลัง ในการสร้าง คุณต้องนิยามก่อนว่าการยกแบบไหนใช้ได้ แล้วจึงตรวจผลนั้น การสุ่มตัวอย่างไม่ได้สถาปนาความคิดสร้างสรรค์หรือการเคลียร์สิทธิ์ มันอธิบายกลไก ไม่ใช่การอนุญาต

ดิฟฟิวชันเป็นวิธีที่มีเอกสารวิธีหนึ่ง ไม่ใช่ข้อสันนิษฐานที่ปลอดภัยกับทุกโมเดล Stable Video Diffusion (เปิดในแท็บใหม่) อธิบายการสร้างในตัวแทนภาพที่ถูกบีบอัด และชั้นเชิงเวลาที่เพิ่มบนฐานโมเดลภาพ หน้าจอที่เห็นอย่างเดียวไม่เปิดเผยสถาปัตยกรรม

ความสอดคล้องตามเวลาคือความเห็นพ้องท่ามกลางการเปลี่ยนแปลง#

ความสอดคล้องตามเวลาหมายถึงรายละเอียดยังเข้ากันได้เมื่อเวลาผ่าน มุมปีกเปลี่ยนได้ แต่บานพับควรยังอยู่ เงาของนกควรตอบสนองต่อการเคลื่อนนั้น Ho และคณะอธิบายความสนใจเชิงเวลาที่เชื่อมข้อมูลข้ามเฟรม วิดีโอไม่จำเป็นต้องเกิดจากการสร้างภาพที่ไม่เกี่ยวข้องกันแล้วค่อยมาต่อทีหลัง ดูสถาปัตยกรรมของงานวิจัย (เปิดในแท็บใหม่)

ตอนตรวจ ให้ติดตามจุดสังเกตที่คงที่จุดหนึ่ง อย่าตัดสินแค่ความสวยรวม ไล่บานพับจากเฟรมแรกถึงเฟรมสุดท้าย แล้วดูเท้าแตะแผ่นรองหรือไม่ ต้นและจบที่ดูสมเหตุสมผลอาจปิดกลางที่พังได้ ปีกอาจหลุดชั่วคราวแล้วกลับมา การเล่นทั้งช่วงจึงเป็นการทดสอบคนละอย่างกับการเลือกภาพขนาดย่อ

ความสุ่มอธิบายความต่าง ไม่อธิบายทุกความล้มเหลว#

ในไปป์ไลน์ดิฟฟิวชัน ค่าสุ่มมีผลต่อนอยส์ตั้งต้น ถ้าเครื่องมือที่ใช้อยู่ให้การตั้งค่า Seed ไว้ Seed จะควบคุมลำดับสุ่มนั้น เอกสารความสามารถในการทำซ้ำของ Hugging Face (เปิดในแท็บใหม่) อธิบายว่าทำไม Seed ตรงกันก็ยังไม่รับประกันผลเหมือนกันเมื่อเงื่อนไขการรันต่างกัน

ให้ถือการรันใหม่เป็นอีกหนึ่งผล ไม่ใช่การสั่งให้แก้ ถ้าหลายเทควางปีกผิดด้าน ให้ตรวจมุมและถ้อยคำของภาพอ้างอิงก่อนขอเพิ่ม เก็บบันทึกอินพุตและการตั้งค่า จะได้รู้ว่าคุณเปลี่ยนโจทย์หรือแค่ลองความเป็นไปได้อีกแบบ Seed ไม่ใช่ตัวระบุตัวละครที่นำไปใช้ซ้ำได้

ทำไมภาพอ้างอิงจึงรับประกันช็อตไม่ได้#

ภาพนิ่งแสดงมุมหนึ่งในช่วงเวลาหนึ่ง ด้านล่างของนก บานพับที่ถูกบัง และตำแหน่งปีกในอนาคตไม่มีอยู่ในภาพ ข้อสรุปที่ใช้ได้ตรงไปตรงมา โมเดลต้องเติมรายละเอียดนอกหลักฐานนั้น การขอมุมกลับเพิ่มสิ่งที่ไม่รู้มากกว่าการคงมุมเดิม

แยกข้อกำหนดก่อนแก้ ถ้าเงาโครงตอนเปิดผิด ให้กลับไปดูอินพุต ถ้าอัตลักษณ์ยังอยู่แต่ปีกหมุนเปล่า ให้ทำท่าทางให้ง่ายลง ถ้าช็อตใช้ได้จนกระทั่งกล้องวนไปด้านหลัง ให้พิจารณามุมที่อยู่นิ่ง เหล่านี้เป็นวิธีลดความไม่แน่นอน ไม่ได้รับประกันว่าโมเดลจะสร้างตามที่สั่งทั้งหมด