วิดีโอ AI แบบเรียลไทม์และโมเดลโลก อธิบายให้ครีเอเตอร์เข้าใจ

วิดีโอ AI แบบเรียลไทม์คือแนวหน้าที่ถูกพูดถึงมากที่สุดในสื่อเชิงสร้างสรรค์ตอนนี้ และเป็นเรื่องที่นิยามคลุมเครือที่สุดด้วย มันหมายถึงอะไรขึ้นอยู่กับว่าใครพูด อาจเป็นโมเดลที่เรนเดอร์เร็วกว่าเวลาที่ใช้ดู โมเดลที่คุณบังคับทิศด้วยคีย์บอร์ดได้ขณะที่มันทำงาน หรือโมเดลที่เก็บสภาพแวดล้อมจำลองทั้งชุดไว้ในหัว นั่นคือปัญหาทางเทคนิคสามข้อที่ต่างกันพร้อมกรอบเวลาสามแบบที่ต่างกัน และการยุบทั้งสามข้อเป็นพาดหัวเดียวคือเหตุที่ครีเอเตอร์ลงเอยด้วยการวางแผนรอบความสามารถที่ยังไม่มีอยู่

บทความนี้แยกคำเหล่านั้นออกจากกัน ทั้งคำว่าการสร้างงานแบบเรียลไทม์บรรยายอะไรจริง ๆ โมเดลโลกคืออะไรและไม่ใช่อะไร ใครกำลังสร้างอะไรในพื้นที่นี้ ข้อจำกัดที่หนักแน่นมีอะไร และส่วนที่สำคัญสำหรับทุกคนที่มีงานต้องส่งเดือนนี้ คือสิ่งนี้เปลี่ยนและไม่เปลี่ยนอะไรสำหรับงานที่กำลังส่งอยู่วันนี้ พูดสั้น ๆ คือวิดีโอสำหรับงานผลิตยังทำงานบนโมเดลแบบเป็นชุด และจะเป็นแบบนั้นต่อไปอีกพักใหญ่

คำว่าเรียลไทม์หมายถึงอะไรจริง ๆ ในวิดีโอ AI

โมเดลที่ครีเอเตอร์ส่วนใหญ่ใช้คือโมเดล แบบเป็นชุด คุณเขียนบรีฟ ส่งงาน โมเดลวางแผนและเรนเดอร์คลิปทั้งชิ้นเป็นหน่วยเดียว แล้วอีกไม่กี่วินาทีหรือไม่กี่นาทีคุณได้ไฟล์ที่เสร็จแล้ว ไม่มีอะไรในผลลัพธ์ถูกตัดสินขณะที่คุณนั่งดู การสร้างงานคือคิวงานหนึ่งงาน

การสร้างงานแบบเรียลไทม์พลิกวงจรนั้น แทนที่จะผลิตคลิปที่เสร็จแล้ว โมเดลผลิตเฟรมออกมาต่อเนื่อง เร็วพอที่สายภาพจะถูกดูได้ขณะกำลังถูกสร้าง และที่สำคัญคือเร็วพอที่ข้อมูลนำเข้าซึ่งมาถึงกลางสายจะมีอิทธิพลต่อเฟรมถัดไปได้ คุณสมบัติข้อหลังคือสิ่งที่คนมักหมายถึงเมื่อพูดคำว่าเรียลไทม์ และเรียกให้ตรงกว่าคือ การสร้างวิดีโอแบบโต้ตอบ

จริง ๆ มีข้อกล่าวอ้างที่ต่างกันสามข้อซ่อนอยู่ใต้ป้ายเดียว

ข้อแรกคือการปรับให้ดีขึ้น ข้อที่สามคือระบบคนละประเภทกันเลย

โมเดลโลกคืออะไร และไม่ใช่อะไร

โมเดลโลกไม่ใช่แค่โมเดลวิดีโอที่ทำงานได้นานกว่า ความต่างอยู่ที่สถานะ โมเดลสร้างวิดีโอจากข้อความจับคู่พรอมต์กับลำดับเฟรม พรอมต์คือคำสั่งทั้งหมดและลำดับเฟรมคือคำตอบทั้งหมด ส่วนโมเดลโลกรักษาภาพแทนฉากไว้ภายในตัว ว่ามีอะไรอยู่ในฉาก อยู่ตำแหน่งไหน และมีพฤติกรรมอย่างไร แล้วสร้างเฟรมออกมาเป็น มุมมอง บนภาพแทนนั้น พร้อมปรับมันตามการกระทำที่เข้ามา

นั่นคือเหตุที่โมเดลโลกถูกพูดถึงเทียบกับเอนจินเกม ไม่ใช่เทียบกับเครื่องมือวิดีโอ การเทียบแบบนี้ไม่สมบูรณ์แต่มีประโยชน์

คำถามวิจัยที่น่าสนใจคือความคงอยู่ ถ้าคุณหันหลังให้วัตถุหนึ่งแล้วหันกลับมา มันยังอยู่ที่นั่นไหม ที่ตำแหน่งเดิม และหน้าตาเดิมไหม โมเดลแบบเป็นชุดไม่ต้องตอบคำถามนั้นเลย แต่โมเดลโลกแพ้หรือชนะที่คำถามนี้

ผู้เล่นที่น่าจับตา

มีสามกลุ่มหลวม ๆ ที่ผลักดันเรื่องนี้ และแต่ละกลุ่มต้องการสิ่งที่ต่างกัน

โมเดลโลกระดับ Genie ของ Google

สาย Genie ของ Google DeepMind คือจุดอ้างอิงที่คนส่วนใหญ่ยกมาพูด จุดขายคือการสร้างสภาพแวดล้อมที่เดินสำรวจได้จากพรอมต์หรือจากภาพ โดยขึ้นอยู่กับการกระทำ คุณบรรยายสถานที่หนึ่ง แล้วคุณเคลื่อนผ่านมัน โดยโมเดลสร้างมุมมองถัดไปแต่ละมุมขึ้นมา ไม่ใช่เล่นซ้ำมุมที่เรนเดอร์ไว้ก่อน การสาธิตสู่สาธารณะเน้นการโต้ตอบที่อัตราเฟรมให้ความรู้สึกตอบสนองทันใจ และความสอดคล้องที่คงอยู่ได้ช่วงหนึ่งของการสำรวจต่อเนื่อง และการวางกรอบก็ระบุชัดว่าเป็นงานวิจัย โดยยกการฝึกเอเจนต์และปัญญาประดิษฐ์ที่มีร่างกายเป็นแรงจูงใจอย่างน้อยเท่ากับการสร้างคอนเทนต์

PixVerse R1 และ R2

ประกาศ R2 วันที่ 22 กันยายน ของ PixVerse ต่อจาก R1 ด้วยข้ออ้างว่าเซสชันสอดคล้องได้นานขึ้น และตอบต่อข้อความ ไฟล์อ้างอิง เสียง และการกระทำได้อย่างต่อเนื่อง ภาพรวมงานวิจัย R2 อธิบายทิศทางทางเทคนิค นี่เป็นข้ออ้างของผู้ให้บริการ ไม่ใช่ผลที่เราวัดเอง การประเมินเซสชันโต้ตอบให้กลับไปจุดที่เคยอยู่ ทำซ้ำการกระทำเดิม และตรวจว่าตัวละครจำปฏิสัมพันธ์ก่อนหน้าได้หรือไม่ R2 ไม่ใช่โหมดการสร้างของ OmniArt พื้นที่ทำงานวิดีโอปัจจุบันสร้างคลิปที่เสร็จแล้ว

พื้นที่กลางที่ใกล้เคียงงานเกม

กลุ่มที่สามเป็นกลุ่มที่ทำพาดหัวได้ยากที่สุดและอาจสำคัญที่สุด คืองานที่วางโมเดลเชิงสร้างสรรค์ไว้ในหรือข้างเอนจินแบบเดิม ทั้งชั้นการเรนเดอร์ด้วยโครงข่ายประสาทที่วางทับผลลัพธ์จากเอนจิน ไฟล์งานและสภาพแวดล้อมที่สร้างขึ้นแล้วป้อนเข้าสายการผลิตปกติ พฤติกรรมตัวละครประกอบที่สร้างขึ้น และการถ่ายทอดสไตล์ที่ทำทีละเฟรม ไม่มีอะไรในนั้นเป็นโมเดลโลกเต็มตัว แต่ทั้งหมดส่งของได้เร็วกว่า เพราะมันสืบทอดความแน่นอนและการควบคุมจากเอนจิน และใช้การสร้างงานเฉพาะจุดที่การสร้างงานดีกว่าจริง

ข้อจำกัดที่ตัดสินกรอบเวลา

เมื่อประเมินระบบโต้ตอบ มีข้อแลกทางวิศวกรรมสี่ข้อที่สำคัญ ประกาศหรือการสาธิตที่ขัดเกลาแล้วยังบอกไม่ได้ว่าระบบจัดการทั้งสี่ข้อบนเซสชันของคุณได้มั่นแค่ไหน

ความหน่วงเทียบกับความละเอียดของรายละเอียด การโต้ตอบบังคับงบประมวลผลต่อเฟรมแบบตายตัว คือสิ่งที่โมเดลผลิตได้ก่อนเฟรมถัดไปถึงกำหนดคือทั้งหมดที่คุณได้ โมเดลแบบเป็นชุดใช้เวลากับเฟรมหนึ่งได้นานเท่าที่อยากใช้ ทุกหน่วยคุณภาพในระบบแบบโต้ตอบต้องจ่ายอยู่ในงบนั้น ซึ่งเป็นเหตุที่ผลลัพธ์แบบโต้ตอบดูล้าหลังผลลัพธ์แบบเป็นชุดอยู่หนึ่งรุ่น และเป็นเหตุที่มันจะดูแบบนั้นต่อไปแม้ทั้งสองฝ่ายจะพัฒนาขึ้น

ความละเอียดและรายละเอียด งบก้อนเดียวกัน แต่เอาไปใช้กับพิกเซล สายการผลิตแบบเป็นชุดจ่ายค่ารอบเกลาและขั้นขยายความละเอียดได้ แต่ระบบที่สร้างเฟรมตามคำขอโดยทั่วไปทำไม่ได้ อย่างน้อยก็ไม่ได้โดยไม่เพิ่มความหน่วงที่มันถูกออกแบบมาเพื่อเลี่ยง

ความสอดคล้องตลอดเวลา ข้อนี้คือข้อที่ลึกที่สุด ความสอดคล้องในระยะยาวต้องมีความจำว่าอะไรถูกสร้างไปแล้ว และความจำกินการประมวลผลที่ไปแย่งกับงบต่อเฟรม วัตถุที่เลื่อนไหล เรขาคณิตที่ค่อย ๆ ขัดแย้งกันเอง และแสงที่เปลี่ยนไประหว่างการกลับมาเยือนจุดเดิม ทั้งหมดเป็นอาการของข้อจำกัดเดียวกัน ความคืบหน้าตรงนี้มีจริงแต่เป็นแบบทีละน้อย และการพูดอย่างตรงไปตรงมาคือเซสชันจะสอดคล้องอยู่ช่วงหนึ่ง แล้วก็ไม่สอดคล้อง

ความแม่นของการควบคุม การโต้ตอบมีประโยชน์เฉพาะเมื่อโมเดลตอบสนองต่อข้อมูลนำเข้าตามที่คุณหมายไว้ การเคลื่อนตามทิศทางนั้นจัดการได้ค่อนข้างง่าย แต่การกำกับที่แม่นยำ ทำซ้ำได้ และตรงเป๊ะระดับเฟรม ซึ่งเป็นสิ่งที่คนทำหนังหรือคนออกแบบเกมต้องใช้จริง ยากกว่ามาก และยังมีความตึงเครียดที่ยังไม่คลี่คลายระหว่างระบบที่ด้นสดกับระบบที่ทำตามคำสั่งเป๊ะ

ยังมีข้อจำกัดทางเศรษฐศาสตร์ที่ถูกพูดถึงน้อยกว่า การเรนเดอร์แบบเป็นชุดคือคิวงานที่มีขอบเขตและคิดเงินได้ แต่เซสชันแบบโต้ตอบคือสายการประมวลผลที่ไม่มีจุดสิ้นสุด และมีคนต้องจ่ายค่าทุกวินาทีของมัน เรื่องนั้นกำหนดรูปร่างของสินค้าในหมวดนี้ตั้งนานก่อนงานวิจัยจะเสร็จ

สิ่งนี้เปลี่ยนอะไรสำหรับครีเอเตอร์ และไม่เปลี่ยนอะไร

สิ่งที่ยังไม่เปลี่ยน

สำหรับงานส่งลูกค้า ให้ตัดสินก่อนว่าสัญญาต้องการเซสชันที่เล่นได้หรือไฟล์ที่เสร็จแล้ว โมเดลวิดีโอปัจจุบันของ OmniArt สร้างคลิปที่เสร็จแล้ว พร้อมตัวควบคุมไฟล์อ้างอิง รูปแบบ และเสียงตามแต่ละโมเดล ระบบโต้ตอบอาจมีประโยชน์ตอนสำรวจ แต่เซสชันสดที่สำเร็จไม่ได้พิสูจน์คุณภาพไฟล์ที่ส่งออก ความทำซ้ำได้ หรือความเหมาะกับการตัดต่อขั้นสุดท้าย ทดสอบข้อกำหนดเหล่านั้นก่อนนำมันเข้าสู่ข้อผูกพันการส่งงาน

และนี่ก็ไม่ใช่เส้นทางของการมาแทนที่กัน การสร้างงานแบบโต้ตอบกับแบบเป็นชุดปรับให้เหมาะกับปลายสองข้างตรงข้ามของสิ่งที่ต้องแลกกันเรื่องเดียวกัน อนาคตที่โมเดลโลกเก่งมากไม่ได้แปลว่าเป็นอนาคตที่โมเดลแบบเป็นชุดล้าสมัย ไม่ต่างจากที่เอนจินเกมแบบเรียลไทม์ไม่ได้ทำให้การเรนเดอร์ภาพยนตร์แบบออฟไลน์ล้าสมัย

สิ่งที่เปลี่ยนจริง

มีสามเรื่องที่ควรปรับตัวรับตอนนี้

• การทำภาพร่างล่วงหน้าจะถูกลงก่อนใคร การใช้งานจริงที่มีประโยชน์ที่สุดชิ้นแรกของการสร้างงานที่บังคับทิศได้ คือการสำรวจพื้นที่หรือไอเดียการจัดวางตัวแสดงก่อนจะทุ่มไปที่การเรนเดอร์ตัวจบ ของหยาบ โต้ตอบได้ และแก้ได้ทันที ชนะของที่ขัดเงาแล้วแต่ช้า ตอนที่คุณยังตัดสินใจไม่เสร็จ
• พรอมต์จะไม่ใช่หน้าจอเดียวอีกต่อไป เมื่อโมเดลรับข้อมูลนำเข้าต่อเนื่อง บรีฟจะเริ่มดูเหมือนคำกำกับมากกว่าย่อหน้า คือสถานะเริ่มต้นบวกลำดับของเจตนา ครีเอเตอร์ที่คิดเป็นช็อตและเป็นจังหวะอยู่แล้ว ไม่ใช่คิดเป็นประโยค จะปรับตัวได้เร็วกว่า
• งานที่ใกล้เคียงเกมจะเปิดก่อนงานที่ใกล้เคียงภาพยนตร์ สื่อแบบโต้ตอบทนคุณภาพที่ต่ำกว่าได้เพื่อแลกกับการตอบสนอง เพราะผู้ชมกำลังมีส่วนร่วมไม่ใช่กำลังนั่งดู นั่นคือที่แรกที่เทคโนโลยีนี้แข่งขันได้จริง

ทักษะที่ย้ายข้ามได้

ไม่มีอะไรที่คุณเรียนบนโมเดลของวันนี้เสียเปล่า การบรรยายฉากอย่างแม่นยำ การระบุกล้องและแสง การรักษาตัวละครหรือลุคให้คงเดิมข้ามช็อต และการสร้างนิสัยประเมินผลที่ทำซ้ำได้ คือบรีฟเดียวกัน ภาพอ้างอิงชุดเดียวกัน เกณฑ์เดียวกัน รันกับอะไรใหม่ก็ตาม ทั้งหมดย้ายไปใช้ได้ตรง ๆ หน้าจอเปลี่ยน แต่ฝีมือในการระบุให้ชัดว่าคุณต้องการอะไรไม่เปลี่ยน

สิ่งที่คุณทำได้บน OmniArt วันนี้

OmniArt ไม่มีการสร้างงานด้วยโมเดลโลกแบบเรียลไทม์ และเราขอพูดตรง ๆ แบบนี้ดีกว่าทำเส้นแบ่งให้พร่ามัว สิ่งที่พื้นที่ทำงานวิดีโอมีให้คือแถวโมเดลแบบเป็นชุดชุดปัจจุบันในที่เดียว ทั้ง Seedance 2.0, Veo 3.1, Kling, Sora 2, PixVerse V6 และ C1, Google Gemini Omni, Happy Horse และ Grok Imagine โดยใช้ยอดเครดิตก้อนเดียวและไวยากรณ์พรอมต์ชุดเดียวข้ามทุกตัว

เรื่องนั้นมีประโยชน์ต่ออนาคตแบบโต้ตอบมากกว่าที่ฟังดู วิธีเตรียมพร้อมคือทำส่วนที่ย้ายข้ามได้ให้คล่อง

1. วนแก้บนรุ่นราคาถูก ร่างช็อตบนรุ่นเร็วหรือรุ่นเล็ก จัดองค์ประกอบและการเคลื่อนไหวให้ลงตัว แล้วรันบรีฟเดิมซ้ำบนรุ่นที่สูงขึ้น นี่คือเทียบเท่าวงจรแบบโต้ตอบในโลกของโมเดลเป็นชุด และเป็นวิธีที่คุณเรียนรู้ว่าบรีฟหนึ่งขออะไรอยู่จริง ๆ
2. ทำงานเป็นการต่อเนื่อง ไม่ใช่ช็อตเดี่ยวจบ OmniArt มีโมเดล Grok Imagine Extend และ Modify เฉพาะทางที่ทำงานบนคลิปที่เสร็จแล้ว คือต่อขยายหรือดัดแปลงมันแทนการสร้างใหม่จากศูนย์ และ Extend ใช้ได้กับฟุตเทจจากโมเดลตัวใดก็ได้ในพื้นที่ทำงานวิดีโอ คุณต่อเองด้วยมือก็ได้ คือใช้โหมดเปลี่ยนฉาก หรือป้อนเฟรมสุดท้ายของคลิปหนึ่งกลับเข้าไปเป็นภาพเริ่มต้นของคลิปถัดไป ทางไหนก็ตาม การคิดเป็นการต่อเนื่องสร้างนิสัยแบบเรียงลำดับและรู้สถานะ ซึ่งเป็นสิ่งที่การสร้างงานแบบโต้ตอบจะเรียกร้องพอดี
3. เทียบโมเดลบนบรีฟเดียวกัน พรอมต์หนึ่งชุด หลายโมเดล วางเทียบข้างกัน นี่คือวิธีเดียวที่ตรงไปตรงมาในการประเมินอะไรก็ตามในสนามนี้ และเป็นนิสัยที่จะทำให้คุณประเมินความสามารถใหม่จริง ๆ ได้ในหนึ่งบ่าย ไม่ใช่ในหนึ่งไตรมาส

ถ้าอยากดูโมเดลในพื้นที่ทำงานให้ครบ อ่าน โมเดลวิดีโอ AI ทุกตัวในพื้นที่ทำงานเดียว และถ้าจะเริ่มช็อตเลยตอนนี้ ไปที่ หน้าสร้างงาน

คำถามที่พบบ่อย

วันนี้ครีเอเตอร์ใช้วิดีโอ AI แบบเรียลไทม์ได้แล้วหรือยัง

การเรนเดอร์ที่เร็วนั้นใช้ได้แล้ว แต่การสร้างงานที่โต้ตอบและบังคับทิศได้จริงยังเป็นความสามารถที่กำลังตั้งไข่ในรูปของการสาธิตและสินค้าช่วงต้น ไม่ใช่เครื่องมือที่พึ่งพาได้ในงานผลิต งานวิดีโอที่ต้องส่งจริงยังทำงานบนโมเดลแบบเป็นชุด

โมเดลโลกต่างจากโมเดลข้อความเป็นวิดีโออย่างไร

โมเดลข้อความเป็นวิดีโอเปลี่ยนพรอมต์เป็นคลิปที่เสร็จแล้ว ส่วนโมเดลโลกรักษาสถานะภายในของฉากไว้อย่างต่อเนื่องและสร้างมุมมองของฉากนั้นตามการกระทำที่เข้ามาเรื่อย ๆ ซึ่งเป็นเหตุที่ความสอดคล้องเมื่อคุณกลับมาเยือนที่เดิมสำคัญกว่าคุณภาพของคลิป

โมเดลโลกจะมาแทนโมเดลวิดีโอแบบเป็นชุดไหม

ไม่น่า อย่างน้อยไม่ใช่ในฐานะหมวดหมู่ ทั้งสองปรับให้เหมาะกับปลายสองข้างตรงข้ามของสิ่งที่ต้องแลกกันระหว่างความหน่วงกับคุณภาพ จึงเข้าใจได้ดีกว่าในฐานะเครื่องมือที่เติมเต็มกัน ไม่ใช่รุ่นที่มาแทนกัน

ควรเรียนอะไรตอนนี้เพื่อเตรียมพร้อม

การบรรยายฉากอย่างแม่นยำ การกำกับกล้องและแสง ความคงเส้นคงวาข้ามช็อต และนิสัยการเทียบผลที่ทำซ้ำได้ ทั้งหมดย้ายข้ามไปใช้ได้ ไม่ว่าหน้าจอจะกลายเป็นแบบไหนก็ตาม