Video AI thời gian thực và mô hình thế giới: giải thích cho người sáng tạo

Video AI thời gian thực đang là biên giới được bàn tới nhiều nhất trong truyền thông sinh tạo hiện nay, và cũng là thứ được định nghĩa mơ hồ nhất. Tùy vào việc ai đang nói, nó có thể nghĩa là một mô hình dựng hình nhanh hơn tốc độ phát, một mô hình bạn có thể điều khiển bằng bàn phím trong lúc nó đang chạy, hoặc một mô hình giữ nguyên cả một môi trường mô phỏng trong đầu nó. Đó là ba bài toán kỹ thuật khác nhau với ba lộ trình thời gian khác nhau, và việc gộp chúng vào một tiêu đề chính là cách khiến người sáng tạo lên kế hoạch dựa trên những năng lực chưa hề tồn tại.

Bài viết này tách các khái niệm ra. "Tạo sinh thời gian thực" thực sự mô tả điều gì, mô hình thế giới là gì và không phải là gì, ai đang xây trong lĩnh vực này, những ràng buộc cứng nằm ở đâu, và — phần quan trọng với bất cứ ai có sản phẩm phải bàn giao trong tháng này — điều gì thay đổi và điều gì không thay đổi với công việc đang bàn giao hôm nay. Nói ngắn gọn: video phục vụ sản xuất vẫn chạy trên các mô hình theo lô, và sẽ còn như vậy một thời gian nữa.

"Thời gian thực" thực sự nghĩa là gì trong video AI

Những mô hình mà phần lớn người sáng tạo đang dùng là mô hình theo lô. Bạn viết một đề bài, gửi đi, mô hình lên kế hoạch và dựng cả clip như một khối duy nhất, rồi vài giây hoặc vài phút sau bạn nhận về một file hoàn chỉnh. Không có gì trong kết quả được quyết định trong lúc bạn đang xem. Lần tạo sinh đó là một công việc được xếp hàng chờ.

Tạo sinh thời gian thực đảo ngược vòng lặp đó. Thay vì cho ra một clip hoàn chỉnh, mô hình sinh khung hình liên tục, nhanh đủ để dòng hình ảnh được xem ngay trong lúc nó đang được tạo ra — và quan trọng hơn, nhanh đủ để dữ liệu đầu vào đến giữa dòng có thể ảnh hưởng tới những khung hình kế tiếp. Chính thuộc tính cuối cùng đó mới là điều người ta thường muốn nói khi dùng từ thời gian thực, và nó nên được gọi chính xác hơn là tạo video tương tác.

Thực chất có ba tuyên bố khác nhau đang ẩn dưới cùng một cái nhãn:

Cái đầu tiên là một bài toán tối ưu. Cái thứ ba là một loại hệ thống hoàn toàn khác.

Mô hình thế giới là gì (và không phải là gì)

Mô hình thế giới không đơn giản là một mô hình video chạy dài hơn. Điểm khác biệt là trạng thái. Một mô hình văn bản sang video ánh xạ một prompt thành một chuỗi khung hình; prompt là toàn bộ chỉ dẫn và chuỗi khung hình là toàn bộ câu trả lời. Một mô hình thế giới duy trì một biểu diễn nội tại của bối cảnh — có những gì trong đó, mọi thứ nằm ở đâu, chúng hành xử ra sao — và sinh khung hình như một góc nhìn vào biểu diễn đó, đồng thời cập nhật nó để phản hồi các hành động.

Đó là lý do mô hình thế giới thường được bàn cùng với game engine hơn là cùng với công cụ video. Phép so sánh này không hoàn hảo, nhưng hữu ích:

Câu hỏi nghiên cứu thú vị là tính bền của trạng thái: nếu bạn ngoảnh đi khỏi một vật thể rồi ngoảnh lại, nó có còn đó, ở đúng chỗ đó, trông vẫn như vậy không? Các mô hình theo lô không bao giờ phải trả lời điều đó. Các mô hình thế giới thì thành hay bại nằm ở đúng câu hỏi này.

Những cái tên đáng chú ý

Có ba nhóm khá lỏng đang thúc đẩy lĩnh vực này, và họ muốn những thứ khác nhau.

Các mô hình thế giới lớp Genie của Google

Dòng Genie của Google DeepMind là mốc tham chiếu mà phần lớn mọi người nhắc tới. Lời chào hàng là tạo sinh có điều kiện theo hành động cho những môi trường có thể di chuyển được, dựng từ một prompt hoặc một ảnh — bạn mô tả một nơi, rồi bạn di chuyển xuyên qua nó, với mô hình sinh ra từng góc nhìn kế tiếp thay vì phát lại một cảnh đã dựng trước. Các buổi trình diễn công khai nhấn mạnh khả năng tương tác ở tốc độ khung hình cho cảm giác đáp ứng tốt, cùng độ nhất quán duy trì được qua một đoạn khám phá liên tục, và cách họ định vị luôn nghiêng rõ về nghiên cứu, với việc huấn luyện agent và AI hiện thân được nêu làm động lực ít nhất là ngang bằng với việc tạo nội dung.

PixVerse R1

PixVerse đã định vị R1 là một mô hình thế giới thời gian thực chứ không phải một bản phát hành văn bản sang video nữa, và tiếp thị nó như một lựa chọn thay thế cho các hệ thống lớp Genie, với đối tượng là người sáng tạo và những người làm việc gần với game. Cách định vị đó đáng chú ý vì nó đến từ một công ty làm tạo video chứ không phải một phòng nghiên cứu, cho thấy lĩnh vực này đang được coi là một bề mặt sản phẩm nghiêm túc chứ không chỉ là một bài báo. Hãy xem các thông số cụ thể như lời định vị từ phía nhà cung cấp cho tới khi có những so sánh thực nghiệm độc lập — đây là lĩnh vực mà chất lượng lúc công bố và chất lượng lúc ra hàng đã từng lệch nhau.

Vùng trung gian gần với game

Nhóm thứ ba ít giật tiêu đề nhất và có thể lại là nhóm quan trọng nhất: những việc đưa mô hình sinh tạo vào bên trong hoặc đặt cạnh các engine truyền thống. Các lượt kết xuất bằng mạng nơ-ron chồng lên đầu ra của engine, tài nguyên và môi trường do AI tạo đưa vào một quy trình sản xuất bình thường, hành vi NPC do mô hình sinh ra, chuyển phong cách áp lên từng khung hình. Không thứ nào trong đó là một mô hình thế giới đầy đủ. Nhưng tất cả đều ra hàng sớm hơn, vì chúng thừa hưởng được tính tất định và khả năng kiểm soát của một engine, và chỉ dùng tạo sinh ở đúng những chỗ tạo sinh thực sự tốt hơn.

Những ràng buộc quyết định lộ trình thời gian

Có bốn vấn đề nằm giữa các bản trình diễn và những công cụ sáng tạo đáng tin cậy. Không vấn đề nào gần được giải, và tiến bộ ở một vấn đề thường phải trả giá bằng một vấn đề khác.

Độ trễ so với độ trung thực. Tính tương tác áp đặt một ngân sách tính toán cứng cho mỗi khung hình: những gì mô hình kịp sinh ra trước khi khung hình kế tiếp phải xuất hiện là tất cả những gì bạn có. Các mô hình theo lô thì muốn dành bao lâu cho một khung hình cũng được. Mỗi đơn vị chất lượng trong một hệ thống tương tác đều phải được trả bằng chính ngân sách đó, và đó là lý do đầu ra tương tác trông như đi sau đầu ra theo lô một thế hệ — cũng là lý do nó sẽ tiếp tục trông như vậy dù cả hai đều tiến bộ.

Độ phân giải và chi tiết. Cũng cùng ngân sách đó, nhưng áp lên số điểm ảnh. Các quy trình theo lô có thể chi trả cho các lượt tinh chỉnh và các bước nâng độ phân giải; một hệ thống sinh khung hình theo yêu cầu thì thường không thể, ít nhất là không thể mà không thêm vào đúng thứ độ trễ mà nó được thiết kế để tránh.

Sự mạch lạc theo thời gian. Đây là vấn đề sâu nhất. Tính nhất quán trên chân trời dài đòi hỏi bộ nhớ về những gì đã được sinh ra, và bộ nhớ tốn tính toán, thứ lại tranh giành với ngân sách cho mỗi khung hình. Vật thể trôi dạt, hình học lặng lẽ tự mâu thuẫn, và ánh sáng thay đổi giữa hai lần bạn ghé lại cùng một chỗ đều là biểu hiện của cùng một hạn chế. Tiến bộ ở đây là thật nhưng theo từng bước nhỏ, và cách nói trung thực nhất là các phiên giữ được nhất quán trong một lúc, rồi thì không nữa.

Độ trung thực của khả năng điều khiển. Tương tác chỉ hữu ích nếu mô hình phản hồi đầu vào theo đúng ý bạn. Chuyển động theo hướng thì tương đối dễ xử lý. Còn việc chỉ đạo chính xác, lặp lại được, đúng đến từng khung hình — thứ mà một nhà làm phim hay một nhà thiết kế game thực sự cần — thì khó hơn nhiều, và vẫn còn một căng thẳng chưa được giải quyết giữa một hệ thống biết ứng biến và một hệ thống làm đúng những gì được bảo.

Còn có một ràng buộc kinh tế ít được nhắc tới. Một lượt dựng theo lô là một công việc có biên và tính được tiền. Một phiên tương tác là một dòng tính toán không có điểm kết, và ai đó phải trả tiền cho từng giây của nó. Điều đó định hình sản phẩm trong lĩnh vực này có thể trông như thế nào, từ rất lâu trước khi phần nghiên cứu hoàn tất.

Điều này thay đổi gì với người sáng tạo — và không thay đổi gì

Điều nó chưa thay đổi

Nếu bạn đang bàn giao video cho khách hàng, cho các chiến dịch hay cho một tập khán giả, thì các mô hình thế giới thời gian thực chưa phải một phần trong quy trình của bạn, và giả vờ ngược lại sẽ khiến bạn mất một hạn chót. Chất lượng của clip hoàn chỉnh, độ phân giải, âm thanh, khả năng kiểm soát cảnh quay và độ trung thực với ảnh tham chiếu đều vẫn nằm ở các mô hình theo lô — các thế hệ Seedance, Veo, Kling, Sora, PixVerse và Grok Imagine hiện có trên OmniArt. Mỗi mô hình trong số đó được tối ưu cho đúng thứ mà các hệ thống tương tác phải đánh đổi: chi ra lượng tính toán thực sự để làm một clip tốt hết mức có thể.

Đây cũng không phải một đường đi tới việc thay thế. Tạo sinh tương tác và tạo sinh theo lô tối ưu cho hai đầu đối lập của cùng một sự đánh đổi. Một tương lai nơi các mô hình thế giới trở nên xuất sắc không hàm ý một tương lai nơi các mô hình theo lô trở nên lỗi thời, cũng như các game engine thời gian thực chưa từng làm cho việc kết xuất phim ngoại tuyến trở nên lỗi thời.

Điều nó có thay đổi

Có ba điều đáng điều chỉnh từ bây giờ.

• Tiền dựng hình trở nên rẻ hơn trước tiên. Ứng dụng thực sự hữu ích đầu tiên của tạo sinh điều khiển được là khám phá một không gian hay một ý tưởng dàn cảnh trước khi cam kết với một lượt dựng hoàn chỉnh. Thô, tương tác và sửa lại được ngay thì hơn hẳn tinh xảo mà chậm, khi bạn còn đang cân nhắc.
• Prompt không còn là giao diện duy nhất. Khi các mô hình nhận đầu vào diễn ra liên tục, đề bài sẽ bớt giống một đoạn văn và giống chỉ đạo hơn — một trạng thái khởi đầu cộng một chuỗi ý định. Những người sáng tạo vốn đã tư duy theo cảnh quay và theo nhịp thay vì theo câu chữ sẽ thích nghi nhanh hơn.
• Công việc gần với game mở ra trước công việc gần với phim. Truyền thông tương tác chấp nhận độ trung thực thấp hơn để đổi lấy khả năng đáp ứng, vì khán giả đang tham gia chứ không chỉ ngồi xem. Đó là nơi đầu tiên công nghệ này thực sự có tính cạnh tranh.

Những kỹ năng chuyển giao được

Không có gì bạn học được trên các mô hình hôm nay là vô ích. Mô tả bối cảnh một cách chính xác, chỉ định góc máy và ánh sáng, giữ được một nhân vật hay một tạo hình xuyên nhiều cảnh, và xây một thói quen đánh giá lặp lại được — cùng đề bài, cùng tham chiếu, cùng thang điểm, chạy trên bất cứ thứ gì mới xuất hiện — tất cả đều chuyển giao trực tiếp. Giao diện thì đổi; còn cái nghề nói rõ mình muốn gì thì không.

Bạn có thể làm gì trên OmniArt hôm nay

OmniArt không cung cấp khả năng tạo sinh bằng mô hình thế giới thời gian thực, và chúng tôi thà nói thẳng điều đó hơn là làm mờ ranh giới. Thứ mà không gian làm việc video thực sự cung cấp là dàn mô hình theo lô hiện tại ở cùng một nơi — Seedance 2.0, Veo 3.1, Kling, Sora 2, PixVerse V6 và C1, Google Gemini Omni, Happy Horse, cùng Grok Imagine — với một số dư và một ngữ pháp prompt dùng chung cho tất cả.

Điều đó hữu ích cho tương lai tương tác hơn mức bạn tưởng. Cách để sẵn sàng là trở nên nhanh ở đúng những phần sẽ được mang theo:

1. Hãy thử đi thử lại trên các mức giá rẻ. Làm nháp một cảnh trên biến thể nhanh hoặc mini, chốt bố cục và chuyển động, rồi chạy lại đúng đề bài đó trên một mức cao hơn. Đây chính là phiên bản theo lô của một vòng lặp tương tác, và đó là cách bạn học được một đề bài thực sự đang đòi hỏi điều gì.
2. Hãy làm việc theo lối tiếp nối, không phải từng clip rời. OmniArt có các mô hình Grok Imagine Extend và Modify chuyên làm việc trên một clip đã hoàn thành — kéo dài hoặc thay đổi nó thay vì tạo lại từ đầu — và Extend hoạt động được với đoạn phim từ bất kỳ mô hình nào trong không gian làm việc video. Bạn cũng có thể nối thủ công: dùng chế độ chuyển tiếp, hoặc lấy khung hình cuối của một clip làm ảnh khởi đầu cho clip tiếp theo. Dù theo cách nào, tư duy theo lối tiếp nối cũng rèn đúng những thói quen tuần tự, có ý thức về trạng thái mà tạo sinh tương tác sẽ đòi hỏi.
3. Hãy so sánh các mô hình trên cùng một đề bài. Một prompt, nhiều mô hình, đặt cạnh nhau. Đó là cách trung thực duy nhất để đánh giá bất cứ thứ gì trong lĩnh vực này, và đó là thói quen giúp bạn thẩm định một năng lực thực sự mới trong một buổi chiều thay vì trong một quý.

Để xem toàn cảnh các mô hình trong không gian làm việc, hãy đọc tất cả mô hình video AI trong một không gian làm việc. Còn nếu muốn bắt đầu một cảnh quay ngay bây giờ, hãy sang trang tạo nội dung.

Câu hỏi thường gặp

Người sáng tạo hôm nay đã dùng được video AI thời gian thực chưa?

Dựng hình nhanh thì đã có. Còn tạo sinh tương tác, điều khiển được thật sự vẫn là một năng lực mới nổi với các bản trình diễn và sản phẩm sơ khai, chứ chưa phải một công cụ sản xuất đáng tin. Công việc video hoàn chỉnh vẫn chạy trên các mô hình theo lô.

Mô hình thế giới khác mô hình văn bản sang video ở điểm nào?

Một mô hình văn bản sang video biến một prompt thành một clip hoàn chỉnh. Một mô hình thế giới duy trì trạng thái nội tại bền vững của một bối cảnh và sinh ra các góc nhìn vào bối cảnh đó để phản hồi các hành động diễn ra liên tục, và đó là lý do độ nhất quán khi bạn ghé lại một nơi quan trọng hơn chất lượng của clip.

Mô hình thế giới có thay thế mô hình video theo lô không?

Khó xảy ra, ít nhất là không thay thế ở cấp độ cả một loại công cụ. Hai hướng này tối ưu cho hai đầu đối lập của cùng một sự đánh đổi giữa độ trễ và độ trung thực, nên hiểu chúng là hai công cụ bổ trợ cho nhau thì đúng hơn là hai thế hệ nối tiếp.

Bây giờ tôi nên học gì để sẵn sàng?

Mô tả bối cảnh chính xác, chỉ đạo góc máy và ánh sáng, giữ nhất quán xuyên nhiều cảnh, và một thói quen so sánh lặp lại được. Tất cả đều chuyển giao được, bất kể giao diện cuối cùng trông như thế nào.