Cách tạo video AI hoạt động: từ chữ và ảnh tham chiếu đến hình liên tục

Tạo video AI không dừng ở prompt#

Tạo video AI dựng một cảnh chuyển động có thể xảy ra từ quy luật đã học và chỉ dẫn bạn đưa vào. Prompt luôn để lại chi tiết chưa nói rõ: tay áo gấp thế nào, thứ gì khuất sau bàn tay, phản quang đi về đâu. Thấy những khoảng trống đó, bạn mới đạo diễn và xem lại một cảnh quay. Các bước trên không gian làm việc nằm trong hướng dẫn video đầu tiên.

Hãy hình dung một con chim thiếc lên cót, hoàn toàn hư cấu, trên bàn sửa. Bạn muốn cánh bằng đồng thau nâng lên trong khi máy quay đứng yên. Đây là bài tập khái niệm chưa được thử tạo; không có bản demo đã tạo đi kèm. Chúng ta dùng khoảnh khắc này để tách năm ý thường bị gộp vào nhau.

Điều kiện hóa đưa bằng chứng cho mô hình#

Điều kiện hóa là việc cung cấp thông tin có ảnh hưởng đến quá trình tạo. Chữ có thể nêu một hành động; ảnh có thể chốt ngoại hình. Các đầu vào này phải được biểu diễn bằng số thì mô hình mới dùng được. Trong nghiên cứu Video Diffusion Models (Mở trong thẻ mới) đã công bố, điều kiện đi vào mạng cùng video nhiễu đang được tinh chỉnh. Đó là mô tả một thiết kế có tài liệu, không phải cách làm của mọi mô hình thương mại.

Với con chim này, “cánh bằng đồng thau” nói về chất liệu và bộ phận. Một ảnh tham chiếu còn cho thấy vị trí bản lề và vết xước. Cả hai đều không nói cho mô hình biết cơ cấu bị che khuất chuyển động chính xác ra sao. Hãy quyết định bằng chứng nào gánh yêu cầu nào: ảnh cho ngoại hình, prompt cho thay đổi bạn yêu cầu.

Chỉ dẫn gốc này giữ điểm tiếp xúc với tấm lót luôn nhìn thấy. Nếu con chim nổi lên, bạn có lý do cụ thể để loại, dù kim loại trông hấp dẫn.

Lấy mẫu tạo ra một kết quả; truy xuất là tìm một kết quả đã có#

Truy xuất là tìm thứ đã tồn tại, như lục một kho tư liệu hình. Lấy mẫu là tạo một kết quả từ phân bố đã học, tức một loạt tình huống khả dĩ mà mô hình đã học cách biểu diễn. Với cách khuếch tán trong bài của Ho và cộng sự (Mở trong thẻ mới), quá trình tạo bắt đầu từ nhiễu và tinh chỉnh lặp lại thành video dưới các điều kiện đã đưa.

Sự phân biệt này quan trọng khi góp ý. “Tìm take có cánh nâng lên” hợp lý trong kho tư liệu. Khi tạo, bạn phải định nghĩa thế nào là một lần nâng dùng được, rồi xem bản đó. Lấy mẫu cũng không xác lập tính nguyên gốc hay quyền được sử dụng; nó mô tả cơ chế, không phải sự cho phép.

Khuếch tán là một cách có tài liệu, không phải giả định an toàn cho mọi mô hình. Stable Video Diffusion (Mở trong thẻ mới) mô tả việc tạo trong một biểu diễn hình ảnh nén, với các lớp thời gian thêm lên nền mô hình ảnh. Chỉ nhìn giao diện sản phẩm thì không thấy kiến trúc đó.

Nhất quán theo thời gian là sự khớp nhau trong lúc thay đổi#

Nhất quán theo thời gian nghĩa là các chi tiết vẫn tương thích khi thời gian trôi. Góc cánh đổi, bản lề vẫn phải còn; bóng con chim phải đáp lại chuyển động đó. Ho và cộng sự mô tả attention theo trục thời gian, nối thông tin giữa các khung hình. Một video không cần được tạo bằng những bức tranh rời rồi ghép lại sau. Xem kiến trúc nghiên cứu (Mở trong thẻ mới).

Khi xem lại, hãy theo một điểm quan sát cố định, đừng chỉ chấm đẹp toàn cảnh. Dõi bản lề từ khung hình đầu đến khung hình cuối. Rồi xem chân có chạm tấm lót không. Mở đầu và kết thúc trông hợp lý vẫn có thể che một đoạn giữa bị gãy: cánh rời ra một lúc rồi quay lại. Vì vậy phát hết cảnh là một phép thử khác với việc chọn ảnh thu nhỏ.

Yếu tố ngẫu nhiên giải thích khác biệt, không phải mọi lỗi#

Trong quy trình khuếch tán, giá trị ngẫu nhiên ảnh hưởng đến nhiễu ban đầu. Nếu công cụ đang dùng có mục cài Seed, Seed điều khiển chuỗi ngẫu nhiên đó. Tài liệu tái lập của Hugging Face (Mở trong thẻ mới) giải thích vì sao Seed trùng nhau vẫn không bảo đảm kết quả giống hệt khi điều kiện chạy khác nhau.

Hãy coi lần chạy lại là một bản khác, không phải lệnh sửa. Nếu nhiều take đặt cánh sai phía, hãy xem góc và câu chữ của ảnh tham chiếu trước khi yêu cầu thêm. Giữ bản ghi đầu vào và thiết lập để biết bạn đã đổi yêu cầu hay chỉ đang thử một khả năng khác. Seed không thể đóng vai định danh nhân vật có thể dùng lại.

Vì sao ảnh tham chiếu không bảo đảm cảnh quay#

Một ảnh tĩnh chỉ cho một góc nhìn ở một thời điểm. Mặt dưới của con chim, bản lề bị che, và các vị trí cánh về sau đều vắng mặt. Kết luận thực tế thì rõ: mô hình phải bổ sung chi tiết ngoài bằng chứng đó. Xin một góc ngược đưa vào nhiều điều chưa biết hơn là giữ góc hiện có.

Tách các yêu cầu trước khi sửa. Nếu bóng dáng mở đầu sai, xem lại đầu vào. Nếu danh tính còn mà cánh chỉ quay không, hãy đơn giản hóa động tác. Nếu cảnh quay ổn cho đến khi máy quay vòng ra sau, hãy cân nhắc một góc đứng yên. Đó là cách thu hẹp điều chưa chắc, không bảo đảm mô hình tạo đúng mọi yêu cầu.