Редагування та подовження відео в Seedance 2.5: посібник із промптів
Редагування та подовження відео Seedance 2.5 в OmniArt: назвіть один еталон монтажу, окресліть обсяг правки, зафіксуйте незмінне й вирівняйте граничні кадри.
Найдорожча звичка в ШІ-відео — переганяти наново кліп, який вам уже подобається. Світло було правильним, гра актора влучила, рух камери нарешті поводився як треба — і ви перегенеровуєте все з нуля, бо один реквізит не того кольору або бо кадр закінчується на три секунди раніше, ніж потрібно. Кожен новий прогін — це свіжий кидок кубика проти всього, що вже працювало.
Редагування та подовження відео в Seedance 2.5 існують, щоб зламати цю звичку. Обидва вже працюють у відеопросторі OmniArt: оберіть Seedance 2.5, дайте їй відео, яке у вас уже є, і змініть усередині нього одну річ — або додайте часу з будь-якого боку — замість починати спочатку.
Дисципліна за обома однакова, і вона напрочуд явна. Назвіть один еталон монтажу. Вузько окресліть обсяг правки. Пропишіть, що не має змінюватися. А для подовжень опишіть граничний кадр перед тим, як описувати щось нове. Зробіть ці чотири речі правильно — і модель перестане сприймати ваш промпт як запрошення перетрактувати кадр.
Що фіксується ще до того, як ви щось надрукуєте#
І редагування, і подовження успадковують налаштування з відео, яке ви вивантажили, і першого разу це людей дивує. Ви не можете обрати співвідношення сторін, а для редагування не можете обрати ще й тривалість.
| Тип завдання | Співвідношення сторін | Тривалість |
|---|---|---|
| Редагування відео | Зберігає співвідношення вхідного відео — окремо задати не можна | Зберігає приблизно тривалість входу — окремо задати не можна; обробка вхідних кадрів може зсунути її десь на ~0,3 с |
| Перший кадр / перший і останній кадр | Бере співвідношення першого зображення (дайте останньому зображенню те саме співвідношення, інакше його розтягне) | Можна задати |
| Подовження відео | Зберігає співвідношення вхідного відео — окремо задати не можна | Можна задати |
Два практичні наслідки. По-перше, якщо вам потрібне інше співвідношення сторін, редагування його не дасть — це задача перекадрування, і її окремо розбирає робочий процес розширення кадру відео. По-друге, відредагований результат, що повертається на частку секунди довшим чи коротшим за ваше джерело, — це очікувана поведінка, зазвичай через обробку перехідних кадрів, а не провалена генерація. Вміст і порядок подій лишаються по суті тими самими.
Коли поверхня генерації виводить output_format, обирайте MOV і для редагування, і для подовження. Офіційні рекомендації радять MOV і для входу, і для виходу подовження, бо так найбільше шансів зберегти колір, яскравість, безперервність звуку та охайне з’єднання.
Частина 1: редагування відео, яке у вас уже є#
Редагування покриває все, що змінює те, що вже є в кадрі: заміну суб’єкта, заміну фону, зняття музичної підкладки, прибирання випадкового предмета. Наведені нижче патерни мають спільний хребет — оголосіть вихідне відео єдиним авторитетом, а потім звужуйте зміну, доки моделі не залишиться місця для імпровізації.
Загальний патерн редагування#
Кожен вартий написання промпт для редагування має п’ять блоків. Перші два роблять основну роботу: вони кажуть моделі, який матеріал є авторитетним, а який — усього лиш зразок.
Розібраний приклад — зміна світла в заданому проміжку без жодних інших наслідків:
Зверніть увагу, що робить тут обсяг правки: він дозволяє одне свідоме перетікання (тон шкіри реагує на нове світло) і відмовляє в усьому іншому. Названий дозволений побічний ефект — це те, що не дає моделі ані проігнорувати його, ані взяти за дозвіл перезасвітити всю кімнату.
Заміна суб’єкта й успадкування таймлайна#
Заміна предмета — це там, де "sole editing master" відпрацьовує своє. Референсне зображення предмета-замінника несе фон, композицію та напрямок світла, яких ви не просили, і модель радо затягне все це, якщо їй не сказати інакше.
Заміна суб’єкта додає п’ятий блок, [Timeline Inheritance], — саме той, який більшість пропускає, а потім шкодує.
Успадкування таймлайна — це одне речення, яке каже: новий предмет з’являється тоді, коли з’являвся старий, рухається там, де рухався він, перекривається тоді, коли перекривався, і йде з кадру тоді, коли пішов він, — у той самий час, тією самою траєкторією, з тією самою швидкістю. Без цього заміни схильні з’являтися запізно, зсуватися з початкової траєкторії руху або переживати мить, коли оригінал уже вийшов із кадру.
Порада
Фразу, що фіксує кількість, варто вкрасти окремо: "the entire video contains one target object" або "keep exactly one white folding desk lamp throughout the video". Дублювання — найпоширеніша поламка при заміні суб’єкта: модель міняє предмет в одних кадрах і додає другу копію в інших. Вказана кількість убиває обидві біди.
Заміна фону#
Заміна фону — це заміна суб’єкта навиворіт: межею є силует, і все всередині нього захищене.
Правило, що змушує це працювати, — вузьке трактування ролі референсного зображення. @Image 1 дає просторове компонування, матеріали, глибину різкості, колір середовища та напрямок світла — і нічого більше. Скажіть це явно, зокрема "do not use the people or foreground objects in the image."
Збереження перекриттів у списку недоторканного важить більше, ніж здається. Коли рука проходить перед тілом або стілець перетинає суб’єкта, новий фон має шанувати той самий порядок глибини, — інакше підміна читається як наліпка.
Редагування звуку#
Діалог, мова, голос, фонова музика та звукові ефекти редагуються окремо один від одного й окремо від зображення. Структура незмінна: назвіть мовця або категорію звуку, задуману зміну й те, які інші звуки лишаються на місці.
Найпомітніше тут — зняття фонової музики. Seedance 2.5 вміє прибрати фонову музику, зберігши голос мовця, і — та частина, що зазвичай ламається в інших інструментах — вона при цьому не чіпає екранні субтитри й інші візуальні елементи. Завдяки цьому «чистий голосовий трек при недоторканій картинці» стає однією генерацією, а не походом до окремого аудіоінструмента й назад.
Smart Edit, Edit with marks і Edit Video#
Три пов’язані поверхні, одна формула на всіх:
| Поверхня | Що це таке |
|---|---|
| Smart Edit | Редагування лише текстом. Ви описуєте зміну; жодних позначок на кадрі |
| Edit with marks | Покращений Smart Edit для відео, які ви вивантажуєте, — можна виділяти рамкою, малювати пензлем і робити позначки на кадрі |
| Edit Video | Те саме редагування з позначками, застосоване до відео вже після генерації |
Простий Smart Edit бере [Specific modification object/what] + [Action and change description] + [Effective time sequence]. Редагування з позначками додає попереду ще один блок:
Інструменти позначок — це рамки, лінії, стрілки, текст і кольорові маркери, а також гумка. Блок, який недописують найчастіше, — це орієнтація: ви маєте сказати, яким інструментом малювали, і чи має модель діяти всередині нього чи ззовні. "Within the red box." "The area the red arrow points to." "To the left of the red line." "At the landmark point." Без цього рамка неоднозначна — захистити оце чи змінити оце?
Корисні дієслова, до яких варто тягнутися: "Edit the xx in the video", add, delete/remove, modify/replace/change to. Тримайте тайминг явним у тому самому подиху, як-от "modify everything entirely from 0 to 8 seconds."
Часткове усунення й зміна ракурсу кадру#
Дві можливості, про які варто знати, перш ніж вирішувати перегенерувати:
Часткове усунення та безслідне стирання. Замалюйте пензлем або виділіть рамкою область і приберіть те, що в ній. Модель добудовує фон за фізичною та світловою логікою, а не розмазує його, тож захаращений кут, випадковий перехожий чи непотрібний більше реквізит стають локальною правкою. Це працює і в інший бік: спрямована заміна елемента ставить новий елемент у ту саму область із уже застосованою перспективою й атмосферою вихідного відео.
Зміна просторової перспективи. Оскільки модель читає тривимірні просторові співвідношення у джерелі, ви можете змінити ракурс уже наявного кадру: згори, з нижньої точки, від першої особи або "replace the multi-camera switching shots with a fixed frontal shot, and keep the characters and background unchanged." Пропорції та компонування лишаються цілісними крізь цю зміну. Так вправний, але плаский дубль стає зрежисованим, і акторську гру не доводиться переганяти наново.
Частина 2: подовження відео, яке у вас уже є#
Подовження — друга половина того, щоб не починати спочатку. Подовжити можна будь-який результат тривалістю до 30 секунд, і подовження складаються одне в одне: до результату можна додавати ще й ще, як матрьошку, аж до 60 секунд безперервного відео. Співвідношення сторін лишається прив’язаним до джерела, але, на відміну від редагування, тривалість тут ваша.
Правило промптингу вміщується в одне речення: вирівняйте граничний кадр, перш ніж описувати щось нове.
Подовження вперед#
Для подовження вперед перший кадр подовження продовжує останній кадр джерела. Тож спершу опишіть безперервний стан цього останнього кадру, а вже потім те, що станеться далі.
Заповнений варіант:
Подовження назад#
Подовження назад будує фрагмент перед вашим джерелом. Опишіть спершу, що відбувається, а потім визначте перший кадр джерела як явний кінцевий стан нового фрагмента.
Саме друга половина провалюється, коли її пропускають. Написати лише "then connect to the source video" означає дати моделі два способи помилитися: персонажі чи ефекти, які належать джерелу, заходять у попередній фрагмент зарано, або зображення продовжує змінюватися вже після того, як досягло цільового стану.
Подовження з додатковими референсними входами#
Якщо ви заводите в подовження зображення чи аудіо, спершу визначте роль кожного матеріалу, а потім заявіть, що межею керує вихідне відео. Нові матеріали можуть доповнювати персонажів, реквізит чи звук — але вони не мають перебивати те, що з’єднанням керує останній (чи перший) кадр джерела.
Саме для подовжень назад додайте ще один рядок, який називає матеріали, що мають з’явитися лише після початку вихідного відео:
Називати ролі матеріалів — та сама навичка, яку винагороджує вся модель; глибше про цей бік розповідає посібник із референсних промптів Seedance 2.5.
Словник подовження та фрази-обмеження#
Модель реагує на конкретні терміни. Використовуйте "forward extension", "backward extension" і "continuation", а не описуйте намір своїми словами. Для подовження цілого кадру, яке має відчуватися як один безперервний дубль, додайте фрази-обмеження прямо:
Подовження також відмикає посегментну режисуру: дайте персонажу бігти десять секунд, підтвердьте це, а потім у наступному подовженні задайте стрибок. Складні дії, що провалюються як одна довга генерація, часто вдаються як естафета підтверджених етапів.
Попередження
Граничні кадри з’єднуються природно на візуальному рівні. Піксель у піксель вони не збігатимуться, і жоден промпт цього не змінить. Перегляньте обидва боки з’єднання, а потім подивіться весь подовжений фрагмент — перевіряти треба персонажів, реквізит, фон і порядок подій, а не лише шов. Гучність у подовженому фрагменті теж може трохи відрізнятися від джерела, тож вирівняйте рівні на експорті.
Як почати в OmniArt#
Візьміть один кліп, який вам уже подобається, і одну річ у ньому, яка не така. Відкрийте відеопростір OmniArt, оберіть Seedance 2.5, вивантажте кліп і напишіть п’ять блоків: мета правки, роль вихідного відео, роль цільового матеріалу, обсяг правки, вміст, який треба зберегти. Потім проженіть той самий кліп через п’ятисекундне подовження вперед, написавши абзац про граничний кадр раніше за нову дію.
Двох генерацій досить, щоб відчути різницю між редагуванням і перегенерацією — і побачити, чому блок «вміст, який треба зберегти» і є тим, що насправді рятує дубль. Ширшу картину змін у цьому релізі дивіться в матеріалі що вийшло в Seedance 2.5.
Моделі для зображень, відео, звуку й музики сидять в одному просторі на одному балансі, тож референсний кадр, прохід редагування й подовження — це три кроки в одному місці, а не три інструменти. Почніть у просторі створення з кліпу, який ви мало не викинули.
