Wan Animate — перенос движения на своего персонажа
Animate берёт видео с живым человеком и переносит его пластику, мимику и повороты головы на другого героя — нарисованного, сгенерированного или снятого отдельно.
Что происходит внутри
На вход идут две вещи: видео-референс с нужным движением и изображение персонажа. Модель снимает с референса траекторию тела, мимику и тайминг, а рисует их уже на вашем герое, сохраняя его внешность и стиль.
Применений у этого два. Первое — оживить статичного персонажа: у вас есть иллюстрация, вы даёте ей движение актёра. Второе — заменить человека в готовом кадре: сцена, свет и композиция остаются, меняется тот, кто в кадре.
Что нужно на входе
- Видео-референс, где движение видно целиком: обрезанные по локоть руки модели не помогут.
- Изображение персонажа в разрешении, сопоставимом с целевым роликом.
- Совпадение пропорций: перенос движения взрослого человека на героя с другой анатомией даёт заметные искажения в суставах.
Открытые веса Animate
Animate выложен отдельными моделями, и их можно скачать. В репозиториях бренда лежат три сборки семейства:
| Сборка | Что это | Где взять |
|---|---|---|
| Wan2.2-Animate-14B | Первый выпуск переноса движения на 14 миллиардов параметров | HuggingFace |
| Wan2.2-Animate-2-14B | Второй выпуск того же семейства | HuggingFace |
| Wan2.2-Animate-2-14B-Distilled | Дистиллированная сборка второго выпуска — легче на запуске | HuggingFace |
| Wan-Dancer-14B | Отдельная модель под пластику всего тела | HuggingFace |
Рядом с каждой сборкой лежит вариант с пометкой Diffusers — это та же модель, упакованная под библиотеку diffusers. Для ComfyUI нужен вариант без этой пометки; порядок установки разобран на странице про локальный запуск.
Где Animate ломается
Резкий поворот головы — самое трудное место: на кадрах, где лицо уходит в профиль за один-два кадра, черты плывут. Второе — кисти рук в быстром движении. Третье — одежда со сложным силуэтом: длинный плащ или широкая юбка на референсе тянут за собой артефакты, потому что модель не знает, где под тканью тело.
Обходной путь тот же, что у всех генераторов движения: короткий отрезок с одним смысловым действием вместо длинной сцены с несколькими.
Попробовать Animate без установки
Модель работает в браузере: референс и персонаж загружаются файлами, видеокарта не нужна.