ToonCrafter: Аниматоры напряглись, аниме-любители радуются Пока мы ждем сору, вот вам ToonCrafter — прикольная модель для тех
ToonCrafter: Аниматоры напряглись, аниме-любители радуются
Пока мы ждем сору, вот вам ToonCrafter — прикольная модель для тех, кто делает двигающиеся картинки в стиле аниме.
Я уже вижу, как китайские аниме-студии сразу сокращают количество кадров. Собственно для этого она и создавалась в соавторах Tencent AI Lab.
Есть три режима:
- межкадровая интерполяция. Модель дорисует кадры между двумя key frames. Причем не просто линейным поступательным движением, как это сделано в других работах по интерполяции видео, а полноценная анимация.
- интерполяция, но на башне скетчей. Когда цвета нет.
- окрашивание. Перед тем как анимешку сделают цветной, сначала делают полноценный анимированный эскиз в чб. Вот его теперь будут красить автоматически.
Непонятно, насколько мощный черипик в примерах. Выглядит ну как-то уж слишком хорошо. Хоть здесь и используются для каких-то более сложных вещей эскизы как референсы.
У них, оказывается, уже есть демо. Сгенерил простенькую кошечку — работает офигенно, хоть и две секунды и разрешение шакальное.
Как этого достигли?
1. Хитро зафайнтюнили DynamiCrafter на аниме видосах. Там есть своя специфика, ведь в мультиках много регионов без текстур, и нет motion блура, как в реальных видео.
2. Натренироарли специальный 3D декодер, который берет на вход кроме latent векторов фреймов, ещё и дополнительно исходные первый и последний кадры, чтобы сохранить точную информацию о внешности оьъектов.
Project Page с примерами. Рекомендую глянуть.
Пейпер
Код на гитхабе
Демо на обнимающем лице
72 views
74
19
2 months ago 00:11:57 1
Make your own ANIME with this new mind-blowing AI TOOL! (ComfyUI Tutorial + FREE Workflows!)
5 months ago 00:27:35 1
This AI changes animation forever
6 months ago 00:00:32 1
ToonCrafter первый тест программы для AI-анимаций
6 months ago 00:27:34 83
[AI Search] This AI changes animation forever
6 months ago 00:08:48 1
RIP ANIMATORS! Animate ANYTHING With AI IN 1-CLICK!
7 months ago 00:00:17 10
Glitch dance #anime #shorts #animation
7 months ago 00:01:19 72
ToonCrafter: Аниматоры напряглись, аниме-любители радуются Пока мы ждем сору, вот вам ToonCrafter — прикольная модель для тех
7 months ago 00:00:50 11
Ну, за фазовщиков. Если кто не помнит (95% не знают), что в классической мультипликации были три самые пьющие профессии
4 years ago 00:00:32 7
ToonCraft: animating late...
4 years ago 00:02:16 1
ToonCraft: animating a Revenant
5 years ago 00:02:13 2.5K
ToonCraft - Animating Loba
5 years ago 00:00:07 29
Big shoutout to ToonCraft on their first animation which they smashed, it looks absolutely incredible! 👏🏼 Credit: ToonCraft