Снова за нейрорендеринг. Вот принес вам два видео из Люма и Креа. Смотрите, давайте немного разберемся
Снова за нейрорендеринг.
Вот принес вам два видео из Люма и Креа.
Смотрите, давайте немного разберемся.
Креа делает видео на основе кода AnimateDiff, то есть генерит последовательность картинок, которые ничего не знают друг про друга. Там нет временной согласованности между кадрами, но есть много ухваток как сгладить этот момент.
Плюсы - изумительное качество картинки. Минусы - то самое кипение и артефакты, родовой признак всех потомков Warp Diffusion.
Люма делает сразу видео. Очень грубо говоря, она рендерит его из своей world model. И как все рендеры, обеспечивает временную согласованность кадров.
Плюсы - нет кипения и мельтешения, минусы - качество самой картинки (пока) типа отстой. Пока.
Если еще грубее и проще. Креа Видео натренирована на картинках, Люма натренирована на видосах (хотя в Креа много сделано для хорошего сглаживания между кадрами).
Ну и тут можно порассуждать, что у генераторов видео, натренированных на видосах в мозгах возникает некая 3Д-сцена (хотя это не 3Д, а некое “ИИ-понимание как устроен наш трехмерный мир“), которую генератор рендерит по нашему запросу, мы просто “подлетаем“ к некоторому участку внутреннего мира модели с помощью промпта и говорим, полетай рядом и пошевели объекты - все как в классическом 3Д. И оно рендерит.
Ну и дальше я опять начну ныть, что в классическом 3Д у нас есть все инструменты для управления анимацией.
А теперь представьте, что их нет, и мы может анимировать объекты только таская их за вертексы, то есть перемоделивая их в ключевых кадрах. Нет ни рига, ни деформеров, только вертексы объектов, за которые можно таскать и то приблизительно, с помощью команд типа “немного вправо“.
И пока видеогенераторы, это такое 3Д без рига и контроля. Да уже есть ключевые кадры и референсные изображения на вход. И стрелки “немного вправо“ в виде Motion Brush. Но на этом пока все.
Зато они рендерят Согласованные кадры. Пусть в качестве Coarse, но скоро подвезут нейроантиалиасинг и ControlNet. Вопрос интерфейсных решений.
1 view
55
12
2 months ago 00:05:20 1
Юристы, которых побили обманутые ими люди, снова обманули этих людей
2 months ago 01:21:22 1
Экстренный выход мой вновь вконтакте
опять вызываю сатанистов на бой и полезные знания передаю во благо всем созидательным людям
2 months ago 00:00:14 1
Черный
2 months ago 00:09:43 1
Ответы на все вопросы. Узник замка Иф. Аббат Фария. Граф Монте-Кристо. Слова мистика.
2 months ago 00:03:59 1
НЕ ВОЮЙТЕ С РУССКИМИ ♥ НЕ БУДИТЕ ЛИХО ЗРЯ ♥ ВОЕННЫЕ ПЕСНИ ДЛЯ ДУШИ ♥ RUSSIAN MUSIC HITS WLV
2 months ago 00:01:11 1
С субботой!/ Доброе утро, суббота!/ С добрым утром!/Хороших выходных! / Выходной!
2 months ago 00:05:54 1
Торт Мимоза от Камо. Вкусный десерт к чаю
2 months ago 00:05:26 1
Красный бархат от простого парня. Прекрасный торт для праздника
2 months ago 00:23:04 1
Код Лиоко 1 сезон 3 серия - Фантомомания (русская озвучка)
2 months ago 00:05:56 1
«Жених и невеста» - Логинова Валентина (Е. Лазарев)