Снова за нейрорендеринг. Вот принес вам два видео из Люма и Креа. Смотрите, давайте немного разберемся
Снова за нейрорендеринг.
Вот принес вам два видео из Люма и Креа.
Смотрите, давайте немного разберемся.
Креа делает видео на основе кода AnimateDiff, то есть генерит последовательность картинок, которые ничего не знают друг про друга. Там нет временной согласованности между кадрами, но есть много ухваток как сгладить этот момент.
Плюсы - изумительное качество картинки. Минусы - то самое кипение и артефакты, родовой признак всех потомков Warp Diffusion.
Люма делает сразу видео. Очень грубо говоря, она рендерит его из своей world model. И как все рендеры, обеспечивает временную согласованность кадров.
Плюсы - нет кипения и мельтешения, минусы - качество самой картинки (пока) типа отстой. Пока.
Если еще грубее и проще. Креа Видео натренирована на картинках, Люма натренирована на видосах (хотя в Креа много сделано для хорошего сглаживания между кадрами).
Ну и тут можно порассуждать, что у генераторов видео, натренированных на видосах в мозгах возникает некая 3Д-сцена (хотя это не 3Д, а некое “ИИ-понимание как устроен наш трехмерный мир“), которую генератор рендерит по нашему запросу, мы просто “подлетаем“ к некоторому участку внутреннего мира модели с помощью промпта и говорим, полетай рядом и пошевели объекты - все как в классическом 3Д. И оно рендерит.
Ну и дальше я опять начну ныть, что в классическом 3Д у нас есть все инструменты для управления анимацией.
А теперь представьте, что их нет, и мы может анимировать объекты только таская их за вертексы, то есть перемоделивая их в ключевых кадрах. Нет ни рига, ни деформеров, только вертексы объектов, за которые можно таскать и то приблизительно, с помощью команд типа “немного вправо“.
И пока видеогенераторы, это такое 3Д без рига и контроля. Да уже есть ключевые кадры и референсные изображения на вход. И стрелки “немного вправо“ в виде Motion Brush. Но на этом пока все.
Зато они рендерят Согласованные кадры. Пусть в качестве Coarse, но скоро подвезут нейроантиалиасинг и ControlNet. Вопрос интерфейсных решений.
13 views
55
12
1 day ago 00:00:53 1
👙 Салон вечерние платья 🔔 Платье на алиэкспресс купить
1 day ago 00:00:53 1
💄 МОДНЫЕ ПЛАТЬЯ 2024 ЖЕНСКИЕ ДЛЯ ПОЛНЫХ 🙆
1 day ago 00:01:22 1
Мытье пластиковых окон домашними средствами 💦
1 day ago 00:01:16 1
[kasai] КАСАЙ ВЕРНУЛСЯ, НО БЕЗ ЧИТОВ НА ХЭЛОУИН🎃 // МУВИК С НОВЫМИ СКИНАМИ В СТАНДОФФ 2 (STANDOFF 2)
1 day ago 00:00:25 279
На Киев
1 day ago 00:42:35 23
Страна пожаров 3 сезон 6 серия
1 day ago 00:43:37 12
Пиратская бухта 4 серия
1 day ago 01:31:31 16
Токийский переворот 3-6 серия
1 day ago 00:00:53 3
👙 СТИЛЬНЫЕ ПЛАТЬЯ КУПИТЬ В МОСКВЕ 👌 ЮБКИ ЯРУСНЫЕ ДЛЯ ПОЛНЫХ ЖЕНЩИН 🔔
1 day ago 00:01:23 1
🚿 КАК ПОМЫТЬ СТЕКЛА НА БАЛКОНЕ
1 day ago 00:00:53 1
Красотка магазин вечерних платьев москва 👍 Французские платья интернет магазин
1 day ago 00:10:32 1
[BIG GEEK] Huawei Mate 70, MacBook от Google, бесконтактные платежи на iPhone — главные новости технологий!
1 day ago 03:06:57 14
Основано на реальных событиях 2 сезон 2-8 серия
1 day ago 00:01:07 5.2K
САЛАТ БУСЫ НА СНЕГУ (ингредиенты в описании)
1 day ago 02:03:57 18
Ограбление по-шведски 2-4 серия
1 day ago 02:56:12 14
Наши океаны 3-5 серия
1 day ago 00:08:24 4
Григорий Лепс лучшие песни Микс - Кавер Дуэт “ Джордж Грант & Ксения “
1 day ago 00:53:54 2
[Джесси] ТЕРРАРИЯ За НОВЫЙ КЛАСС! Полное прохождение TERRARIA!
1 day ago 03:52:33 23
Жестокие игры 3-8 серия
1 day ago 00:20:53 21
Освобождение от боли. Урок 4. Зоя Янковская
1 day ago 00:22:20 25
Ёко из Сэнгоку: Тысяча демонов хаоса/Sengoku Youko: Senma Konton-hen 🕷 16 серия Anilibria
1 day ago 00:05:01 2.2K
Продажа Google Chrome, браузер OpenAI и ИИ-пастор. Главные новости #30