Paints-Undo - генерация пошагового видео процесса рисования по исходному изображению
Paints-Undo - генерация пошагового видео процесса рисования по исходному изображению.
Paints-Undo — это проект lllyasviel ( разработчик ForgeUI, FooocusUI, Controlnet, IC-Light ), целью которого является предоставление базовых моделей человеческого поведения при рисовании с надеждой, что будущие модели искусственного интеллекта смогут лучше соответствовать реальным потребностям людей-художников.
Проект представляет собой семейство моделей, которые принимают изображение в качестве входных данных, а затем выводят последовательность рисования этого изображения.
Модель отображает все виды человеческого поведения: рисование эскизов, рисование, раскрашивание, затенение, преобразование форм, переворот влево-вправо, настройку цветовой кривой, изменение видимости слоев, изменение общей идеи в процессе рисования.
Вычислительные потребности: 24 ГБ VRAM на Nvidia 4090 и 3090TI, минимальные потребности - 12-16 ГБ VRAM.
На обработку одного изображения уйдет в среднем 5-10 минут для видео длительностью 25 секунд с FPS=4 в разрешении 512х320 и ниже.
Проект состоит из 2 моделей :
Paints_undo_single_frame - модель берет 1 изображение и каждый указанный шаг за отдельную итерацию в обратном от результата порядке (пояснение на примере с живым рисованием, где одно движение кисти = одному шагу для модели. Диапазон шагов: от 0 до 999, где 0 - законченное изображение, а 999 - первое движение кисти.)
Paints_undo_multi_frame - модель берет 2 изображения и выводит 16 промежуточных кадров между двумя входными изображениями. Результат гораздо более последовательный, чем у однокадровой модели, но также намного медленнее, менее «творческий» и ограничен 16 кадрами.
Архитектура моделей представляет собой модифицированную SD 1.5, помимо этого включает компоненты 3D-UNet, VAE, CLIP, CLIP-Vision, Image Projection.
Локальный запуск:
git clone
cd Paints-UNDO
conda create -n paints_undo python=
conda activate paints_undo
pip install xformers
pip install -r
python
Страница c демо
Github [ Stars: 499 | Issues: 7 | Forks: 29 ]
1 view
63
11
3 months ago 00:00:26 1
Paints-Undo - генерация пошагового видео процесса рисования по исходному изображению
3 months ago 00:34:40 1K
ПОРНО СЕКС МИНЕТ Busty 31 | Сисястые 31 (2024) HD
3 months ago 00:03:17 1
Kylie Cantrall, Alex Boniello - Red (From “Descendants: The Rise of Red“/Lyric Video)
4 months ago 00:02:58 2
Kylie Cantrall, Alex Boniello - Red (From “Descendants: The Rise of Red“)
5 months ago 00:18:31 1
Tutorial Photoshop Manipulation-Apocalyptic-The Last of Us
6 months ago 00:01:31 1
Descendants: The Rise of Red | Paint It Red 🌹❤️ | Teaser | @DisneyDescendants
7 months ago 00:12:30 2
Unreal Engine 5 Tutorial for Beginners: EASY Landscape Creation (UE5.3)
8 months ago 00:03:44 1
Belmont “Liminal“ (Official Music Video)
9 months ago 00:41:27 1
Restoring A Split Painting : Ex Multis Ad Unum - Binaural ASMR(ish)
10 months ago 00:09:27 1
I made another biblically accurate angel
10 months ago 00:33:02 1
Вводный урок по Maya | Взаимодействие с программой | Autodesk Maya
10 months ago 00:25:24 1
Вводный урок по Maya | Интерфейс и Навигация | Autodesk Maya
10 months ago 00:09:44 2
No Credits, 2019 - Coming Home Late: Jo Baer In the Land of the Giants
11 months ago 00:16:26 1
TIPS, TRICKS & TIMING FOR CRAFTING THE PERFECT WET FELTED ROSE
11 months ago 00:09:49 5
Rit Dying Doll Hair Tutorial! Rainbow High and LOL Surprise OMG
11 months ago 00:03:20 1
Free Sticker Maker for WHATSAPP (video demo)
12 months ago 05:00:57 1
Wrecking Team, Book 4 in the Gemini Series. A full length audio book.
12 months ago 00:06:33 3
How to Make Brushes Bigger in Procreate
1 year ago 00:05:23 1
Bob Dylan - Mississippi (Official Audio)
1 year ago 00:13:00 1
25 Procreate Tips and Tricks (2023)
1 year ago 00:00:58 1
A painting by Kandinsky has set a record by selling for $44.5 million
1 year ago 00:03:35 3
Как терраформить при помощи World Edit в Minecraft ? Самодельный ландшафт | туториал | гайд
1 year ago 00:06:08 1
Expand Your Vision With Playground AI’s New Canvas (Beta)