️ Sapiens: Семейство ViT-моделей для визуальных задач c изображениями человека
️ Sapiens: Семейство ViT-моделей для визуальных задач c изображениями человека.
Meta Reality Labs выпустила семейство моделей Sapiens, предназначенных для операций с изображениями или видео людей:
вычисления 2D-позы (17, 133 и 308 ключевых точек);
сегментации частей тела (28 категорий);
оценки карты глубины;
извлечения нормалей поверхности.
Модели могут работать с разрешением 1K (1024х1024) и легко адаптируются под специфические задачи путем тонкой настройки моделей. Семейство было обучено на предварительно отобранном корпусе данных в 300 млн изображений, из которого были удалены изображения с водяными знаками, художественной стилизацией, снимки плохого качества и содержащие размытие в движении.
Опубликованные модели разделяются по назначению : sapiens_lite_host - предназначены для инференса, а sapiens_host - длясамостоятельного обучения на ваших данных. Для обеих вариантов наборов выпущены градации плотности:
Sapiens
Sapiens
Sapiens 1B
Sapiens 2B
Разработчики рекомендуют lite-установку для инференса , она оптимизирована для быстрого запуска с минимальными зависимостями и возможностью запуска на нескольких GPU.
Установка и запуск на примере Depth Estimation:
git clone git@:facebookresearch/
export SAPIENS_ROOT=/path/to/sapiens
conda create -n sapiens_lite python=
conda activate sapiens_lite
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
pip install opencv-python tqdm json-tricks
cd $SAPIENS_LITE_ROOT/scripts/demo/[torchscript,bfloat16,float16]
./
Лицензирование : CC-BY-NC-SA-4.0 License
Страница проекта
Набор моделей
Arxiv
Github [ Stars: 75 | Issues: 0 | Forks: 0]
6 views
38
2
1 week ago 00:02:17 1
️Сенатор Климов: Зеленский – физлицо в грязной майке, нельзя называть его «президентом». Утративший легитимность киевский узурпа
1 week ago 00:00:19 8
Видео от Детский сад и начальная школа Манки Сапиенс
1 week ago 00:00:16 1
Видео от SAPIENS_GUIDE
2 weeks ago 00:05:21 10
Staging WW III, with Brian Ruhe
2 weeks ago 00:56:21 3
Panel on Human ET Hybridization Program, Plus New Abilities After ET Contact - Part 2 of 2
2 weeks ago 00:55:06 7
Panel on Congressional UFO Hearings, Plus Views on Mantis Beings – Part 1 of 2
2 weeks ago 00:40:23 2
A Galactic View on Culling the Human Population – Part 2 of 2
2 weeks ago 01:00:01 1.7K
Как Появились и Выживали Первые Люди Полная Эволюция нашего вида
2 weeks ago 00:04:05 181
ГРОТ x ATL x Horus Type Beat 2024 | Synthwave x Retrowave trap beat - Sapiens (prod. Bitodelnya)
2 weeks ago 01:06:24 3K
Антропогенез в свете данных ДНК-генеалогии. Анатолий Клёсов и Герман Артамонов // Фонд СветославЪ
2 weeks ago 00:12:42 13
ГОЛОС. Из цикла “Homo sapiens“
2 weeks ago 01:33:47 1
Homo sapiens (Nikolaus Geyrhalter, 2016)
3 weeks ago 02:18:47 80
А. Маром 25112024 ORESHNIK СОБЫТИЯ СТРЕМИТЕЛЬНО ЗАКРУЧИВАЮТСЯ
3 weeks ago 00:26:35 16
Теория цивилизаций. Зан. 22. ДВИ по обществознанию МГУ. Петров В.С.
2 weeks ago 00:57:58 2.6K
[kuji podcast] Каргинов и Коняев: оскорбления в твиттере и эволюция (KuJi Podcast 21) (2160p)
3 weeks ago 01:28:21 1.4K
Откровения о первых доисторических людях
3 weeks ago 00:11:53 72
1914-12-07 - Его доисторическое прошлое (His Prehistoric Past)
3 weeks ago 01:07:41 6
[Лучшее с Алиповым] Зло внутри Homo sapiens | Лекция - Владимира Алипова ч.1
3 weeks ago 00:59:14 2
[Лучшее с Алиповым] Зло внутри Homo sapiens | Лекция - Владимира Алипова ч.2 Финал
3 weeks ago 00:28:15 11
[Jötunn] ПРОИСХОЖДЕНИЕ ЧЕЛОВЕКА – НЕЙРОБИОЛОГ АЛИПОВ
2 weeks ago 01:13:31 2
#2.2 Карьера дизайнера. Как начать? Как расти? В гостях Саша Лыгин (ex. Яндекс, REDMADROBOT)
3 weeks ago 01:33:47 60
Человек разумный Homo sapiens (2016) реж Николаус Гейрхальтер,звук - dj Vadim Arx - Hidden Orchestra
3 weeks ago 00:00:05 156
Видео от Sapiens Clinic г.Альметьевск
3 weeks ago 00:02:32 298
Светлана Светличная: маленькая история о большом человеке