️ Sapiens: Семейство ViT-моделей для визуальных задач c изображениями человека
️ Sapiens: Семейство ViT-моделей для визуальных задач c изображениями человека.
Meta Reality Labs выпустила семейство моделей Sapiens, предназначенных для операций с изображениями или видео людей:
вычисления 2D-позы (17, 133 и 308 ключевых точек);
сегментации частей тела (28 категорий);
оценки карты глубины;
извлечения нормалей поверхности.
Модели могут работать с разрешением 1K (1024х1024) и легко адаптируются под специфические задачи путем тонкой настройки моделей. Семейство было обучено на предварительно отобранном корпусе данных в 300 млн изображений, из которого были удалены изображения с водяными знаками, художественной стилизацией, снимки плохого качества и содержащие размытие в движении.
Опубликованные модели разделяются по назначению : sapiens_lite_host - предназначены для инференса, а sapiens_host - длясамостоятельного обучения на ваших данных. Для обеих вариантов наборов выпущены градации плотности:
Sapiens
Sapiens
Sapiens 1B
Sapiens 2B
Разработчики рекомендуют lite-установку для инференса , она оптимизирована для быстрого запуска с минимальными зависимостями и возможностью запуска на нескольких GPU.
Установка и запуск на примере Depth Estimation:
git clone git@:facebookresearch/
export SAPIENS_ROOT=/path/to/sapiens
conda create -n sapiens_lite python=
conda activate sapiens_lite
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
pip install opencv-python tqdm json-tricks
cd $SAPIENS_LITE_ROOT/scripts/demo/[torchscript,bfloat16,float16]
./
Лицензирование : CC-BY-NC-SA-4.0 License
Страница проекта
Набор моделей
Arxiv
Github [ Stars: 75 | Issues: 0 | Forks: 0]
6 views
38
2
1 month ago 00:26:34 1
Почему инопланетяне не захотят вступать в контакт с человечеством
1 month ago 00:02:47 1
Balming Tiger - Cunning City
3 months ago 00:11:49 2
Почему выжили только Homo Sapiens? Куда делись остальные виды людей?
3 months ago 00:48:27 1
MAKIN WAVES (Psytrance mix 2024)
3 months ago 01:00:24 1
Как Появились и Выживали Первые Люди? | Полная Эволюция нашего вида @era_dinosaur
3 months ago 01:33:05 11
The Rise of Man - Homo Sapiens Invents Civilizations
3 months ago 00:06:51 41
Гибель австралийской мегафауны
3 months ago 01:04:49 1
Мозг и его возможности. Татьяна Черниговская
3 months ago 00:10:50 1
TIMELAPSE OF THE ENTIRE UNIVERSE
3 months ago 00:36:36 1
Д-р Henning Witte (Швеция) об эфирных имплантатах
3 months ago 00:09:05 1
10-минутное путешествие по эволюции человека на Земле
3 months ago 00:01:10 1
От общего к частному и обратно... #mdart_инфо
3 months ago 00:00:49 1
Кратко о конкуренции... #mdart_инфо
3 months ago 00:00:22 1
Если по чьему то мнению... #mdart_инфо
3 months ago 01:40:14 1
Trois mille milliards : les secrets d’un État en faillite | Le film de Contribuables Associés
3 months ago 00:39:00 1
ОБЗОР ЧЕЛОВЕК-ПАУК 1994 - ЗАРУБА СИМБИОТОВ ИЛИ ЖЕ 3 СЕЗОН
3 months ago 01:20:02 1
Психодиагностика личности. Шизоидный, параноидный и тревожно-мнительный типы личности.
3 months ago 00:50:17 1
DICIASSETTE ANNI DI CLAUSURA. INTIME E SEGRETE CONFESSIONI DI UNA EX SUORA CLARISSA
3 months ago 01:00:44 1
Что уничтожает все цивилизации во Вселенной?
3 months ago 01:21:56 1
Творцы ноосферы: Николай Умов
3 months ago 00:02:09 1
Красное мясо на горизонте событий. Будут ли чиновники запрещать животную пищу после 2025 года?
3 months ago 02:06:51 1
John Digweed Live @ Predio Berta, Alta Gracia, Cordoba Argentina with Tracklist