StackFLOW: Монокулярная реконструкция пары “человек-объект“ с использованием многоуровневого нормализующего потока со смещениями

StackFLOW: Монокулярная реконструкция пары “человек-объект“ с использованием многоуровневого нормализующего потока со смещениями. Техническая реализация метода реконструкции состоит из двух фаз: моделирование пространственных отношений и реконструкция человека-объекта в моделируемом пространстве. Кодирование пространственных отношений пары человек-объект выполняется методом “Human-Object Offset“. Для каждой пары вычисляются смещения между всеми якорными точками человека и объекта. Эти смещения позволяют захватить высоко детализированную корреляцию между частями человека и объекта, обеспечивая качественное кодирование 3D пространственных отношений между ними. Затем выполняется монокулярная реконструкция человека и объекта методом “Stacked Normalizing Flow (StackFLOW)“. Для вывода апостериорного распределения пространственных отношений между человеком и объектом из изображения, вносятся векторные корректировки в позу человека и положение объекта, максимизируя правдоподобие выборок и минимизируя потери репроекции 2D-3D соответствия. В процессе разработки метода, StackFLOW сравнивали с существующими методиками реконструкции PHOSA, CHORE и BSTRO на наборах данных BEHAVE и InterCap. По результатам StackFLOW показал конкурентоспособные результаты. В репозитории проекта размещены три варианта запуска проекта локально (демонстрация с окклюзиями, демонстрация оптимизации с несколькими объектами и демо с оптимизацией полной последовательности) подробные инструкции по на датасетах BEHAVE и InterCap. Внимательно прочитайте инструкции к каждому типу запуска, трейн-коду и оценочному запуску! Страница проекта Модель Arxiv Github [ Stars: 8 | Issues: 2 | Forks: 1]