OmniRe: 3DGS-метод реконструкции и симуляции городской среды

OmniRe: 3DGS-метод реконструкции и симуляции городской среды. OmniRe - метод для целостной реконструкции городских среды с движущимися объектами по существующим видеозаписям. Метод использует нейронный граф сцены и гауссовы представления для моделирования различных динамических объектов - транспортные средства, пешеходов и велосипедистов. OmniRe реконструирует и оптимизирует всю композицию сцены за один этап: гауссовские атрибуты, положения объектов, позы людей и веса сети деформаций. Способность целостного моделирования динамических объектов позволяет применять OmniRe в проектах управления транспортными средствами, моделирования дорожного движения и симуляции поведения человека в условиях городской среды. Ограничения и недостатки: метод не моделирует световые эффекты при различных условиях освещения; OmniRe еще не умеет генерировать отсутствующие или исправлять некорректные ракурсы, когда камера значительно отклоняется от траекторий съемки. Прикладное применения метода реализовано в виде фреймворка Drive Studio. Помимо имплементации метода OmniRe, он имеет ряд полезных функций: гибкое обучение с использованием нескольких камер; использование ядра растеризации gsplat с расширенными функциями абсолютных градиентов, сглаживания и т.д; уточнение ракурса камеры; уточнение границ для Bounding Box объектов в режиме GT; афинное преобразование экспозиции съемки для выравнивания освещенности. Фреймворк поддерживает методы OmniRe, Deformable-GS , PVG , Street Gaussians с использованием набора данных Waymo, NuScenes, NuPlan, ArgoVerse, PandaSet, KITTI. Планы по развитию Drive Studio: разработка средство просмотра в режиме реального времени; инструменты для редактирования и симуляции сцен; поддержка 2DGS, Surfels и других представлений. Важно! Перед началом обучения внимательно ознакомьтесь с