3D reconstruction from photo

В последнее время в генеративном моделировании наблюдается тенденция создания генераторов с учетом 3D на основе коллекций двумерных изображений. Чтобы вызвать 3D смещение, такие модели обычно полагаются на объемный рендеринг, который дорого использовать при высоком разрешении. За последние месяцы появилось более 10 работ, которые решают эту проблему масштабирования путем обучения отдельного 2D-декодера для апсемплинга изображения низкого разрешения (или тензора признаков), полученного от чистого 3D-генератора. Но это решение обходится недешево: оно не только нарушает многоракурсную согласованность (т.е. форма и текстура меняются при движении камеры), но и обучается геометрии с низкой точностью. В данной работе мы показываем, что можно получить 3D-генератор высокого разрешения с качеством изображения SotA, следуя совершенно другим путем — просто обучая модель по участкам.

Попробовать