Accelerating Neural Point-Based Graphics
Альтернативный проект для нейронного рендеринга: создание 3D-объекта из нескольких фотографий для получения другого изображения с нужным ракурсом.
Это альтернатива мейнстримному нейронному рендерингу, где учится неявная репрезентация плотности либо поверхность. В этом методе новые картинки рендерятся из Point Cloud.
Авторы прокачали предыдующую статью, где дескрипторы точек учились для каждой сцены отдельно. Тут дескрипторы для каждой точки в облаке предсказываются нейронкой за один прогон, то есть одна и таже нейронка может работать на многих сценах.
Метод коротко: запускаем COLMAP, получаем Point Cloud + позиции камер, далее прогоняем входные картинки через CNN, получаем дескрипторы для каждой точки в облаке. Затем мы растеризуем 3D точки вместе с их дескрипторами и прогоняем это все через U-Net, который рендерит итоговую картинку.
Преобразования | |
---|---|
Задачи | |
Сферы |
Real-Time производство, Анимация, Дизайн, Иллюстрация, Композитинг, Производство фильмов, Разработка игр, Электронная коммерция |