UrbanIR: Large-Scale Urban Scene Inverse Rendering from a Single Video
Chih-Hao Lin, Bohan Liu, Yi-Ting Chen, Kuan-Sheng Chen, David Forsyth, Jia-Bin Huang, Anand Bhattad, Shenlong Wang
Resumen
Resumen traducido automaticamente a partir del original en ingles.
Presentamos UrbanIR (Urban Scene Inverse Rendering), un nuevo modelo de gráficos inversos que permite renderizados realistas de punto de vista libre de escenas bajo diversas condiciones de iluminación a partir de un único vídeo. Infiere con precisión forma, albedo, visibilidad e iluminación de sol y cielo a partir de vídeos de gran línea base, como los de cámaras montadas en coches, a diferencia de los ajustes de vistas densas de NeRF. En este contexto, los métodos estándar suelen producir estimaciones de geometría y materiales deficientes, como representaciones imprecisas de tejados y numerosos 'floaters'. UrbanIR aborda estos problemas con nuevas pérdidas que reducen los errores en la inferencia de gráficos inversos y los artefactos de renderizado. Sus técnicas permiten una estimación precisa del volumen de sombras en la escena original. Las salidas del modelo soportan edición controlable, permitiendo renderizados fotorrealistas de punto de vista libre de simulaciones nocturnas, escenas reiluminadas y objetos insertados, marcando una mejora significativa sobre los métodos del estado del arte existentes.
Resumen original (ingles)
We present UrbanIR (Urban Scene Inverse Rendering), a new inverse graphics model that enables realistic, free-viewpoint renderings of scenes under various lighting conditions with a single video. It accurately infers shape, albedo, visibility, and sun and sky illumination from wide-baseline videos, such as those from car-mounted cameras, differing from NeRF's dense view settings. In this context, standard methods often yield subpar geometry and material estimates, such as inaccurate roof representations and numerous 'floaters'. UrbanIR addresses these issues with novel losses that reduce errors in inverse graphics inference and rendering artifacts. Its techniques allow for precise shadow volume estimation in the original scene. The model's outputs support controllable editing, enabling photorealistic free-viewpoint renderings of night simulations, relit scenes, and inserted objects, marking a significant improvement over existing state-of-the-art methods.
Qué aporta este trabajo
Renderizado inverso de escenas urbanas a gran escala a partir de un único video capturado sin precauciones: descompone la ciudad en albedo, geometría e iluminación transitoria, permitiendo una reiluminación y edición fotorrealistas muy por encima de los métodos previos de imagen única.
BibTeX
@inproceedings{lin2025urbanir,
title = {UrbanIR: Large-Scale Urban Scene Inverse Rendering from a Single Video},
author = {Chih-Hao Lin and Bohan Liu and Yi-Ting Chen and Kuan-Sheng Chen and David Forsyth and Jia-Bin Huang and Anand Bhattad and Shenlong Wang},
booktitle = {International Conference on 3D Vision (3DV)},
year = {2025},
url = {https://arxiv.org/abs/2306.09349}
}