UrbanIR: Large-Scale Urban Scene Inverse Rendering from a Single Video
Chih-Hao Lin, 刘博涵 (Bohan Liu), Yi-Ting Chen, Kuan-Sheng Chen, David Forsyth, Jia-Bin Huang, Anand Bhattad, Shenlong Wang
초록
이 초록은 영어 원문에서 자동 번역되었습니다.
우리는 UrbanIR(Urban Scene Inverse Rendering)을 제안한다. 단일 비디오로부터 다양한 조명 조건에서 장면의 사실적인 자유 시점 렌더링을 가능하게 하는 새로운 역 그래픽스 모델이다. 차량 탑재 카메라 같은 넓은 베이스라인 비디오로부터 형상, 알베도, 가시도, 태양과 하늘 조명을 정확히 추론하며, NeRF의 밀집 시점 설정과 구별된다. 이 맥락에서 표준 방법은 부정확한 지붕 표현과 수많은 '플로터' 등 열악한 기하·재질 추정을 낳는 경우가 많다. UrbanIR은 역 그래픽스 추론 오차와 렌더링 아티팩트를 줄이는 새로운 손실 함수로 이 문제를 해결한다. 그 기법은 원래 장면에서 그림자 부피의 정밀한 추정을 가능하게 한다. 모델 출력은 제어 가능한 편집을 지원하여 야간 시뮬레이션, 재조명 장면, 삽입 물체의 사실적인 자유 시점 렌더링을 구현하며, 기존 최고 수준 방법 대비 유의미한 향상을 나타낸다.
원문 초록 (영어)
We present UrbanIR (Urban Scene Inverse Rendering), a new inverse graphics model that enables realistic, free-viewpoint renderings of scenes under various lighting conditions with a single video. It accurately infers shape, albedo, visibility, and sun and sky illumination from wide-baseline videos, such as those from car-mounted cameras, differing from NeRF's dense view settings. In this context, standard methods often yield subpar geometry and material estimates, such as inaccurate roof representations and numerous 'floaters'. UrbanIR addresses these issues with novel losses that reduce errors in inverse graphics inference and rendering artifacts. Its techniques allow for precise shadow volume estimation in the original scene. The model's outputs support controllable editing, enabling photorealistic free-viewpoint renderings of night simulations, relit scenes, and inserted objects, marking a significant improvement over existing state-of-the-art methods.
이 논문의 기여
한 번의 캐주얼한 동영상으로부터 대규모 도시 장면 역렌더링: 도시를 알베도, 기하, 일시적 조명으로 분해해, 기존 단일 이미지 방법을 훨씬 뛰어넘는 사실적인 재조명과 편집을 가능하게 합니다.
BibTeX
@inproceedings{lin2025urbanir,
title = {UrbanIR: Large-Scale Urban Scene Inverse Rendering from a Single Video},
author = {Chih-Hao Lin and Bohan Liu and Yi-Ting Chen and Kuan-Sheng Chen and David Forsyth and Jia-Bin Huang and Anand Bhattad and Shenlong Wang},
booktitle = {International Conference on 3D Vision (3DV)},
year = {2025},
url = {https://arxiv.org/abs/2306.09349}
}