UrbanIR: Large-Scale Urban Scene Inverse Rendering from a Single Video
Chih-Hao Lin, 刘博涵 (Bohan Liu), Yi-Ting Chen, Kuan-Sheng Chen, David Forsyth, Jia-Bin Huang, Anand Bhattad, Shenlong Wang
概要
この概要は英語原文から自動翻訳されています。
UrbanIR(Urban Scene Inverse Rendering)を提案する。これは、単一の動画から様々な照明条件におけるシーンのリアルな自由視点レンダリングを可能にする新しい逆グラフィックスモデルである。車載カメラのような広いベースラインの動画から形状、アルベド、可視性、太陽と空の照明を正確に推定し、NeRFの密な視点設定とは一線を画す。この文脈で、標準的な手法はしばしば屋根表現の不正確さや多数の「フローター」など、幾何・マテリアル推定の劣った結果を生む。UrbanIRはこれらの問題を、逆グラフィックス推論の誤差とレンダリングアーティファクトを低減する新規の損失で解決する。その技術により、元のシーンにおける影の体積の精密な推定が可能になる。モデルの出力は制御可能な編集をサポートし、夜間シミュレーション、再照明シーン、挿入オブジェクトのフォトリアルな自由視点レンダリングを可能にする。これは既存の最先端手法に対する大幅な改善である。
原文(英語)
We present UrbanIR (Urban Scene Inverse Rendering), a new inverse graphics model that enables realistic, free-viewpoint renderings of scenes under various lighting conditions with a single video. It accurately infers shape, albedo, visibility, and sun and sky illumination from wide-baseline videos, such as those from car-mounted cameras, differing from NeRF's dense view settings. In this context, standard methods often yield subpar geometry and material estimates, such as inaccurate roof representations and numerous 'floaters'. UrbanIR addresses these issues with novel losses that reduce errors in inverse graphics inference and rendering artifacts. Its techniques allow for precise shadow volume estimation in the original scene. The model's outputs support controllable editing, enabling photorealistic free-viewpoint renderings of night simulations, relit scenes, and inserted objects, marking a significant improvement over existing state-of-the-art methods.
本論文の貢献
一枚の日常的に撮影された動画からの大規模都市シーン逆レンダリング:都市をアルベド・幾何・一時的照明に分解し、従来の単一画像手法を大きく超える写実的な再照明・編集を可能にします。
BibTeX
@inproceedings{lin2025urbanir,
title = {UrbanIR: Large-Scale Urban Scene Inverse Rendering from a Single Video},
author = {Chih-Hao Lin and Bohan Liu and Yi-Ting Chen and Kuan-Sheng Chen and David Forsyth and Jia-Bin Huang and Anand Bhattad and Shenlong Wang},
booktitle = {International Conference on 3D Vision (3DV)},
year = {2025},
url = {https://arxiv.org/abs/2306.09349}
}