什么是逆渲染
逆渲染（Inverse Rendering / Intrinsic Image Decomposition）是 Rendering（Forward Rendering）的逆过程，是通过二维图像得到三维信息的过程：
- 输入：一系列照片
- 输出：场景的几何（Geometry）、光照（Lighting）和材质（Material）等信息
- 3D Reconstruction 可以视为逆渲染中的几何恢复部分 从已知的观测数据或期望效果出发，反推系统中未知的物理参数（如光照、材质、几何等），与正向渲染（已知全部参数求结果）相反
例如：
Geometry from 3D Reconstruction Methods 后，我们可以进一步 通过逆渲染技术恢复 出物体材质与场景光照，实现不同光照条件下的逼真渲染效果。
逆渲染比三维重建的优点
- 三维重建的数据来源主要是图片，几何精度受限
- 基于神经网络的重建方法存在 Domain Gap 问题（训练分布与实际应用不匹配）
- 逆渲染不仅恢复几何，还能恢复光照和材质信息，信息更丰富，可支持更真实的渲染与编辑
逆渲染的两个核心子问题
- Inverse Lighting Problem（Inverse Lighting）
- 已知场景几何（Ĝ）、材质（K̂）和部分观测辐射亮度 L，，从图像中推断出光源位置、强度、方向、光谱分布等参数
- Inverse Material Problem（Inverse Material）
- 已知几何（Ĝ）、光照（LeL_eLe）和部分 L，从图像中估计物体表面的反射属性（漫反射、镜面反射、粗糙度、法线贴图等）
第三个问题 是 逆几何（Inverse Geometry）：已知光照与材质，推断几何结构。
现代逆渲染的趋势
随着 可微渲染（Differentiable Rendering） 和 神经渲染（Neural Rendering） 的发展，我们可以利用 Rendering Equation 作为桥梁，直接优化 未知的光照和材质参数，从而简化求解流程，并提高精度与真实感。
逆渲染的核心目标就是——从图像中反推出场景的物理属性，而这些属性正好是真实感合成和编辑的底层条件。逆渲染（Inverse Rendering）技术的用途其实很广，可以分成几个方向来看：
1. 真实感合成与编辑
-
物体插入（Object Insertion）
把虚拟物体无缝放进真实照片/视频中（电影特效、广告植入、AR 购物）。 -
光照编辑（Relighting）
改变场景或人物的光照效果（摄影后期、影视调色）。 -
材质替换（Material Editing）
把物体表面的材质换成木头、金属、玻璃等不同质感。 -
全景合成 / 场景扩展（Scene Completion）
基于几何和光照先验延伸或补全画面。
2. 增强现实（AR）与虚拟现实（VR）
-
AR 虚拟试戴/试穿
眼镜、手表、服装在真实环境中实时渲染。 -
虚拟家居摆放
IKEA、淘宝家居类应用中，把家具放进真实房间里。 -
混合现实游戏
虚拟角色能投下符合环境的真实阴影、反射。
3. 3D 重建与数字孪生
-
几何重建（Geometry Reconstruction）
从照片恢复高精度 3D 模型（建筑扫描、文化遗产保护）。 -
材质扫描（Material Scanning）
获取表面反射率、粗糙度等物理参数，用于游戏引擎或工业仿真。 -
光照测量
获取环境光分布，用于实时渲染或光学分析。
4. 视觉感知与机器人
-
机器人操作规划
恢复场景的 3D 结构和物理属性，辅助抓取与导航。 -
自动驾驶
估计道路场景光照、反射率，提升感知鲁棒性。 -
环境监测
分析材质和光照变化，用于安防或质量检测。
5. 影视与游戏制作
-
特效合成（VFX）
提取片场光照，后期渲染特效与演员匹配。 -
实时虚拟拍摄
结合 LED 虚拟背景和逆渲染获取的物理属性，实现实时动态光照变化。
未来发展方向
-
视野外场景的逆渲染
-
现有方法只能处理可见范围内的场景，无法估计视野外物体的几何、光照和材质。
-
未来可结合扩散模型（Diffusion Models）的外延绘制（out-painting）能力，从文本条件生成扩展场景，甚至得到360°全景场景属性，以支持 VR 渲染。
-
-
引入更严格的先验（Priors）
-
逆渲染本质是欠约束问题，需要更多物理、统计或数据驱动的先验来减少歧义。
-
更强的先验能带来更高质量或更低计算成本的结果。
-
-
利用大规模基础模型
- 随着基础模型按“规模定律”变大，它们可以在单图像和少样本场景中为几何、光照、材质估计提供更强指导，弥补传统光线追踪/路径追踪在输入不足时无法达到 SOTA 的问题。
CV 的高阶任务之一就是逆渲染。
-
CV, Computer Vision更广，既包括基于学习的语义推理（比如识别猫狗），也包括物理建模的三维推理。
-
而逆渲染则是偏向物理一致性的三维推理问题。