根据输入数据类型的不同分为三类：
-
单张图像（Single Image）
-
极具挑战，单一图像信息不足。
-
使用数据驱动方法（深度学习）推断最可能的场景配置。
-
-
多视角图像（Multi-view Images）
-
来自不同角度的多张图像，显著减少歧义。
-
设计更复杂，但恢复效果通常更好。
-
数据集稀缺、模型架构设计难度大。
-
-
扫描几何（Scanned Geometry）
-
通过 LiDAR 或 RGB-D 设备获取的场景重建几何。
-
可作为约束输入，提高材质与光照估计准确度。
-
支持可微渲染器进行联合优化。
-
1. 传统优化方法 Physics-based Optimization
- 基于物理模型：利用渲染方程构建误差函数，通过最小二乘、矩阵分解等方式优化光照和材质
- 优点：物理可解释性强
- 缺点：对噪声敏感、计算慢
2. 数据驱动方法
- 深度学习直接回归：端到端预测几何、光照、材质
- 优点：速度快，适合实时应用
- 缺点：依赖大规模标注数据，泛化能力受限
3. 混合方法
- 可微渲染（Differentiable Rendering） + 神经网络
- 在网络预测的基础上，通过渲染方程反向传播，直接优化未知的光照和材质参数
- 代表工具：Mitsuba 2、nvdiffrast、PyTorch3D、NeRF（Neural Radiance Fields）
评估标准
3.1 材质编辑（Material Editing）
-
可修改场景中物体的颜色、粗糙度、反照率等
-
应用场景：室内设计、虚拟场景定制
3.2 光照编辑（Light Editing / Re-lighting）
-
调整光源方向、强度和颜色，保持阴影与反射一致
-
示例：Kocsis 等（改变台灯颜色）、Nimier-David 等（模拟一天中不同时间的光照变化）
3.3 物体插入（Object Insertion）
-
将虚拟物体逼真地插入真实或虚拟场景中
-
早期：Karsch 等（少量用户交互即可逼真插入）
-
近期：Srinivasan 等（基于 CNN 生成环境贴图，支持高反射物体）
3.4 评估指标（Metrics）
-
主观评估：用户研究
-
客观指标：PSNR、SSIM、LPIPS 等（下一页应有继续介绍）