Lighting Network

目标： 从单张图像预测任意点 $p$ 的某方向 $d$ 上的入射光强 $L_i(p,d)$

---

🔧 坐标系设定

• 所有点位与方向均在 图像视角坐标系（View Space） 中定义

---

🧾 输入

• 场景图像 $I$
• 查询点 $p$，方向 $d$

---

🧠 主体结构流程

1. 特征提取

   • 使用 ResNet34 作为 encoder $E$，提取整图特征图： $$F=E(I)$$

2. 射线追踪

   • 从点 $p$ 沿方向 $-d$ 发出射线，找到交点 $s=\text{trace}(p,-d)$
   • 这是一个虚拟光源点

3. 特征获取

   • 投影 $s$ 到图像平面 $\pi (s)$，获得局部图像特征 $F[\pi (s)]$
   • 提取该点的 G-buffer 信息（由 MGNet 输出）：
     • 漫反射率 $K_d$、高光反射率 $K_s$、法线 $N$、粗糙度 $R$

4. 光照预测（MLP 解码器）

   • 输入如下信息给 MLP $f$：
     • 方向 $d$ 的位置编码 $\gamma (d)$
     • 局部特征 $F[\pi (s)]$
     • 局部 G-buffer 特征 $G[\pi (s)]$
   • 输出预测光照强度： $$L_i(p,d)=f\left(\gamma (d),F[\pi (s)],G[\pi (s)]\right)$$

---

🧭 屏幕空间追踪实现（SSRT）

$\text{trace}(p,-d)$ 的实现依赖于 SSRT

• 在 深度图 $D$ 上执行 光线步进（ray marching）
• 步骤如下：
  • 初始化当前光线深度
  • 在屏幕像素中逐步移动光线
  • 每一步比较当前光线深度与像素深度：
    • 若光线深度 > 表面深度 → 命中
    • 否则继续移动，直到图像边缘

---

📌 总结公式

$$\begin{array}{rl}s& =\text{trace}(p,-d)\\ L_i(p,d)& =f\left(\gamma (d),F[\pi (s)],G[\pi (s)]\right)\end{array}$$