Log Loss

从抛硬币例子理解 Log Loss

1. 问题背景

• 目标：掷 10 次硬币，前 7 次都是 正面 (heads)，后 3 次都是 反面 (tails)，才能获胜。
• 可以选择一枚硬币，其正面概率为 $p$，反面概率为 $1-p$。

示例硬币：

1. Coin 1：$p=0.7$，$1-p=0.3$
2. Coin 2：$p=0.5$
3. Coin 3：$p=0.3$

---

2. 概率计算

胜利概率：

$$g(p)=p^7(1-p{)}^3$$

示例：

• Coin 1: $0.7^7\times 0.3^3\approx 0.00222$
• Coin 2: $0.5^{10}\approx 0.000976$
• Coin 3: $0.3^7\times 0.7^3\approx 0.000082$

显然 Coin 1 胜率最高。

---

3. 优化 $p$

方法 1：直接求导

$$g^{\prime }(p)=7p^6(1-p{)}^3+p^7\cdot 3(1-p{)}^2(-1)$$

整理因式：

$$g^{\prime }(p)=p^6(1-p{)}^2\left[7(1-p)-3p\right]$$

解 $g^{\prime }(p)=0$ 得：

$$p=0,p=1,p=0.7$$

由于 $p=0,1$ 无法获胜，最优 $p=0.7$。

---

方法 2：取对数简化

对 $g(p)$ 取 $\log$：

$$\log g(p)=7\log p+3\log (1-p)$$

记：

$$G(p)=7\log p+3\log (1-p)$$

求导：

$$G^{\prime }(p)=\frac{7}{p}-\frac{3}{1-p}=0$$

解得：

$$7(1-p)-3p=0\Rightarrow p=0.7$$

---

4. 为什么取对数？

(1) 化乘为加，简化求导

• 原式是多个概率相乘：

$$p^7(1-p{)}^3$$

• 对乘积求导很复杂，尤其是很多项时需要多次用乘法法则（product rule）。
• 取对数后：

$$\log L(p)=7\log p+3\log (1-p)$$

• 变成加法后，求导只需用链式法则：

$$\frac{d}{dp}\log L(p)=\frac{7}{p}-\frac{3}{1-p}$$

---

(2) 数值稳定性

• 多个小概率相乘会得到一个极小的数，容易出现 浮点下溢（underflow）。
• 例如，1000 个小于 1 的概率相乘，结果可能接近 $10^{-300}$，计算机可能会直接当作 0。
• 取对数后：

$$\log (\text{很小的数})=\text{很大的负数}$$

• 计算机可以轻松处理大负数，避免下溢。

---

5. 总结

• 原问题等价于最大化 $p^7(1-p{)}^3$。
• 取对数可大幅简化求导。
• 最优 $p$ 为 $0.7$，对应 Coin 1。
• Log Loss 是分类任务中常用的优化目标函数。