Newton's Method

多次试错，跳到零点。用来求 $G^{\prime }(x)=0$ 的 $x$ 。

1. 基本思想

• 牛顿法原本用途：求解方程 $F(x)=0$（找函数的零点）
• 优化里的用途：最小化 $G(x)$，其实等价于求 $G^{\prime }(x)=0$（梯度为零的点）

2. 一维牛顿法公式

1. 从初始点 $x_0$ 出发
2. 在 $(x_k,F(x_k))$ 处作切线
3. 找切线与 $x$ 轴交点，作为新迭代点 $x_{k+1}$

公式：

$$x_{k+1}=x_k-\frac{F(x_k)}{F^{\prime }(x_k)}$$

---

3. 在优化问题中的改写

• 最小化 $G(x)$ 时，令：

$$F(x)=G^{\prime }(x)$$

• 牛顿迭代公式变为：

$$x_{k+1}=x_k-\frac{G^{\prime }(x_k)}{G^{\prime \prime }(x_k)}$$

解释：

• $G^{\prime }(x_k)$：梯度（斜率）
• $G^{\prime \prime }(x_k)$：二阶导（曲率）
• 更新步长由梯度和曲率共同决定

---

4. 多维情况

在多维优化中：

• 梯度：$\nabla G(\mathbf{x})$
• Hessian 矩阵（曲率）：$H_G(\mathbf{x})$

迭代公式：

$${\mathbf{x}}_{k+1}={\mathbf{x}}_k-H_G({\mathbf{x}}_k{)}^{-1}\nabla G({\mathbf{x}}_k)$$