Perceptron

• 感知机是神经网络的基本单元
• 在无激活的情况下，感知机就是多元线性回归模型

网络结构与符号

• 输入层：$x_1,x_2$
• 第一层（隐藏层1）：权重 $W^{[1]}$、偏置 $b^{[1]}$
  • 加权求和：$z^{[1]}$
  • 激活后输出：$a^{[1]}=\sigma (z^{[1]})$
• 第二层（隐藏层2）：权重 $W^{[2]}$、偏置 $b^{[2]}$
  • 加权求和：$z^{[2]}$
  • 激活后输出：$a^{[2]}=\sigma (z^{[2]})$
• 输出层：权重 $W^{[3]}$、偏置 $b^{[3]}$
  • 加权求和：$z^{[3]}$
  • 输出：$\hat{y}=\sigma (z^{[3]})$

感知机不仅可以用于线性回归，还可以用于分类问题，特别是二分类任务。
与回归不同，分类的关键在于 Activation Function 的选择。

以一次训练迭代为例：

1. Forward Pass（前向传播）
   计算输出和损失
   1. 初始化 $w_1,w_2,b$（随机或零）。
   2. 计算 $z=w_1{x}_1+w_2{x}_2+b$。
   3. 激活 $\hat{y}=\sigma (z)$。
   4. 计算损失 $L$。
2. Backpropagation（反向传播）
   从损失函数开始，逐层用链式法则计算梯度
   1. 计算梯度 $(\hat{y}-y)$。
3. Optimization Step（优化器更新）
   1. 更新参数。