第 3 章神经网络 · 从直觉到证明

一个识别数字的系统，首先是一个把像素变成输出的函数。学习并不改变这一点；它改变的是函数中的参数。本章将网络拆成可追踪的计算步骤：线性组合、非线性激活、损失，再到用导数安排参数更新。

从小网络走向语言模型时，向量不再只是几何箭头，也成为可学习的表示。注意力通过分数分配信息，前馈层改变表示，预测误差推动训练。扩散模型则从去噪建立生成过程。每一步都要区分可验证的数学关系、用来说明机制的简化模型，以及需要实验支持的性能结论。

本章学习目标

准备知识：第一章的矩阵与线性组合，第二章的链式法则与梯度。

用最小网络 $\hat y=wa+b$ 拟合一个样本 $a=2,y=4$ 。初始 $w=1,b=1$ ，前向得到预测三，平方损失为一。反向计算得到权重梯度负四、偏置梯度负二。使用学习率 $0.1$ 同时更新，得到 $w=1.4,b=1.2$ ，新预测恰好为四。

这个幸运结果不意味着训练通常一步完成。它与本例只有一条线性约束、损失为二次型及特定步长有关。实际上，任意满足 $2w+b=4$ 的参数都能让这个样本损失为零，因此一个样本无法唯一确定两个参数。这与线性代数中的多解和不可见方向完全相通。

如果再加入不同输入的样本，参数必须同时兼顾多个约束。若数据存在噪声，可能没有一组参数把所有误差都消成零，优化转为寻找合适折中。即使训练误差很小，也还需要独立样本评估。

复习更大模型时，同样按输入表示、前向计算、损失、反向敏感性、更新、外部评估这六步追踪。注意力或扩散改变了内部计算结构，却没有消除这些需要分别说明的问题。