若某个结果频繁出现，给它较短的编码就能节省总长度。概率因此不仅描述不确定性，也决定我们应该怎样分配表达资源。熵度量来源自身的不确定性；交叉熵则度量使用某个模型编码真实来源时的平均代价。
本章先从二元来源建立直觉，再分解真实不确定性与模型失配。固定真实分布、只改变模型分布，是理解 KL 散度最直接的实验。这也解释第三章中的训练目标：提高实际观察结果的预测概率，会降低平均对数损失。但降低训练损失是否带来可靠泛化，仍是另一项需要检验的主张。
本章学习目标
- 用平均编码长度解释熵。
- 区分真实分布与模型分布在交叉熵中的作用。
- 说明交叉熵、熵与 KL 散度的关系及其条件。
准备知识：有限概率分布、对数与加权平均；第五章可作为对数复习。
本章各节¶
章节综合：预测损失也是一种编码代价
假设样本中第一类占四分之一，用二元模型概率 来编码或预测。经验平均交叉熵为 求导得到 。分母为正，所以 时下降， 时上升，最小点恰在经验频率处。
这说明在当前二元、独立样本模型中，匹配频率会最小化经验编码代价。它没有保证未来样本仍有相同频率，也没有处理参数受复杂网络约束的情况。经验最优与总体最优的区别，需要统计推断补足。
在实验室把 固定为 ，拖动 ，核对导数符号所预测的升降与最低点。再检查最低值等于真实熵，而多付的部分等于 KL。通过概率、编码长度、优化导数三种语言理解同一问题，便完成了这两课的连接。