神经网络是什么？深度学习第一章

核心观点

1. 01

   神经元即持数单元

   每个神经元只保存0到1之间的数，称为激活值。输入层784个神经元对应28×28像素的灰度值，输出层10个神经元对应0-9数字的识别置信度，中间隐藏层暂视为黑箱。

2. 02

   分层结构的识别希望

   理想情况下，第二层检测边缘等低层特征，第三层组合成环、线等子部件，最终层再组合成数字。这种分层抽象也适用于语音解析等任务，但实际网络是否如此工作需训练后验证。

3. 03

   权重与偏置控制激活

   层间连接有权重矩阵和偏置向量。权重决定神经元关注哪些像素模式，偏置设定激活阈值。加权和后经Sigmoid函数压缩到0-1范围，形成下一层激活值。

4. 04

   网络即高维参数函数

   整个网络是从784维输入到10维输出的函数，含约13000个可调整参数。用矩阵向量积可紧凑表达层间变换，这也是机器学习依赖线性代数的原因。

5. 05

   现代网络已少用Sigmoid

   Lisha Li指出，Sigmoid因训练困难已属旧方法，现代深度网络更常用ReLU（修正线性单元）：输入大于阈值时保持原值，否则输出0，这极大提升了深层网络的训练效果。

内容章节