第一部分　模型篇
第1章　機器學習簡介　　2
1.1　引言　　2
1.2　基本術語　　3
1.3　重要概念　　5
1.4　圖像分類　　12
1.5　MNIST數據集簡介　　15
第2章　綫性分類器　　17
2.1　綫性模型　　17
2.1.1　綫性分類器　　18
2.1.2　理解綫性分類器　　19
2.1.3　代碼實現　　21
2.2　softmax損失函數　　22
2.2.1　損失函數的定義　　23
2.2.2　概率解釋　　24
2.2.3　代碼實現　　25
2.3　優化　　26
2.4　梯度下降法　　26
2.4.1　梯度的解析意義　　27
2.4.2　梯度的幾何意義　　29
2.4.3　梯度的物理意義　　29
2.4.4　梯度下降法代碼實現　　29
2.5　牛頓法　　30
2.6　機器學習模型統一結構　　31
2.7　正則化　　33
2.7.1　範數正則化　　34
2.7.2　提前終止訓練　　37
2.7.3　概率的進一步解釋　　38
第3章　神經網絡　　39
3.1　數學模型　　39
3.2　激活函數　　41
3.3　代碼實現　　44
3.4　學習容量和正則化　　45
3.5　生物神經科學基礎　　48
第4章　捲積神經網絡的結構　　50
4.1　概述　　50
4.1.1　局部連接　　51
4.1.2　參數共享　　52
4.1.3　3D特徵圖　　52
4.2　捲積層　　53
4.2.1　捲積運算及代碼實現　　54
4.2.2　捲積層及代碼初級實現　　57
4.2.3　捲積層參數總結　　63
4.2.4　用連接的觀點看捲積層　　64
4.2.5　使用矩陣乘法實現捲積層運算　　67
4.2.6　批量數據的捲積層矩陣乘法的代碼實現　　69
4.3　池化層　　74
4.3.1　概述　　74
4.3.2　池化層代碼實現　　76
4.4　全連接層　　79
4.4.1　全連接層轉化成捲積層　　80
4.4.2　全連接層代碼實現　　82
4.5　捲積網絡的結構　　83
4.5.1　層的組閤模式　　83
4.5.2　錶示學習　　86
4.6　捲積網絡的神經科學基礎　　87
第二部分　優化篇
第5章　基於梯度下降法的最優化方法　　90
5.1　隨機梯度下降法SGD　　91
5.2　基本動量法　　93
5.3　Nesterov動量法　　95
5.4　AdaGrad　　95
5.5　RMSProp　　97
5.6　Adam　　98
5.7　AmsGrad　　99
5.8　學習率退火　　99
5.9　參數初始化　　100
5.10　超參數調優　　101
第6章　梯度反嚮傳播算法　　104
6.1　基本函數的梯度　　104
6.2　鏈式法則　　105
6.3　深度網絡的誤差反嚮傳播算法　　107
6.4　矩陣化　　109
6.5　softmax損失函數梯度計算　　111
6.6　全連接層梯度反嚮傳播　　112
6.7　激活層梯度反嚮傳播　　113
6.8　捲積層梯度反嚮傳播　　115
6.9　最大值池化層梯度反嚮傳播　　118
第三部分　實戰篇
第7章　訓練前的準備　　124
7.1　中心化和規範化　　124
7.1.1　利用綫性模型推導中心化　　125
7.1.2　利用屬性同等重要性推導規範化　　126
7.1.3　中心化和規範化的幾何意義　　128
7.2　PCA和白化　　128
7.2.1　從去除綫性相關性推導PCA　　129
7.2.2　PCA代碼　　130
7.2.3　PCA降維　　131
7.2.4　PCA的幾何意義　　133
7.2.5　白化　　134
7.3　捲積網絡在進行圖像分類時如何預處理　　135
7.4　BN　　136
7.4.1　BN前嚮計算　　136
7.4.2　BN層的位置　　137
7.4.3　BN層的理論解釋　　138
7.4.4　BN層在實踐中的注意事項　　139
7.4.5　BN層的梯度反嚮傳播　　140
7.4.6　BN層的地位探討　　141
7.4.7　將BN層應用於捲積網絡　　141
7.5　數據擴增　　142
7.6　梯度檢查　　144
7.7　初始損失值檢查　　146
7.8　過擬閤微小數據子集　　146
7.9　監測學習過程　　147
7.9.1　損失值　　147
7.9.2　訓練集和驗證集的準確率　　148
7.9.3　參數更新比例　　149
第8章　神經網絡實例　　150
8.1　生成數據　　150
8.2　數據預處理　　152
8.3　網絡模型　　153
8.4　梯度檢查　　156
8.5　參數優化　　158
8.6　訓練網絡　　159
8.7　過擬閤小數據集　　162
8.8　超參數隨機搜索　　162
8.9　評估模型　　165
8.10　程序組織結構　　165
8.11　增加BN層　　167
8.12　程序使用建議　　171
第9章　捲積神經網絡實例　　172
9.1　程序結構設計　　173
9.2　激活函數　　173
9.3　正則化　　174
9.4　優化方法　　175
9.5　捲積網絡的基本模塊　　176
9.6　訓練方法　　181
9.7　VGG網絡結構　　186
9.8　MNIST數據集　　197
9.9　梯度檢測　　199
9.10　MNIST數據集的訓練結果　　202
9.11　程序使用建議　　205
第10章　捲積網絡結構的發展　　206
10.1　全局平均池化層　　206
10.2　去掉池化層　　208
10.3　網絡嚮更深更寬發展麵臨的睏難　　209
10.4　ResNet嚮更深發展的代錶網絡　　210
10.5　GoogLeNet嚮更寬發展的代錶網絡　　213
10.6　輕量網絡　　215
10.6.1　1×1深度維度捲積代碼實現　　217
10.6.2　3×3逐特徵圖的捲積代碼實現　　219
10.6.3　逆殘差模塊的代碼實現　　222
10.7　注意機製網絡SENet　　223
· · · · · · (收起)