第1 部分 概要 1
1 緒論 2
1.1 人工智能、機器學習與深度學習的關係 3
1.1.1 人工智能——機器推理 4
1.1.2 機器學習——數據驅動的科學 5
1.1.3 深度學習——大腦的仿真 8
1.2 深度學習的發展曆程 8
1.3 深度學習技術概述 10
1.3.1 從低層到高層的特徵抽象 11
1.3.2 讓網絡變得更深 13
1.3.3 自動特徵提取 14
1.4 深度學習框架 15
2 Theano 基礎 19
2.1 符號變量 20
2.2 符號計算的抽象——符號計算圖模型 23
2.3 函數 26
2.3.1 函數的定義 26
2.3.2 Logistic迴歸 27
2.3.3 函數的復製 29
2.4 條件錶達式 31
2.5 循環 32
2.6 共享變量 39
2.7 配置 39
2.7.1 通過THEANO_FLAGS配置 40
2.7.2 通過. theanorc文件配置 41
2.8 常用的Debug技巧 42
2.9 小結 43
第2 部分 數學與機器學習基礎篇 45
3 綫性代數基礎 46
3.1 標量、嚮量、矩陣和張量 46
3.2 矩陣初等變換 47
3.3 綫性相關與嚮量空間 48
3.4 範數 49
3.4.1 嚮量範數 49
3.4.2 矩陣範數 53
3.5 特殊的矩陣與嚮量 56
3.6 特徵值分解 57
3.7 奇異值分解 58
3.8 跡運算 60
3.9 樣例：主成分分析 61
4 概率統計基礎 64
4.1 樣本空間與隨機變量 65
4.2 概率分布與分布函數 65
4.3 一維隨機變量 66
4.3.1 離散型隨機變量和分布律 66
4.3.2 連續型隨機變量和概率密度函數 67
4.4 多維隨機變量 68
4.4.1 離散型二維隨機變量和聯閤分布律 69
4.4.2 連續型二維隨機變量和聯閤密度函數 69
4.5 邊緣分布 70
4.6 條件分布與鏈式法則 71
4.6.1 條件概率 71
4.6.2 鏈式法則 73
4.7 多維隨機變量的獨立性分析 73
4.7.1 邊緣獨立 74
4.7.2 條件獨立 74
4.8 數學期望、方差、協方差 75
4.8.1 數學期望 75
4.8.2 方差 76
4.8.3 協方差 76
4.8.4 協方差矩陣 78
4.9 信息論基礎 81
4.9.1 信息熵 81
4.9.2 條件熵 83
4.9.3 互信息 84
4.9.4 相對熵與交叉熵 84
5 概率圖模型 87
5.1 生成模型與判彆模型 89
5.2 圖論基礎 90
5.2.1 圖的結構 90
5.2.2 子圖 91
5.2.3 路徑、跡、環與拓撲排序 92
5.3 貝葉斯網絡 95
5.3.1 因子分解 96
5.3.2 局部馬爾科夫獨立性斷言 99
5.3.3 I-Map與因子分解 100
5.3.4 有效跡 103
5.3.5 D-分離與全局馬爾科夫獨立性 108
5.4 馬爾科夫網絡 108
5.4.1 勢函數因子與參數化錶示 109
5.4.2 馬爾科夫獨立性 111
5.5 變量消除 114
5.6 信念傳播 116
5.6.1 聚類圖 116
5.6.2 團樹 120
5.6.3 由變量消除構建團樹 123
5.7 MCMC采樣原理 126
5.7.1 隨機采樣 127
5.7.2 隨機過程與馬爾科夫鏈 128
5.7.3 MCMC采樣 132
5.7.4 Gibbs采樣 134
5.8 參數學習 137
5.8.1 最大似然估計 137
5.8.2 期望最大化算法 138
5.9 小結 140
6 機器學習基礎 142
6.1 綫性模型 143
6.1.1 綫性迴歸 143
6.1.2 Logistic迴歸 148
6.1.3 廣義的綫性模型 150
6.2 支持嚮量機 151
6.2.1 最優間隔分類器 152
6.2.2 對偶問題 155
6.2.3 核函數 156
6.3 樸素貝葉斯 160
6.4 樹模型 162
6.4.1 特徵選擇 163
6.4.2 剪枝策略 165
6.5 聚類 166
6.5.1 距離度量 167
6.5.2 層次聚類 168
6.5.3 K-means聚類 171
6.5.4 譜聚類 172
7 數值計算與最優化 177
7.1 無約束極小值的最優化條件 177
7.2 梯度下降 179
7.2.1 傳統更新策略 181
7.2.2 動量更新策略 183
7.2.3 改進的動量更新策略 184
7.2.4 自適應梯度策略 187
7.3 共軛梯度 188
7.4 牛頓法 192
7.5 擬牛頓法 194
7.5.1 擬牛頓條件 194
7.5.2 DFP算法 195
7.5.3 BFGS算法 196
7.5.4 L-BFGS算法 197
7.6 約束最優化條件 200
第3 部分 理論與應用篇 205
8 前饋神經網絡 206
8.1 生物神經元結構 207
8.2 人工神經元結構 208
8.3 單層感知機 209
8.4 多層感知機 212
8.5 激活函數 217
8.5.1 激活函數的作用 217
8.5.2 常用的激活函數 219
9 反嚮傳播與梯度消失 225
9.1 經驗風險最小化 227
9.2 梯度計算 228
9.2.1 輸齣層梯度 228
9.2.2 隱藏層梯度 230
9.2.3 參數梯度 234
9.3 反嚮傳播 235
9.4 深度學習訓練的難點 237
9.4.1 欠擬閤——梯度消失 237
9.4.2 過擬閤 240
10 自編碼器及其相關模型 243
10.1 自編碼器 243
10.2 降噪自編碼器 245
10.3 棧式自編碼器 247
10.4 稀疏編碼器 250
10.5 應用：cifar10圖像分類 254
11 玻爾茲曼機及其相關模型 258
11.1 玻爾茲曼機 258
11.2 能量模型 261
11.2.1 能量函數 261
11.2.2 從能量函數到勢函數 262
11.2.3 從勢函數到概率分布 263
11.3 推斷 264
11.3.1 邊緣分布 265
11.3.2 條件分布 267
11.4 學習 270
11.4.1 最大似然估計 271
11.4.2 對比散度 274
11.5 應用：個性化推薦 276
11.5.1 個性化推薦概述 276
11.5.2 個性化推薦架構與算法 279
11.5.3 RBM與協同過濾 285
12 遞歸神經網絡 291
12.1 Elman遞歸神經網絡 292
12.2 時間反嚮傳播 295
12.3 長短時記憶網絡 299
12.4 結構遞歸神經網絡 302
12.5 應用：語言模型 308
12.5.1 N元統計模型 308
12.5.2 基於LSTM 構建語言模型 312
13 捲積神經網絡 318
13.1 捲積運算 319
13.2 網絡結構 320
13.3 捲積層 324
13.4 池化層 329
13.5 應用：文本分類 333
· · · · · · (收起)