前言

符號錶

部分概述1

章緒論2

1.1樣例：自動駕駛3

1.2模式識彆與機器學習5

1.2.1一個典型的模式識彆流程5

1.2.2模式識彆vs.機器學習8

1.2.3評估、部署和細化9

1.3本書的結構9

習題12

第2章數學背景知識14

2.1綫性代數14

2.1.1內積、範數、距離和正交性14

2.1.2角度與不等式15

2.1.3嚮量投影16

2.1.4矩陣基礎17

2.1.5矩陣乘法18

2.1.6方陣的行列式與逆19

2.1.7方陣的特徵值、特徵嚮量、秩和跡20

2.1.8奇異值分解22

2.1.9(半)正定實對稱矩陣22

2.2概率23

2.2.1基礎23

2.2.2聯閤分布、條件分布與貝葉斯定理25

2.2.3期望與方差/協方差矩陣26

2.2.4不等式27

2.2.5獨立性與相關性28

2.2.6正態分布29

2.3優化與矩陣微積分30

2.3.1局部極小、必要條件和矩陣微積分30

2.3.2凸優化與凹優化31

2.3.3約束優化和拉格朗日乘子法33

2.4算法復雜度34

2.5閱讀材料35

習題35

第3章模式識彆係統概述39

3.1人臉識彆39

3.2一個簡單的近鄰分類器40

3.2.1訓練或學習40

3.2.2測試或預測40

3.2.3近鄰分類器41

3.2.4k-近鄰42

3.3醜陋的細節43

3.4製定假設並化簡46

3.4.1設計工作環境vs.設計復雜算法46

3.4.2假設與簡化47

3.5一種框架51

3.6閱讀材料51

習題53

第4章評估55

4.1簡單情形中的準確率和錯誤率55

4.1.1訓練與測試誤差56

4.1.2過擬閤與欠擬閤56

4.1.3使用驗證集來選擇超參數58

4.1.4交驗證59

4.2化代價/損失61

4.2.1正則化62

4.2.2代價矩陣62

4.2.3貝葉斯決策理論63

4.3不平衡問題中的評估64

4.3.1單個類彆內的比率64

4.3.2ROC麯綫下的麵積65

4.3.3查準率、查全率和F值66

4.4我們能達到100％的準確率嗎?68

4.4.1貝葉斯錯誤率68

4.4.2真實標記69

4.4.3偏置-方差分解70

4.5對評估結果的信心73

4.5.1為什麼要取平均?73

4.5.2為什麼要報告樣本標準差?74

4.5.3比較分類器75

4.6閱讀材料79

習題79

第二部分與領域知識無關的特徵提取83

第5章主成分分析84

5.1動機84

5.1.1維度與內在維度84

5.1.2降維86

5.1.3PCA與子空間方法86

5.2PCA降維到零維子空間86

5.2.1想法-形式化-優化實踐87

5.2.2一個簡單的優化87

5.2.3一些注釋88

5.3PCA降維到一維子空間88

5.3.1新的形式化88

5.3.2優性條件與化簡89

5.3.3與特徵分解的聯係90

5.3.4解91

5.4PCA投影到更多維度91

5.5完整的PCA算法92

5.6方差的分析93

5.6.1從化方差齣發的PCA94

5.6.2一種更簡單的推導95

5.6.3我們需要多少維度呢?95

5.7什麼時候使用或不用PCA呢?96

5.7.1高斯數據的PCA96

5.7.2非高斯數據的PCA96

5.7.3含異常點數據的PCA98

5.8白化變換98

5.9特徵分解vs.SVD98

5.10閱讀材料99

習題99

第6章Fisher綫性判彆103

6.1用於二分類的FLD104

6.1.1想法：什麼是隔得很遠呢?104

6.1.2翻譯成數學語言105

6.1.3散度矩陣vs.協方差矩陣107

6.1.4兩種散度矩陣以及FLD的目標函數108

6.1.5優化108

6.1.6等等,我們有一條捷徑109

6.1.7二分類問題的FLD109

6.1.8陷阱：要是SW不可逆呢?110

6.2用於多類的FLD111

6.2.1稍加修改的符號和SW111

6.2.2SB的候選111

6.2.3三個散度矩陣的故事112

6.2.4解113

6.2.5找到更多投影方嚮113

6.3閱讀材料113

習題114

第三部分分類器與其他工具119

第7章支持嚮量機120

7.1SVM的關鍵思想120

7.1.1簡化它!簡化它!簡化它!120

7.1.2查找（或較大）間隔的分類器121

7.2可視化並計算間隔122

7.2.1幾何的可視化123

7.2.2將間隔作為優化來計算124

7.3化間隔124

7.3.1形式化125

7.3.2各種簡化125

7.4優化與求解127

7.4.1拉格朗日函數與KKT條件127

7.4.2SVM的對偶形式128

7.4.3優的b值與支持嚮量129

7.4.4同時考慮原始形式與對偶形式131

7.5嚮綫性不可分問題和多類問題的擴展131

7.5.1不可分問題的綫性分類器132

7.5.2多類SVM134

7.6核SVM134

7.6.1核技巧135

7.6.2Mercer條件與特徵映射136

7.6.3流行的核函數與超參數137

7.6.4SVM的復雜度、權衡及其他138

7.7閱讀材料139

習題139

第8章概率方法144

8.1思考問題的概率路綫144

8.1.1術語144

8.1.2分布與推斷145

8.1.3貝葉斯定理145

8.2各種選擇146

8.2.1生成式模型vs.判彆式模型146

8.2.2參數化vs.非參數化147

8.2.3該如何看待一個參數呢?148

8.3參數化估計148

8.3.1似然148

8.3.2後驗150

8.3.3貝葉斯151

8.4非參數化估計153

8.4.1一個一維的例子153

8.4.2直方圖近似中存在的問題155

8.4.3讓你的樣本無遠弗屆156

8.4.4核密度估計157

8.4.5帶寬選擇158

8.4.6多變量KDE158

8.5做齣決策159

8.6閱讀材料159

習題160

第9章距離度量與數據變換163

9.1距離度量和相似度度量163

9.1.1距離度量164

9.1.2嚮量範數和度量164

9.1.3lp範數和lp度量165

9.1.4距離度量學習167

9.1.5均值作為一種相似度度量168

9.1.6冪平均核170

9.2數據變換和規範化171

9.2.1綫性迴歸172

9.2.2特徵規範化173

9.2.3數據變換175

9.3閱讀材料177

習題177

0章信息論和決策樹182

10.1前綴碼和霍夫曼樹182

10.2信息論基礎183

10.2.1熵和不確定性184

10.2.2聯閤和條件熵184

10.2.3互信息和相對熵185

10.2.4一些不等式186

10.2.5離散分布的熵187

10.3連續分布的信息論187

10.3.1微分熵188

10.3.2多元高斯分布的熵189

10.3.3高斯分布是熵分布191

10.4機器學習和模式識彆中的信息論192

10.4.1熵192

10.4.2交熵193

10.4.3特徵選擇194

10.5決策樹195

10.5.1異或問題及其決策樹模型195

10.5.2基於信息增益的結點劃分197

10.6閱讀材料198

習題199

第四部分處理變化多端的數據203

1章稀疏數據和未對齊數據204

11.1稀疏機器學習204

11.1.1稀疏PCA?204

11.1.2使用l1範數誘導稀疏性205

11.1.3使用過完備的字典208

11.1.4其他一些相關的話題210

11.2動態時間規整212

11.2.1未對齊的時序數據212

11.2.2思路（或準則）213

11.2.3可視化和形式化214

11.2.4動態規劃215

11.3閱讀材料218

習題218

2章隱馬爾可夫模型222

12.1時序數據與馬爾可夫性質222

12.1.1各種各樣的時序數據和模型222

12.1.2馬爾可夫性質224

12.1.3離散時間馬爾可夫鏈225

12.1.4隱馬爾可夫模型227

12.2HMM學習中的三個基本問題228

12.3α、β和評估問題229

12.3.1前嚮變量和算法230

12.3.2後嚮變量和算法231

12.4γ、δ、ψ和解碼問題234

12.4.1γ和獨立解碼的優狀態234

12.4.2δ、ψ和聯閤解碼的優狀態235

12.5ξ和HMM參數的學習237

12.5.1Baum-Welch：以期望比例來更新?238

12.5.2如何計算ξ238

12.6閱讀材料240

習題241

第五部分高階課題245

3章正態分布246

13.1定義246

13.1.1單變量正態分布246

13.1.2多元正態分布247

13.2符號和參數化形式248

13.3綫性運算與求和249

13.3.1單變量的情形249

13.3.2多變量的情形250

13.4幾何和馬氏距離251

13.5條件作用252

13.6高斯分布的乘積253

13.7應用Ⅰ：參數估計254

13.7.1似然估計254

13.7.2貝葉斯參數估計255

13.8應用Ⅱ：卡爾曼濾波256

13.8.1模型256

13.8.2估計257

13.9在本章中有用的數學258

13.9.1高斯積分258

13.9.2特徵函數259

13.9.3舒爾補&矩陣求逆引理260

13.9.4嚮量和矩陣導數262

習題263

4章EM算法的基本思想266

14.1GMM：一個工作實例266

14.1.1高斯混閤模型266

14.1.2基於隱變量的詮釋.267

14.1.3假若我們能觀測到隱變量,那會怎樣?268

14.1.4我們可以模仿先知嗎?269

14.2EM算法的非正式描述270

14.3期望化算法270

14.3.1聯閤非凹的不完整數據對數似然271

14.3.2(可能是)凹的完整數據對數似然271

14.3.3通用EM的推導272

14.3.4E步和M步274

14.3.5EM算法275

14.3.6EM能收斂嗎?275

14.4EM用於GMM276

14.5閱讀材料279

習題279

5章捲積神經網絡281

15.1預備知識281

15.1.1張量和嚮量化282

15.1.2嚮量微積分和鏈式法則283

15.2CNN概覽283

15.2.1結構283

15.2.2前嚮運行285

15.2.3隨機梯度下降285

15.2.4誤差反嚮傳播286

15.3層的輸入、輸齣和符號287

15.4ReLU層288

15.5捲積層290

15.5.1什麼是捲積?290

15.5.2為什麼要進行捲積?291

15.5.3捲積作為矩陣乘法293

15.5.4剋羅內剋積295

15.5.5反嚮傳播：更新參數296

15.5.6更高維的指示矩陣297

15.5.7反嚮傳播：為前一層準備監督信號298

15.5.8用捲積層實現全連接層300

15.6匯閤層301

15.7案例分析：VGG-16網絡303

15.7.1VGG-Verydeep-16303

15.7.2感受野304

15.8CNN的親身體驗305

15.9閱讀材料305

習題305

參考文獻309

英文索引325

中文索引332

內容虛綫

內容簡介

本書是模式識彆領域的入門教材，係統闡述瞭模式識彆中的基礎知識、主要模型及熱門應用，並給齣瞭近年來本領域一些新的成果和觀點；通過理論學習和動手實踐相結閤的形式使初學者能有效入門，並培養獨立解決任務的能力，為模式識彆的項目開發及相關科研活動打好基礎。

全書共15章，大緻分為五部分：分（~4章）介紹瞭本書的概論和基礎知識，包括緒論、數學背景知識、模式識彆係統概述以及評估；第二部分（第5~6章）介紹瞭與領域知識無關的特徵提取，包括主成分分析和Fisher綫性判彆；第三部分（第7~10章）介紹瞭分類器與其他工具，包括支持嚮量機、概率方法、距離度量與數據變換、信息論和決策樹；第四部分（1~12章）介紹瞭如何處理變化多端的數據，包括稀疏數據和未對齊數據、隱馬爾可夫模型；第五部分（3~15章）介紹瞭一些高階課題，包括正態分布、EM算法和捲積神經網絡。