1 概述1
1.1 智能問答：讓機器更好地服務於人 1
1.2 問答係統類型介紹 2
1.2.1 基於事實的問答係統 3
1.2.2 基於常見問題集的問答係統 3
1.2.3 開放域的問答係統 4
1.3 使用本書附帶的源碼程序 4
1.3.1 安裝依賴軟件 4
1.3.2 下載源碼 5
1.3.3 執行示例程序 5
1.3.4 聯係我們 6
1.4 全書結構 6
2 機器學習基礎8
2.1 綫性代數 8
2.1.1 標量、嚮量、矩陣和張量 8
2.1.2 矩陣運算 9
2.1.3 特殊類型的矩陣 10
2.1.4 綫性相關 11
2.1.5 範數 12
2.2 概率論基礎 12
2.2.1 隨機變量 13
2.2.2 期望和方差 13
2.2.3 伯努利分布 14
2.2.4 二項分布 14
2.2.5 泊鬆分布 15
2.2.6 正態分布 15
2.2.7 條件概率、聯閤概率和全概率 17
2.2.8 先驗概率與後驗概率 18
2.2.9 邊緣概率 18
2.2.10 貝葉斯公式 18
2.2.11 最大似然估計算法 19
2.2.12 綫性迴歸模型 20
2.2.13 邏輯斯蒂迴歸模型 21
2.3 信息論基礎 22
2.3.1 熵 23
2.3.2 聯閤熵和條件熵 23
2.3.3 相對熵與互信息 24
2.3.4 信道和信道容量 25
2.3.5 最大熵模型 26
2.3.6 信息論與機器學習 29
2.4 統計學習 29
2.4.1 輸入空間、特徵空間與輸齣空間 30
2.4.2 嚮量錶示 30
2.4.3 數據集 31
2.4.4 從概率到函數 31
2.4.5 統計學習三要素 32
2.5 隱馬爾可夫模型 33
2.5.1 隨機過程和馬爾可夫鏈 33
2.5.2 隱馬爾可夫模型的定義 36
2.5.3 三個基本假設及適用場景 37
2.5.4 概率計算問題之直接計算 39
2.5.5 概率計算問題之前嚮算法 40
2.5.6 概率計算問題之後嚮算法 42
2.5.7 預測問題之維特比算法 45
2.5.8 學習問題之Baum-Welch 算法 48
2.6 條件隨機場模型 52
2.6.1 超越HMM 52
2.6.2 項目實踐 55
2.7 總結 59
3 自然語言處理基礎60
3.1 中文自動分詞 60
3.1.1 有嚮無環圖 61
3.1.2 最大匹配算法 63
3.1.3 算法評測 69
3.1.4 由字構詞的方法 72
3.2 詞性標注 77
3.2.1 詞性標注規範 77
3.2.2 隱馬爾可夫模型詞性標注 79
3.3 命名實體識彆 81
3.4 上下文無關文法 82
3.4.1 原理介紹 83
3.4.2 算法淺析 83
3.5 依存關係分析 84
3.5.1 算法淺析 85
3.5.2 項目實踐 92
3.5.3 小結 94
3.6 信息檢索係統 95
3.6.1 什麼是信息檢索係統 95
3.6.2 衡量信息檢索係統的關鍵指標 95
3.6.3 理解非結構化數據 97
3.6.4 倒排索引 98
3.6.5 處理查詢 100
3.6.6 項目實踐 102
3.6.7 Elasticsearch 103
3.6.8 小結 112
3.7 問答語料 113
3.7.1 WikiQA 113
3.7.2 中文版保險行業語料庫InsuranceQA 113
3.8 總結 115
4 深度學習初步116
4.1 深度學習簡史 116
4.1.1 感知機 116
4.1.2 寒鼕和復蘇 117
4.1.3 走齣實驗室 118
4.1.4 寒鼕再臨 119
4.1.5 走嚮大規模實際應用 119
4.2 基本架構 120
4.2.1 神經元 121
4.2.2 輸入層、隱藏層和輸齣層 122
4.2.3 標準符號 123
4.3 神經網絡是如何學習的 124
4.3.1 梯度下降 124
4.3.2 反嚮傳播理論 127
4.3.3 神經網絡全連接層的實現 130
4.3.4 使用簡單神經網絡實現問答任務 131
4.4 調整神經網絡超參數 136
4.4.1 超參數 136
4.4.2 參考建議 137
4.5 捲積神經網絡與池化 138
4.5.1 簡介 138
4.5.2 捲積層的前嚮傳播 139
4.5.3 池化層的前嚮傳播 141
4.5.4 捲積層的實現 141
4.5.5 池化層的實現 145
4.5.6 使用捲積神經網絡實現問答任務 148
4.6 循環神經網絡及其變種 149
4.6.1 簡介 149
4.6.2 循環神經網絡 149
4.6.3 長短期記憶單元和門控循環單元 153
4.6.4 循環神經網絡的實現 156
4.6.5 使用循環神經網絡實現問答任務 159
4.7 簡易神經網絡工具包 160
5 詞嚮量實現及應用161
5.1 語言模型 161
5.1.1 評測 162
5.1.2 ARPA 格式介紹 162
5.1.3 項目實踐 163
5.2 One-hot 錶示法 164
5.3 詞袋模型 165
5.4 NNLM 和RNNLM 165
5.5 word2vec 168
5.5.1 C-BOW 的原理 169
5.5.2 Skip-gram 的原理 172
5.5.3 計算效率優化 174
5.5.4 項目實踐 179
5.6 GloVe 189
5.6.1 GloVe 的原理 189
5.6.2 GloVe 與word2vec 的區彆和聯係 191
5.6.3 項目實踐 193
5.7 fastText 198
5.7.1 fastText 的原理 198
5.7.2 fastText 與word2vec 的區彆和聯係 200
5.7.3 項目實踐 201
5.8 中文近義詞工具包 204
5.8.1 安裝 205
5.8.2 接口 205
5.9 總結 205
6 社區問答中的QA 匹配206
6.1 社區問答任務簡介 206
6.2 孿生網絡模型 207
6.3 QACNN 模型 207
6.3.1 模型構建 207
6.3.2 實驗結果 214
6.4 Decomposable Attention 模型 214
6.4.1 模型介紹 214
6.4.2 模型構建 216
6.5 多比較方式的比較–集成模型 216
6.5.1 模型介紹 216
6.5.2 模型構建 218
6.6 BiMPM 模型 219
6.6.1 模型介紹 219
6.6.2 模型構建 221
7 機器閱讀理解222
7.1 完型填空型機器閱讀理解任務 222
7.1.1 CNN/Daily Mail 數據集 222
7.1.2 Children’s Book Test（CBT）數據集 223
7.1.3 GA Reader 模型 226
7.1.4 SA Reader 模型 227
7.1.5 AoA Reader 模型 228
7.2 答案抽取型機器閱讀理解任務 230
7.2.1 SQuAD 數據集 231
7.2.2 MS MARCO 數據集 232
7.2.3 TriviaQA 數據集 234
7.2.4 DuReader 數據集 235
7.2.5 BiDAF 模型 235
7.2.6 R-Net 模型 237
7.2.7 S-Net 模型 240
7.3 答案選擇型機器閱讀理解任務 243
7.4 展望 245
參考文獻246
· · · · · · (收起)