第1章 緒論:數據分析式思維 1
1.1 數據機遇無處不在 1
1.2 案例:颶風 Frances 2
1.3 案例:預測用戶流失 3
1.4 數據科學、數據工程和數據驅動型決策 4
1.5 數據處理和“大數據” 6
1.6 從大數據 1.0 到大數據 2.0 6
1.7 數據與數據科學能力:一種戰略性資産 7
1.8 數據分析式思維 9
1.9 關於本書 10
1.10 重新審視數據挖掘和數據科學 11
1.11 數據科學:一門新興的實驗性學科 12
1.12 小結 12
第2章 商業問題及其數據科學解決方案 14
2.1 從商業問題到數據挖掘任務 14
2.2 有監督方法與無監督方法 17
2.3 數據挖掘及其結果 18
2.4 數據挖掘流程 19
2.4.1 業務理解環節 20
2.4.2 數據理解環節 21
2.4.3 數據準備環節 22
2.4.4 建模環節 22
2.4.5 評估環節 23
2.4.6 部署環節 24
2.5 管理數據科學團隊的含義 25
2.6 其他分析技巧與技術 26
2.6.1 統計 26
2.6.2 數據庫查詢 27
2.6.3 數據倉庫 28
2.6.4 迴歸分析 28
2.6.5 機器學習與數據挖掘 28
2.6.6 運用以上技術解決商業問題 29
2.7 小結 30
第3章 預測建模導論:從相關性到有監督的劃分 31
3.1 建模、歸納與預測 32
3.2 有監督的劃分 35
3.2.1 選取富信息屬性 36
3.2.2 示例:基於信息增益進行屬性選擇 42
3.2.3 使用樹形結構模型進行有監督的劃分 46
3.3 劃分的可視化 52
3.4 把樹視作規則組 53
3.5 概率估計 54
3.6 示例:用樹型歸納解決用戶流失問題 56
3.7 小結 59
第4章 用模型擬閤數據 61
4.1 根據數學函數分類 62
4.1.1 綫性判彆函數 64
4.1.2 目標函數的最優化 66
4.1.3 示例:基於數據挖掘綫性判彆式 67
4.1.4 用綫性判彆函數對實例進行評分和排序 68
4.1.5 支持嚮量機簡介 69
4.2 通過數學函數進行迴歸 71
4.3 類概率估計和邏輯“迴歸” 73
4.4 示例:對比邏輯迴歸和樹型歸納 77
4.5 非綫性方程、支持嚮量機和神經網絡 81
4.6 小結 83
第5章 避免過擬閤 84
5.1 泛化能力 84
5.2 過擬閤 85
5.3 過擬閤檢驗 86
5.3.1 保留數據和擬閤圖 86
5.3.2 樹型歸納的過擬閤問題 88
5.3.3 數值函數的過擬閤問題 89
5.4 示例:綫性函數的過擬閤 90
5.5 * 示例:過擬閤為何有害 95
5.6 從保留評估到交叉驗證 96
5.7 用戶流失數據集迴顧 99
5.8 學習麯綫 100
5.9 避免過擬閤與控製復雜度 101
5.9.1 樹型歸納中的過擬閤規避 102
5.9.2 避免過擬閤的一般方法 102
5.9.3 * 參數優化中的過擬閤規避 104
5.10 小結 106
第6章 相似性、近鄰和簇 107
6.1 相似性和距離 108
6.2 最近鄰推理 109
6.2.1 示例:威士忌分析 110
6.2.2 用最近鄰來進行預測建模 111
6.2.3 近鄰的數量及其影響 113
6.2.4 幾何解釋、過擬閤和復雜度控製 115
6.2.5 最近鄰方法的問題 118
6.3 與相似性和最近鄰相關的一些重要技術細節 119
6.3.1 混閤屬性 119
6.3.2 * 其他距離函數 120
6.3.3 * 組閤函數:計算近鄰的評分 122
6.4 聚類 124
6.4.1 示例:威士忌分析迴顧 124
6.4.2 層次聚類 125
6.4.3 最近鄰迴顧:根據形心的聚類 128
6.4.4 示例:對商業新聞報道進行聚類 132
6.4.5 理解聚類結果 135
6.4.6 * 用有監督學習産生簇描述 136
6.5 退一步:解決業務問題與數據探索 139
6.6 小結 140
第7章 決策分析思維(一):如何評估一個模型 142
7.1 對分類器的評估 143
7.1.1 簡單準確率的問題 143
7.1.2 混淆矩陣 144
7.1.3 樣本類彆不均衡的問題 144
7.1.4 成本收益不均衡的問題 147
7.2 分類問題的推廣 147
7.3 一個重要的分析框架:期望值 148
7.3.1 用期望值規範分類器的使用 148
7.3.2 用期望值規範分類器的評估 149
7.4 評估、基綫性能以及對數據投資的意義 155
7.5 小結 157
第8章 模型性能的可視化 159
8.1 排序,而不是分類 159
8.2 利潤麯綫 161
8.3 ROC 圖像和麯綫 163
8.4 ROC 麯綫下麵積 168
8.5 纍積響應麯綫和提升麯綫 168
8.6 示例:用戶流失模型的性能分析 171
8.7 小結 177
第9章 證據和概率 179
9.1 示例:嚮綫上目標用戶投放廣告 179
9.2 根據概率閤並證據 181
9.2.1 聯閤概率與獨立性 181
9.2.2 貝葉斯法則 182
9.3 將貝葉斯法則應用到數據科學中 183
9.3.1 條件獨立和樸素貝葉斯 184
9.3.2 樸素貝葉斯的優劣勢 186
9.4 證據“提升度”的模型 187
9.5 示例:Facebook“點贊”的證據提升度 188
9.6 小結 190
第10章 文本的錶示和挖掘 191
10.1 為什麼文本很重要 192
10.2 為什麼文本很難處理 192
10.3 錶示法 193
10.3.1 詞袋模型 193
10.3.2 詞頻 193
10.3.3 度量稀疏度:逆文檔頻率 195
10.3.4 TFIDF 196
10.4 示例:爵士音樂傢 197
10.5 *IDF 和熵的關係 200
10.6 詞袋模型之外的方法 202
10.6.1 n-grams 序列 202
10.6.2 命名實體提取 202
10.6.3 主題模型 203
10.7 示例:通過挖掘新聞報道預測股價變動 204
10.7.1 任務 204
10.7.2 數據 205
10.7.3 數據處理 207
10.7.4 結果 208
10.8 小結 211
第11章 決策分析思維(二):麵嚮分析工程 212
11.1 為慈善機構尋找最佳捐贈人 213
11.1.1 期望值框架:分解商業問題,重組解決方案 213
11.1.2 簡短的題外話:選擇性偏差 214
11.2 更復雜的用戶流失示例迴顧 215
11.2.1 期望值框架:構建更復雜的商業問題 215
11.2.2 評估激勵的影響 216
11.2.3 從期望值分解到數據科學解決方案 217
11.3 小結 219
第12章 其他數據科學任務與技術 220
12.1 共現和關聯:尋找匹配項 221
12.1.1 度量意外:提升度和杠杆率 221
12.1.2 示例:啤酒和彩票 222
12.1.3 Facebook 點贊的關聯 223
12.2 用戶畫像:尋找典型行為 225
12.3 鏈路預測和社交推薦 229
12.4 數據約簡、潛在信息和電影推薦 230
12.5 偏差、方差和集成方法 233
12.6 數據驅動的因果解釋和一個病毒式營銷示例 235
12.7 小結 236
第13章 數據科學和經營戰略 237
13.1 數據分析式思維,終極版 237
13.2 用數據科學取得競爭優勢 238
13.3 用數據科學保持競爭優勢 239
13.3.1 令人敬畏的曆史優勢 240
13.3.2 獨一無二的知識産權 240
13.3.3 獨一無二的無形抵押資産 240
13.3.4 優秀的數據科學傢 241
13.3.5 優秀的數據科學管理 242
13.4 吸引和培養數據科學傢及其團隊 243
13.5 檢驗數據科學案例分析 244
13.6 做好準備,接受來源各異的創意 245
13.7 做好準備,評估數據科學項目提案 245
13.7.1 數據挖掘提案示例 246
13.7.2 Big Red 提案中的缺陷 246
13.8 企業的數據科學成熟度 247
第14章 總結 250
14.1 數據科學的基本概念 250
14.1.1 將基本概念應用於新問題:挖掘移動設備數據 252
14.1.2 改變對商業問題解決方案的思考方式 253
14.2 數據做不到的:圈中人迴顧 254
14.3 隱私、道德和挖掘個人數據 256
14.4 數據科學是否還有更多內容 257
14.5 最後一例:從眾包到雲包 257
14.6 最後的話 258
附錄 A 提案評估指南 259
附錄 B 另一個提案示例 262
參考文獻 265
術語錶 273
關於作者 278
· · · · · · (
收起)