總目錄
序言 I
1 數據分析引言：分解數據 1
2 實驗：檢驗你的理論 37
3 最優化：尋找最大值 75
4 數據圖形化：圖形讓你更精明 111
5 假設檢驗：假設並非如此 139
6 貝葉斯統計：穿越第一關 169
7 主觀概率：信念數字化 191
8 啓發法：憑人類的天性作分析 225
9 直方圖：數字的形狀 251
10 迴歸：預測 279
11 誤差：閤理誤差 315
12 相關數據庫：你能關聯嗎？ 359
13 整理數據：井然有序 385
附錄A 尾聲：正文未及的十大要訣 417
附錄B 安裝R：啓動R！ 427
附錄C 安裝Excel分析工具：ToolPak 431
細分目錄及各章引子
序言
大腦對待數據分析的態度。一邊是你努力想學會一些知識，一邊是你
的大腦忙著開小差。你的大腦在想：“最好把位置留給更重要的事，
像該離哪些野生動物遠點啊，像光著身子滑雪是不是個壞點子啊。”
既然如此，你該如何引誘你的大腦意識到，懂得數據分析是你安身立
命的根本？
誰適閤閱讀本書？ II
我們瞭解你在想什麼 III
元認知 V
徵服大腦 VII
自述 VIII
技術顧問組 X
緻謝 XI
1.分解數據數據分析引言
Acme化妝品公司需要你齣力 2
首席執行官希望數據分析師幫他提高銷量 3
數據分析就是仔細推敲證據 4
確定問題 5
客戶將幫助你確定問題 6
Acme公司首席執行官給瞭你一些反饋 8
把問題和數據分解為更小的組塊 9
現在再來看看瞭解到的情況 10
評估組塊 13
分析從你介入的那一刻開始 14
提齣建議 15
報告寫好瞭 16
首席執行官欣賞你的工作 17
一則新聞 18
首席執行官確信的觀點讓你誤入歧途 20
你對外界的假設和你確信的觀點就是你的心智模型 21
統計模型取決於心智模型 22
心智模型應當包括你不瞭解的因素 25
首席執行官承認自己有所不知 26
Acme給你發來瞭一長串原始數據 28
深入挖掘數據 31
泛美批發公司確認瞭你的印象 32
迴顧你的工作 35
你的分析讓客戶作齣瞭英明的決策 36
2.實驗
檢驗你的理論
你能嚮彆人揭示自己堅信的信念嗎？正在進行實證檢驗？做個好實驗吧，再
沒有什麼辦法能像一個好實驗那樣，既能解決問題又能揭示事物的真正運行
規律。一個好實驗往往能讓你擺脫對觀察數據的無限依賴，能幫助你理清因
果聯係；可靠的實證數據將讓你的分析判斷更有說服力。
咖啡業的寒鼕到瞭！ 38
星巴仕董事會將在三個月內召開 39
星巴仕調查錶 41
務必使用比較法 42
比較是破解觀察數據的法寶 43
價值感是導緻銷售收入下滑的原因嗎？ 44
一位典型客戶的想法 46
觀察分析法充滿混雜因素 47
店址可能對分析結果有哪些影響 48
拆分數據塊，管理混雜因素 50
情況比預料的更糟！ 53
你需要做一個實驗，指齣哪種策略最有效 54
星巴仕首席執行官已經急不可待 55
星巴仕降價瞭 56
一個月後…… 57
以控製組為基準 58
避免解雇123 61
讓我們重新做一次實驗 62
一個月後… 63
實驗照樣會毀於混雜因素 64
精心選擇分組，避免混雜因素 65
隨機選擇相似組 67
隨機訪談 68
準備就緒，開始實驗 71
結果在此 72
星巴仕找到瞭與經驗吻閤的銷售策略 73
3.尋找最大值最優化
有些東西人人都想多多益善。為此我們上下求索。要是能用數字錶示我
們不斷追求的東西——利潤、錢、效率、速度等，實現更高目標的機會
就在眼前。有一種數據分析工具能夠幫助我們調整決策變量，找齣解決
方案和優化點，使我們最大限度地達到目標。本章將使用這樣一種工具，
並通過強大的電子錶格軟件包Solver來實現這個工具。
現在是浴盆玩具遊戲時間 76
你能控製的變量受到約束條件的限製 79
決策變量是你能控製的因素 79
你碰到瞭一個最優化問題 80
藉助目標函數發現目標 81
你的目標函數 82
列齣有其他約束條件的産品組閤 83
在同一張圖形裏繪製多種約束條件 84
閤理的選擇都齣現在可行區域裏 85
新約束條件改變瞭可行區域 87
用電子錶格實現最優化 90
Solver一氣嗬成解決最優化問題 94
利潤跌穿地闆 97
你的模型隻是描述瞭你規定的情況 98
按照分析目標校正假設 99
提防負相關變量 103
新方案立竿見影 108
你的假設立足於不斷變化的實際情況 109
4.數據圖形化
圖形讓你更精明
數據錶遠非你所需。你的數據龐雜晦澀，各種變量讓你目不暇接，應付堆積
如山的電子錶格不隻令人厭倦不堪，而且確實浪費時間。相反，與僅僅使用
電子錶格不同，一幅用紙不多、栩栩如生的清晰圖像，卻能讓你擺脫“一葉
障目，不見泰山”的煩惱。
新軍隊需要優化網站 112
結果麵世，信息設計師齣局 113
前一位信息設計師提交的三份信息圖 114
這些圖形隱含哪些數據？ 115
體現數據！ 116
這是前一位設計師主動提供的意見 117
數據太多絕不會成為你的問題 118
讓數據變美觀也不是你要解決的問題 119
數據圖形化的根本在於正確比較 120
你的圖形已經比打入冷宮的圖形更有用 123
使用散點圖探索原因 124
最優秀的圖形都是多元圖形 125
同時展示多張圖形，體現更多變量 126
圖形很棒，但網站掌門人仍不滿意 130
優秀的圖形設計有助於思考的原因 131
實驗設計師齣聲瞭 132
實驗設計師們有自己的假設 135
客戶欣賞你的工作 136
訂單從四麵八方滾滾而來！ 137
5.假設並非如此假設檢驗
世事紛紜，真假難辨。人們需要用龐雜多變的數據預測未來，然而免不瞭
剪不斷，理還亂。正因如此，分析師不會簡單聽信浮於錶麵的解釋，也不
會想當然地認可這些解釋的真實性：通過數據分析的仔細推理，分析師能
夠異常細緻地評估大量備選答案，然後將手頭的一切信息整閤到各種模
型中。接下來要學的證僞法即是一種切實有效的非直覺方法。
給我來塊“皮膚”…… 140
我們何時開始生産新手機皮膚？ 141
PodPhone不希望彆人看透他們的下一步行動 142
我們得知的全部信息 143
電膚的分析與數據相符嗎？ 144
電膚得到瞭機密《戰略備忘錄》 145
變量之間可以正相關，也可以負相關 146
現實世界中的各種原因呈網絡關係，而非綫性關係 149
假設幾個PodPhone備選方案 150
用手頭的資料進行假設檢驗 151
假設檢驗的核心是證僞 152
藉助診斷性找齣否定性最小的假設 160
無法一一剔除所有假設，但可以判定哪個假設最強 163
你剛剛收到一條圖片短信…… 164
即將上市！ 167
6.貝葉斯統計
穿越第一關
數據收集工作永不停息。必須確保每一個分析過程都充分利用所搜集到的與
問題有關的數據。雖說你已學會瞭證僞法，處理異質數據源不在話下，可要
是碰到直接概率問題該怎麼辦？這就要講到一個極其方便的分析工具，叫做
貝葉斯規則，這個規則能幫助你利用基礎概率和波動數據做到明察鞦毫。
醫生帶來惱人的消息 170
讓我們逐條細讀正確性分析 173
蜥蜴流感到底有多普遍？ 174
你計算的是假陽性 175
這些術語說的都是條件概率 176
你需要算算 177
1%的人患蜥蜴流感 178
你患蜥蜴流感的幾率仍然非常低 181
用簡單的整數思考復雜的概率 182
搜集到新數據後，用貝葉斯規則處理基礎概率 182
貝葉斯規則可以反復使用 183
第二次試驗結果：陰性 184
新試驗的正確性統計值有變化 185
新信息會改變你的基礎概率 186
放心多瞭！ 189
7. 信念數字化
主觀概率
虛擬數據未嘗不可。真的。不過，這些數字必須描述你的心智狀態，錶
明你的信念。主觀概率就是這樣一種將嚴謹融入直覺的簡便辦法，具體
做法馬上介紹。隨著講解的進行，你將學會如何利用標準偏差評估數據
分布，前麵學過的一個更強大的分析工具也會再次登颱亮相。
背水投資公司需要你效力 192
分析師們相互叫陣 193
主觀概率體現專傢信念 198
主觀概率可能錶明：根本不存在真正的分歧 199
分析師們答復的主觀概率 201
首席執行官不明白你在忙些什麼 202
首席執行官欣賞你的工作 207
標準偏差量度分析點與平均值的偏差 208
這條新聞讓你措手不及 213
貝葉斯規則是修正主觀概率的好辦法 217
首席執行官完全知道該怎麼處理這條新信息瞭 223
俄羅斯股民歡欣鼓舞！ 224
8.啓發法
憑人類的天性做分析
現實世界的風雲變幻讓分析師難以料事如神。總有一些數據可望不可及，即
使有所能及，最優化方法也往往艱深耗時。所幸，生活中的大部分實際思維
活動並非以最理性的方式展開，而是利用既不齊全也不確定的信息，憑經驗
進行處理，迅速做齣決策。奇就奇在這些經驗確實能夠奏效，因此也是進行
數據分析的重要而必要的工具。
邋遢集嚮市議會提交瞭報告 226
邋遢集確實把鎮上打掃得乾乾淨淨 227
邋遢集已經計量瞭自己的工作效果 228
他們的任務是減少散亂垃圾量 229
計量垃圾量不可行 230
問題刁鑽，迴答簡單 231
數據邦市的散亂垃圾結構復雜 232
無法建立和運用統一的散亂垃圾計量模型 233
啓發法是從直覺走嚮最優化的橋梁 236
使用快省樹 239
是否有更簡單的方法評估邋遢集的成就？ 240
固定模式都具有啓發性 244
分析完畢，準備提交 246
看來你的分析打動瞭市議會的議員們 249
9. 數字的形狀直方圖
直方圖能說明什麼？數據的圖形錶示方法不計其數，直方圖是其中齣類
拔萃的一種。直方圖與柱狀圖有些相似，能迅速而有效地匯總數據。接
下來你將用這種小巧而實用的圖形量度數據的分布、差異、集中趨勢等。
無論數據集多麼龐大，隻要畫一張直方圖，就能“看齣”數據中的奧妙。
讓我們在本章中用一個新穎、免費、無所不能的軟件工具繪製直方圖。
員工年度考評即將到來 252
伸手要錢形式多樣 254
這是曆年加薪記錄 255
直方圖體現每組數據的發生頻數 262
直方圖不同區間之間的缺口即數據點之間的缺口 263
安裝並運行R 264
將數據加載到R程序 265
R創建瞭美觀的直方圖 266
用數據的子集繪製直方圖 271
加薪談判有迴報 276
談判要求加薪對你意味著什麼？ 277
10.迴歸
預測
洞悉一切，未蔔先知。迴歸分析法力無邊，隻要使用得法，就能幫助你預測
某些結果值。若與控製實驗同時使用，迴歸分析還能預測未來。商傢狂熱地
運用迴歸分析幫助自己建立模型，預測客戶行為。本章即將讓你看到，明智
地使用迴歸分析，確實能夠帶來巨大效益。
你打算怎麼花這些錢？ 280
以獲取大幅度加薪為目的進行分析 283
稍等片刻……加薪計算器！ 284
這個算法的玄機在於預測加薪幅度 286
用散點圖比較兩種變量 292
直綫能為客戶指明目標 294
使用平均值圖形預測每個區間內的數值 297
迴歸綫預測齣人們的實際加薪幅度 298
迴歸綫對於具有綫性相關特點的數據很有用 300
你需要用一個等式進行精確預測 304
讓R創建一個迴歸對象 306
迴歸方程與散點圖密切相關 309
加薪計算器的算法正是迴歸方程 310
你的加薪計算器沒有照計劃行事…… 313
11. 閤理誤差誤差
世界錯綜復雜。預測有失精準並不稀奇。不過，如果在進行預測的時候
指齣誤差範圍，你和你的客戶就不僅能知道平均預測值，還能知道該誤
差造成的典型偏差，指齣誤差可以讓預測和信念更全麵。通過本章講授
的工具，你還會懂得如何控製誤差及如何盡量降低誤差，從而提高預測
可信度。
客戶大為惱火 316
你的加薪預測算法做瞭什麼？ 317
客戶組成 318
要求加薪25%的傢夥不在模型範圍內 321
如何對待想對數據範圍以外的情況進行預測的客戶 322
由於使用外插法而慘遭解雇的傢夥冷靜下來瞭 327
你隻解決瞭部分問題 328
扭麯的加薪結果數據看起來是什麼樣子？ 329
機會誤差=實際結果與模型預測結果之間的偏差 330
誤差對你和客戶都有好處 334
機會誤差訪談 335
定量地指定誤差 336
用均方根誤差定量錶示殘差分布 337
R模型知道存在均方根誤差 338
R的綫性模型匯總展示瞭均方根誤差 340
分割的根本目的是管理誤差 346
優秀的迴歸分析兼具解釋功能和預測功能 350
相比原來的模型，分區模型能更好地處理誤差 352
你的客戶紛紛迴頭 357
12.你能關聯嗎？ 關係數據庫
如何組織變化多端的多變量數據？一張電子數據錶隻有兩維數據：行和
列。如果你的數據包括許多方麵，則錶格格式很快就會過時。在本章，
你會看齣電子錶格很難管理多變量數據，還能看到關係數據庫管理係統
讓多變量數據的存儲和檢索變得極其簡單。
《數據邦新聞》希望分析銷量 360
這是他們保存的運營跟蹤數據 361
你需要知道數據錶之間的相互關係 362
數據庫就是一係列相互有特定關係的數據 365
找到一條貫穿各種關係的路綫，以便進行必要的比較 366
創建一份穿過這條路徑的電子錶格 366
通過匯總將文章數目和銷量關聯起來 371
看來你的散點圖確實畫得很好 374
復製並粘貼所有這些數據是件痛苦的事 375
用關係數據庫管理關係 376
《數據邦新聞》利用你的關係圖建立瞭一個RDBMS 377
《數據邦新聞》用SQL提取數據 379
RDBMS數據可以進行無窮無盡的比較 382
你上瞭封麵 383
13.井然有序整理數據
亂糟糟的數據毫無用處。許多數據搜集者需要花大量時間整理數據。不
整齊的數據無法進行分割、無法套用公式，甚至無法閱讀，被人們視而
不見也是常事，對不對？其實，你可以做得更好。隻要眼前清楚地浮現
齣希望看到的數據外觀，再用上一些文本處理工具，就能抽絲剝繭地整
理數據，化腐朽為神奇。
剛從停業的競爭對手那兒搞到一份客戶名單 386
數據分析不可告人的秘密 387
Head First獵頭公司想為自己的銷售團隊搞到這份名單 388
清理混亂數據的根本在於準備 392
一旦組織好數據，就能修復數據 393
將#號作為分隔符 394
Excel通過分隔符將數據分成多個列 395
用SUBSTITUTE替換“^”字符 399
所有的“姓”都整理好瞭 400
用SUBSTITUTE替換名字模式太麻煩瞭 402
用嵌套文本公式處理復雜的模式 403
R能用正則錶達式處理復雜的數據模式 404
用sub指令整理“名” 406
現在可以嚮客戶交貨瞭 407
可能尚未大功告成…… 408
為數據排序，讓重復數值集中齣現 409
這些數據有可能來源於某個關係數據庫 412
刪除重復名字 413
你創建瞭美觀、整潔、具有唯一性的記錄 414
Head First獵頭公司正在一網打盡各種人纔！ 415
再見…… 416
附錄A 尾聲
正文未及的十大要訣
你已頗有收獲。但數據分析這門技術不斷變遷，學之不盡。由於本書篇幅有
限，尚有一些密切相關的知識未予介紹，我們將在本附錄中瀏覽十大知識點。
其一：統計知識大全 418
其二：Excel技巧 419
其三：耶魯大學教授Edward Tufte（愛德華•塔夫特）的圖形原則 420
其四：數據透視錶 421
其五：R社區 422
其六：非綫性與多元迴歸 423
其七：原假設-備擇假設檢驗 424
其八：隨機性 424
其九：Google Docs 425
其十：你的專業技能 426
啓動R！ 附錄B 安裝R
強大的數據分析功能靠的是復雜的內部機製。好在隻需幾分鍾就能安裝
和啓動R，本附錄將介紹如何不費吹灰之力安裝R。
附錄C 安裝Excel分析工具
ToolPak
Excel有一些最好的功能在默認情況下並不安裝。為瞭執行第3章的優化和第
9章的直方圖，需要激活Solver和Analysis ToolPak，Excel在默認情況下安
裝瞭這兩種擴展插件，但若非用戶主動操作，這些插件不會被激活。
· · · · · · (收起)