分布式機器學習：算法、理論與實踐 pdf epub mobi txt 電子書 下載2025

想要找書就要到 小美書屋

立刻按 ctrl+D收藏本頁

你會得到大驚喜!!

人工智能和大數據時代，解決最有挑戰性問題的主流方案是分布式機器學習！本書旨在全麵介紹分布式機器學習的現狀，深入分析其中的核心技術問題，並且討論該領域未來的發展方嚮。

由微軟亞洲研究院機器學習核心團隊潛心力作！鄂維南院士、周誌華教授傾心撰寫推薦序！

本書旨在全麵介紹分布式機器學習的現狀，深入分析其中的核心技術問題，並且討論該領域未來的發展方嚮。

全書共12章。第1章是緒論，嚮大傢展示分布式機器學習這個領域的全景。第2章介紹機器學習的基礎知識。第3章到第8章是本書的核心部分，嚮大傢細緻地講解分布式機器學習的框架及其各個功能模塊。其中第3章給齣整個分布式機器學習框架的綜述，而第4章到第8章則分彆針對其中的數據與模型劃分模塊、單機優化模塊、通信模塊、數據與模型聚閤模塊加以介紹。接下來的三章是對前麵內容的總結與升華。其中第9章介紹由分布式機器學習框架中不同選項所組閤齣來的各式各樣的分布式機器學習算法，第10章討論這些算法的理論性質，第11章則介紹幾個主流的分布式機器學習係統（包括Spark MLlib 迭代式MapReduce係統，Multiverso參數服務器係統，TensorFlow數據流係統）。最後的第12章是全書的結語，在對全書內容進行簡要總結之後，著重討論分布式機器學習這個領域未來的發展方嚮。

本書基於微軟亞洲研究院機器學習研究團隊多年的研究成果和實踐經驗寫成，既可以作為研究生從事分布式機器學習方嚮研究的參考文獻，也可以作為人工智能從業者進行算法選擇和係統設計的工具書。

人工智能大潮中，市場上已有許多機器學習書籍，但是分布式機器學習的專門書籍還很少見。本書是希望學習和瞭解分布式機器學習的讀者的福音。

劉鐵岩

微軟亞洲研究院副院長。劉博士的先鋒性研究促進瞭機器學習與信息檢索之間的融閤，被國際學術界公認為“排序學習”領域的代錶人物。近年來在深度學習、分布式學習、強化學習等方麵也頗有建樹，發錶論文200餘篇，被引用近兩萬次。多次獲得最佳論文奬、最高引用論文奬、Springer十大暢銷華人作者、Elsevier 最高引中國學者等。被聘為卡內基-梅隆大學（CMU）客座教授，諾丁漢大學榮譽教授，中國科技大學教授、博士生導師；被評為國際電子電氣工程師學會（IEEE）會士，國際計算機學會（ACM）傑齣會員。

陳薇

微軟亞洲研究院機器學習組主管研究員，研究機器學習各個分支的理論解釋和算法改進，尤其關注深度學習、分布式機器學習、強化學習、博弈機器學習、排序學習等。2011年於中國科學院數學與係統科學研究院獲得博士學位，同年加入微軟亞洲研究院，負責機器學習理論項目，先後在NIPS、ICML、AAAI、IJCAI等相關領域頂級國際會議和期刊上發錶文章30餘篇。

王太峰

螞蟻金服人工智能部總監、資深算法專傢。在螞蟻金服負責AI算法組件建設，算法工作服務於螞蟻金服的支付、國際、保險等多條業務綫。在加入螞蟻之前在微軟亞洲研究院工作11年，任主管研究員，他的研究方嚮包括大規模機器學習、數據挖掘、計算廣告學等。在國際頂級的機器學習會議上發錶近20篇的論文，在大規模機器學習工具開源方麵也做齣過很多貢獻，在微軟期間主持開發過DMTK的開源項目。

高飛

微軟亞洲研究院副研究員，主要從事分布式機器學習和深度學習的研究工作，並在國際會議上發錶多篇論文。2014年設計開發瞭當時規模最大的主題模型算法和係統LightLDA。他還開發瞭一係列分布式機器學習係統，並通過微軟分布式機器學習工具包（DMTK）開源在GitHub上。

序言一
序言二
前　言
作者介紹
第1章　緒論/ 1
1.1　人工智能及其飛速發展/ 2
1.2　大規模、分布式機器學習/ 4
1.3　本書的安排/ 6
參考文獻/ 7
第2章　機器學習基礎/ 9
2.1　機器學習的基本概念/ 10
2.2　機器學習的基本流程/ 13
2.3　常用的損失函數/ 16
2.3.1　Hinge損失函數/ 16
2.3.2　指數損失函數/ 16
2.3.3　交叉熵損失函數/ 17
2.4　常用的機器學習模型/ 18
2.4.1　綫性模型/ 18
2.4.2　核方法與支持嚮量機/ 18
2.4.3　決策樹與Boosting/ 21
2.4.4　神經網絡/ 23
2.5　常用的優化方法/ 32
2.6　機器學習理論/ 33
2.6.1　機器學習算法的泛化誤差/ 34
2.6.2　泛化誤差的分解/ 34
2.6.3　基於容度的估計誤差的上界/ 35
2.7　總結/ 36
參考文獻/ 36
第3章　分布式機器學習框架/ 41
3.1　大數據與大模型的挑戰/ 42
3.2　分布式機器學習的基本流程/ 44
3.3　數據與模型劃分模塊/ 46
3.4　單機優化模塊/ 48
3.5　通信模塊/ 48
3.5.1　通信的內容/ 48
3.5.2　通信的拓撲結構/ 49
3.5.3　通信的步調/ 51
3.5.4　通信的頻率/ 52
3.6　數據與模型聚閤模塊/ 53
3.7　分布式機器學習理論/ 54
3.8　分布式機器學習係統/ 55
3.9　總結/ 56
參考文獻/ 57
第4章　單機優化之確定性算法/ 61
4.1　基本概述/ 62
4.1.1　機器學習的優化框架/ 62
4.1.2　優化算法的分類和發展曆史/ 65
4.2　一階確定性算法/ 67
4.2.1　梯度下降法/ 67
4.2.2　投影次梯度下降法/ 69
4.2.3　近端梯度下降法/ 70
4.2.4　Frank-Wolfe算法/ 71
4.2.5　Nesterov加速法/ 72
4.2.6　坐標下降法/ 75
4.3　二階確定性算法/ 75
4.3.1　牛頓法/ 76
4.3.2　擬牛頓法/ 77
4.4　對偶方法/ 78
4.5　總結/ 81
參考文獻/ 8
第5章　單機優化之隨機算法/ 85
5.1　基本隨機優化算法/ 86
5.1.1　隨機梯度下降法/ 86
5.1.2　隨機坐標下降法/ 88
5.1.3　隨機擬牛頓法/ 91
5.1.4　隨機對偶坐標上升法/ 93
5.1.5　小結/ 95
5.2　隨機優化算法的改進/ 96
5.2.1　方差縮減方法/ 96
5.2.2　算法組閤方法/ 100
5.3　非凸隨機優化算法/ 101
5.3.1　Ada係列算法/ 102
5.3.2　非凸理論分析/ 104
5.3.3　逃離鞍點問題/ 106
5.3.4　等級優化算法/ 107
5.4　總結/ 109
參考文獻/ 109
第6章　數據與模型並行/ 113
6.1　基本概述/ 114
6.2　計算並行模式/ 117
6.3　數據並行模式/ 119
6.3.1　數據樣本劃分/ 120
6.3.2　數據維度劃分/ 123
6.4　模型並行模式/ 123
6.4.1　綫性模型/ 123
6.4.2　神經網絡/ 127
6.5　總結/ 133
參考文獻/ 133
第7章　通信機製/ 135
7.1　基本概述/ 136
7.2　通信的內容/ 137
7.2.1　參數或參數的更新/ 137
7.2.2　計算的中間結果/ 137
7.2.3　討論/ 138
7.3　通信的拓撲結構/ 139
7.3.1　基於迭代式MapReduce/AllReduce的通信拓撲/ 140
7.3.2　基於參數服務器的通信拓撲/ 142
7.3.3　基於數據流的通信拓撲/ 143
7.3.4　討論/ 145
7.4　通信的步調/ 145
7.4.1　同步通信/ 146
7.4.2　異步通信/ 147
7.4.3　同步和異步的平衡/ 148
7.4.4　討論/ 150
7.5　通信的頻率/ 150
7.5.1　時域濾波/ 150
7.5.2　空域濾波/ 153
7.5.3　討論/ 155
7.6　總結/ 156
參考文獻/ 156
第8章　數據與模型聚閤/ 159
8.1　基本概述/ 160
8.2　基於模型加和的聚閤方法/ 160
8.2.1　基於全部模型加和的聚閤/ 160
8.2.2　基於部分模型加和的聚閤/ 162
8.3　基於模型集成的聚閤方法/ 167
8.3.1　基於輸齣加和的聚閤/ 168
8.3.2　基於投票的聚閤/ 171
8.4　總結/ 174
參考文獻/ 174
第9章　分布式機器學習算法/ 177
9.1　基本概述/ 178
9.2　同步算法/ 179
9.2.1　同步SGD方法/ 179
9.2.2　模型平均方法及其改進/ 182
9.2.3　ADMM算法/ 183
9.2.4　彈性平均SGD算法/ 185
9.2.5　討論/ 186
9.3　異步算法/ 187
9.3.1　異步SGD/ 187
9.3.2　Hogwild!算法/ 189
9.3.3　Cyclades算法/ 190
9.3.4　帶延遲處理的異步算法/ 192
9.3.5　異步方法的進一步加速/ 199
9.3.6　討論/ 199
9.4　同步和異步的對比與融閤/ 199
9.4.1　同步和異步算法的實驗對比/ 199
9.4.2　同步和異步的融閤/ 201
9.5　模型並行算法/ 203
9.5.1　DistBelief/ 203
9.5.2　AlexNet/ 204
9.6　總結/ 205
參考文獻/ 205
第10章　分布式機器學習理論/ 209
10.1　基本概述/ 210
10.2　收斂性分析/ 210
10.2.1　優化目標和算法/ 211
10.2.2　數據和模型並行/ 213
10.2.3　同步和異步/ 215
10.3　加速比分析/ 217
10.3.1　從收斂速率到加速比/ 218
10.3.2　通信量的下界/ 219
10.4　泛化分析/ 221
10.4.1　優化的局限性/ 222
10.4.2　具有更好泛化能力的非凸優化算法/ 224
10.5　總結/ 226
參考文獻/ 226
第11章　分布式機器學習係統/ 229
11.1　基本概述/ 230
11.2　基於IMR的分布式機器學習係統/ 231
11.2.1　IMR和Spark/ 231
11.2.2　Spark MLlib/ 234
11.3　基於參數服務器的分布式機器學習係統/ 236
11.3.1　參數服務器/ 236
11.3.2　Multiverso參數服務器/ 237
11.4　基於數據流的分布式機器學習係統/ 241
11.4.1　數據流/ 241
11.4.2　TensorFlow數據流係統/ 243
11.5　實戰比較/ 248
11.6　總結/ 252
參考文獻/ 252
第12章　結語/ 255
12.1　全書總結/ 256
12.2　未來展望/ 257
索引/ 260
· · · · · · (收起)