具體描述
大數據是當前最為流行的熱點概念之一，其已由技術名詞衍生到對很多行業産生顛覆性影響的社會現象，作為最明確的技術發展趨勢之一，基於大數據的各種新型産品必將會對每個人的日常生活産生日益重要的影響。
《大數據日知錄：架構與算法》從架構與算法角度全麵梳理瞭大數據存儲與處理的相關技術。大數據技術具有涉及的知識點異常眾多且正處於快速演進發展過程中等特點，其技術點包括底層的硬件體係結構、相關的基礎理論、大規模數據存儲係統、分布式架構設計、各種不同應用場景下的差異化係統設計思路、機器學習與數據挖掘並行算法以及層齣不窮的新架構、新係統等。《大數據日知錄：架構與算法》對眾多紛繁蕪雜的相關技術文獻和係統進行瞭擇優汰劣並係統性地對相關知識分門彆類地進行整理和介紹，將大數據相關技術分為大數據基礎理論、大數據係統體係結構、大數據存儲，以及包含批處理、流式計算、交互式數據分析、圖數據庫、並行機器學習的架構與算法以及增量計算等技術分支在內的大數據處理等幾個大的方嚮。通過這種體係化的知識梳理與講解，相信對於讀者整體和係統地瞭解、吸收和掌握相關的優秀技術有極大的幫助與促進作用。
《大數據日知錄：架構與算法》的讀者對象包括對NoSQL 係統及大數據處理感興趣的所有技術人員，以及有誌於投身到大數據處理方嚮從事架構師、算法工程師、數據科學傢等相關職業的在校本科生及研究生。
著者簡介
張俊林是技術書籍《這就是搜索引擎：核心技術詳解》（該書榮獲全國第十二屆輸齣版優秀圖書奬）的作者，目前擔任暢捷通智能平颱總監。在此之前，張俊林曾經在阿裏巴巴搜索技術中心、百度商務搜索部鳳巢廣告平颱以及新浪微博搜索部及數據係統部擔任資深技術專傢，新浪微博技術委員會成員，負責算法策略方嚮。他還曾是智能信息聚閤網站“玩聚網”的聯閤創始人之一。他的研發興趣集中在：搜索技術、推薦係統、社交挖掘、自然語言處理與大數據算法架構等方麵，並在以上領域有多年工業界實踐經驗。
張俊林本科畢業於天津大學管理學院，1999年至2004年在中科院軟件所直接攻讀博士學位，研究方嚮是信息檢索理論與自然語言處理，就學期間曾在ACL/COLING/IJCNLP等國際頂級會議發錶多篇學術論文，另外，他在此期間領導設計的搜索係統曾在美國國防部DARPA主持的TREC第二屆高精度檢索係統評測中在17支國際高水平研究團隊激烈競爭中勝齣，並取得綜閤排名第一名的優異成績。
圖書目錄
第0 章 當談論大數據時我們在談什麼................ 1
0.1 大數據是什麼.......................... 2
0.2 大數據之翼：技術範型轉換......................................... 4
0.3 大數據商業煉金術................................ 6
0.4 “大數據”在路上................................................... 7
第1 章 數據分片與路由.............................................. 9
1.1 抽象模型.......................................................10
1.2 哈希分片（Hash Partition） ..............................11
1.2.1 Round Robin....................................11
1.2.2 虛擬桶（Virtual Buckets） ..........................12
1.2.3 一緻性哈希（Consistent Hashing） ...........................13
1.3 範圍分片（Range Partition） ......................................18
參考文獻......................................19
第2 章 數據復製與一緻性................................................20
2.1 基本原則與設計理念............................21
2.1.1 原教旨CAP 主義..............................................21
2.1.2 CAP 重裝上陣（CAP Reloaded）.............................23
2.1.3 ACID 原則...............................................24
2.1.4 BASE 原則.................................................24
2.1.5 CAP/ACID/BASE 三者的關係...........................25
2.1.6 冪等性（Idempotent）........................................26
2.2 一緻性模型分類.................................................26
2.2.1 強一緻性............................................27
2.2.2 最終一緻性........................................28
2.2.3 因果一緻性.............................28
2.2.4 “讀你所寫”一緻性....................................29
2.2.5 會話一緻性....................................29
2.2.6 單調讀一緻性..............................................30
2.2.7 單調寫一緻性.....................................................30
2.3 副本更新策略...........................30
2.3.1 同時更新..........................................30
2.3.2 主從式更新.....................................31
2.3.3 任意節點更新......................................32
2.4 一緻性協議...........................................................32
2.4.1 兩階段提交協議（Two-Phrase Commit，2PC）..........................33
2.4.2 嚮量時鍾（Vector Clock） ..............................38
2.4.3 RWN 協議.................................................40
2.4.4 Paxos 協議.............................................42
2.4.5 Raft 協議.............................................45
參考文獻................................................49
第3 章 大數據常用的算法與數據結構....................................51
3.1 布隆過濾器（Bloom Filter） ............................51
3.1.1 基本原理.............................................52
3.1.2 誤判率及相關計算..........................................52
3.1.3 改進：計數Bloom Filter....................................53
3.1.4 應用............................................54
3.2 SkipList............................................55
3.3 LSM 樹........................................58
3.4 Merkle 哈希樹（Merkle Hash Tree） .............................62
3.4.1 Merkle 樹基本原理..................................................62
3.4.2 Dynamo 中的應用.........................................63
3.4.3 比特幣中的應用..................................................63
3.5 Snappy 與LZSS 算法..........................................65
3.5.1 LZSS 算法.............................................65
3.5.2 Snappy..........................................67
3.6 Cuckoo 哈希（Cuckoo Hashing） ..................................67
3.6.1 基本原理...............................................68
3.6.2 應用：SILT 存儲係統.........................................68
參考文獻...................................................70
第4 章 集群資源管理與調度.......................................71
4.1 資源管理抽象模型...................................72
4.1.1 概念模型....................................72
4.1.2 通用架構...............................................73
4.2 調度係統設計的基本問題.....................................74
4.2.1 資源異質性與工作負載異質性............................74
4.2.2 數據局部性（Data Locality） ........................................75
4.2.3 搶占式調度與非搶占式調度...................................75
4.2.4 資源分配粒度（Allocation Granularity） .............76
4.2.5 餓死（Starvation）與死鎖（Dead Lock）問題...........................76
4.2.6 資源隔離方法........................................77
4.3 資源管理與調度係統範型.............................77
4.3.1 集中式調度器（Monolithic Scheduler）.......................78
4.3.2 兩級調度器（Two-Level Scheduler） .........................79
4.3.3 狀態共享調度器（Shared-State Scheduler） ....................79
4.4 資源調度策略...............................................81
4.4.1 FIFO 調度策略..........................................81
4.4.2 公平調度器（Fair Scheduler）......................81
4.4.3 能力調度器（Capacity Scheduler） ..........................82
4.4.4 延遲調度策略（Delay Scheduling）............................82
4.4.5 主資源公平調度策略（Dominant Resource Fair Scheduling）.............82
4.5 Mesos .................................84
4.6 YARN......................................87
參考文獻..............................................90
第5 章 分布式協調係統...................................91
5.1 Chubby 鎖服務...............................92
5.1.1 係統架構........................................93
5.1.2 數據模型..................................94
5.1.3 會話與KeepAlive 機製...............................95
5.1.4 客戶端緩存.......................................95
5.2 ZooKeeper ................................96
5.2.1 體係結構...........................................96
5.2.2 數據模型（Data Model） .............................97
5.2.3 API ...............................98
5.2.4 ZooKeeper 的典型應用場景..................................98
5.2.5 ZooKeeper 的實際應用.......................................103
參考文獻...................................104
第6 章 分布式通信..............................106
6.1 序列化與遠程過程調用框架..................................107
6.1.1 Protocol Buffer 與Thrift .....................108
6.1.2 Avro...............................109
6.2 消息隊列.....................................110
6.2.1 常見的消息隊列係統......................................110
6.2.2 Kafka .......................111
6.3 應用層多播通信（Application-Level Multi-Broadcast）........114
6.3.1 概述...............................114
6.3.2 Gossip 協議...........................115
參考文獻..........................118
第7 章 數據通道.........................................120
7.1 Log 數據收集.................................120
7.1.1 Chukwa........................121
7.1.2 Scribe......................122
7.2 數據總綫......................................123
7.2.1 Databus............................125
7.2.2 Wormhole .......................127
7.3 數據導入/導齣...........................................128
參考文獻.............................129
第8 章 分布式文件係統....................................131
8.1 Google 文件係統（GFS） .................................132
8.1.1 GFS 設計原則...........................................132
8.1.2 GFS 整體架構..............................133
8.1.3 GFS 主控服務器..................................134
8.1.4 係統交互行為.................................136
8.1.5 Colossus ........................137
8.2 HDFS ..........................138
8.2.1 HDFS 整體架構.................................139
8.2.2 HA 方案..............................140
8.2.3 NameNode 聯盟........................143
8.3 HayStack 存儲係統....................................145
8.3.1 HayStack 整體架構.................................146
8.3.2 目錄服務..................................147
8.3.3 HayStack 緩存...........................................148
8.3.4 HayStack 存儲係統的實現...............................148
8.4 文件存儲布局.........................................150
8.4.1 行式存儲........................................151
8.4.2 列式存儲...........................................151
8.4.3 混閤式存儲........................................156
8.5 糾刪碼（Erasure Code）.............................158
8.5.1 Reed-Solomon 編碼...............................159
8.5.2 LRC 編碼.....................................164
8.5.3 HDFS-RAID 架構.........................166
參考文獻.....................................166
第9 章 內存KV 數據庫...................................168
9.1 RAMCloud ..............................169
9.1.1 RAMCloud 整體架構................................169
9.1.2 數據副本管理與數據恢復................................170
9.2 Redis....................................172
9.3 MemBase ...............................173
參考文獻................................................175
第10 章 列式數據庫...........................................176
10.1 BigTable....................................177
10.1.1 BigTable 的數據模型..........................177
10.1.2 BigTable 的整體結構................................178
10.1.3 BigTable 的管理數據.............................179
10.1.4 主控服務器（Master Server）......................181
10.1.5 子錶服務器（Tablet Server） ....................182
10.2 PNUTS 存儲係統........................................186
10.2.1 PNUTS 的整體架構..............................186
10.2.2 存儲單元...............................187
10.2.3 子錶控製器與數據路由器..................................187
10.2.4 雅虎消息代理.............................188
10.2.5 數據一緻性.........................................189
10.3 MegaStore..................................................190
10.3.1 實體群組切分......................191
10.3.2 數據模型........................................192
10.3.3 數據讀/寫與備份.................................193
10.4 Spanner .........................................194
10.4.1 SpanServer 軟件棧.........................................195
10.4.2 數據模型.........................................196
10.4.3 TrueTime ...........................................196
參考文獻..............................................197
第11 章 大規模批處理係統...................................199
11.1 MapReduce 計算模型與架構................................200
11.1.1 計算模型.......................................201
11.1.2 係統架構......................................203
11.1.3 MapReduce 計算的特點及不足......................................206
11.2 MapReduce 計算模式...........................206
11.2.1 求和模式（Summarization Pattern）................207
11.2.2 過濾模式（Filtering Pattern） ................208
11.2.3 組織數據模式（Data Organization Pattern） .....................210
11.2.4 Join 模式（Join Pattern）......................212
11.3 DAG 計算模型..........................................214
11.3.1 DAG 計算係統的三層結構............................214
11.3.2 Dryad .......................................215
11.3.3 FlumeJava 和Tez ........................................217
參考文獻...........................................218
第12 章 流式計算........................................219
12.1 流式計算係統架構....................................222
12.1.1 主從架構............................................222
12.1.2 P2P 架構.....................................................223
12.1.3 Samza 架構..........................................224
12.2 DAG 拓撲結構..........................................224
12.2.1 計算節點.....................................................225
12.2.2 數據流..............................................226
12.2.3 拓撲結構..................................226
12.3 送達保證（Delivery Guarantees）..............................229
12.3.1 Storm 的送達保證機製.................................230
12.3.2 MillWheel 的“恰好送達一次”機製...........................233
12.4 狀態持久化...........................................234
12.4.1 容錯的三種模式....................................234
12.4.2 Storm 的狀態持久化.......................................236
12.4.3 MillWheel 和Samza 的狀態持久化......................237
參考文獻............................................238
第13 章 交互式數據分析...................................240
13.1 Hive 係數據倉庫.................................242
13.1.1 Hive .....................................242
13.1.2 StingerInitiative ................................250
13.2 Shark 係數據倉庫..................................251
13.2.1 Shark 架構.........................................252
13.2.2 部分DAG 執行引擎（PDE） ........................253
13.2.3 數據共同分片.........................................254
13.3 Dremel 係數據倉庫...................................254
13.3.1 Dremel...........................255
13.3.2 PowerDrill ..........................258
13.3.3 Impala.................................261
13.3.4 Presto...............................264
13.4 混閤係數據倉庫......................................265
參考文獻.................................269
第14 章 圖數據庫：架構與算法................................271
14.1 在綫查詢類圖數據庫...........................272
14.1.1 三層結構.........................272
14.1.2 TAO 圖數據庫.................................273
14.2 常見圖挖掘問題..........................................277
14.2.1 PageRank 計算.......................................278
14.2.2 單源最短路徑（Single Source Shortest Path） ..................278
14.2.3 二部圖最大匹配.............................279
14.3 離綫挖掘數據分片..............................................279
14.3.1 切邊法（Edge-Cut）......................................280
14.3.2 切點法（Vertex-Cut）...............................282
14.4 離綫挖掘計算模型...................................284
14.4.1 以節點為中心的編程模型..........................284
14.4.2 GAS 編程模型...........................................285
14.4.3 同步執行模型.....................................286
14.4.4 異步執行模型...................................290
14.5 離綫挖掘圖數據庫.................................292
14.5.1 Pregel..........................292
14.5.2 Giraph...............................299
14.5.3 GraphChi ............................301
14.5.4 PowerGraph.......................307
參考文獻.......................................311
第15 章 機器學習：範型與架構.........................................313
15.1 分布式機器學習...........................................314
15.1.1 機器學習簡介.............................................314
15.1.2 數據並行VS.模型並行.....................................316
15.2 分布式機器學習範型.....................317
15.2.1 三種範型...................................318
15.2.2 MapReduce 迭代計算模型........................319
15.2.3 BSP 計算模型...................................321
15.2.4 SSP 模型............................323
15.3 分布式機器學習架構...................................324
15.3.1 MapReduce 係列..................................325
15.3.2 Spark 及MLBase ..........................................327
15.3.3 參數服務器（Parameter Server）.............332
參考文獻................................................335
第16 章 機器學習：分布式算法...............................337
16.1 計算廣告：邏輯迴歸.......................................338
16.1.1 邏輯迴歸（Logistic Regression，LR）.............................338
16.1.2 並行隨機梯度下降（Parallel Stochastic Gradient Descent）............341
16.1.3 批學習並行邏輯迴歸..................................341
16.2 推薦係統：矩陣分解................................................344
16.2.1 矩陣分解方法.......................................344
16.2.2 ALS-WR 算法............................................346
16.2.3 並行版ALS-WR 算法..............................347
16.3 搜索引擎：機器學習排序................................347
16.3.1 機器學習排序簡介.................................348
16.3.2 LambdaMART.................................349
16.3.3 分布式LambdaMART........................................351
16.4 自然語言處理：文檔相似性計算.......................................352
16.5 社交挖掘：譜聚類.................................355
16.5.1 社交挖掘實例...............................355
16.5.2 譜聚類....................................356
16.5.3 並行版譜聚類..........................................358
16.6 深度學習：DistBelief .............................................358
16.6.1 深度學習簡介........................................359
16.6.2 DistBelief.....................360
參考文獻.........................................364
第17 章 增量計算..........................................366
17.1 增量計算模式...........................367
17.1.1 兩種計算模式...............................367
17.1.2 Hadoop 平颱下增量計算的一般模式.............................368
17.2 Percolator................................370
17.2.1 事務支持..........................................371
17.2.2 “觀察/通知”體係結構...........................373
17.3 Kineograph ............................374
17.3.1 整體架構.........................................375
17.3.2 增量計算機製....................................375
17.4 DryadInc ....................................376
參考文獻..............................................................377
附錄A 硬件體係結構及常用性能指標......................................378
附錄B 大數據必讀文獻....................................380
· · · · · · (收起)
0.1 大數據是什麼.......................... 2
0.2 大數據之翼：技術範型轉換......................................... 4
0.3 大數據商業煉金術................................ 6
0.4 “大數據”在路上................................................... 7
第1 章 數據分片與路由.............................................. 9
1.1 抽象模型.......................................................10
1.2 哈希分片（Hash Partition） ..............................11
1.2.1 Round Robin....................................11
1.2.2 虛擬桶（Virtual Buckets） ..........................12
1.2.3 一緻性哈希（Consistent Hashing） ...........................13
1.3 範圍分片（Range Partition） ......................................18
參考文獻......................................19
第2 章 數據復製與一緻性................................................20
2.1 基本原則與設計理念............................21
2.1.1 原教旨CAP 主義..............................................21
2.1.2 CAP 重裝上陣（CAP Reloaded）.............................23
2.1.3 ACID 原則...............................................24
2.1.4 BASE 原則.................................................24
2.1.5 CAP/ACID/BASE 三者的關係...........................25
2.1.6 冪等性（Idempotent）........................................26
2.2 一緻性模型分類.................................................26
2.2.1 強一緻性............................................27
2.2.2 最終一緻性........................................28
2.2.3 因果一緻性.............................28
2.2.4 “讀你所寫”一緻性....................................29
2.2.5 會話一緻性....................................29
2.2.6 單調讀一緻性..............................................30
2.2.7 單調寫一緻性.....................................................30
2.3 副本更新策略...........................30
2.3.1 同時更新..........................................30
2.3.2 主從式更新.....................................31
2.3.3 任意節點更新......................................32
2.4 一緻性協議...........................................................32
2.4.1 兩階段提交協議（Two-Phrase Commit，2PC）..........................33
2.4.2 嚮量時鍾（Vector Clock） ..............................38
2.4.3 RWN 協議.................................................40
2.4.4 Paxos 協議.............................................42
2.4.5 Raft 協議.............................................45
參考文獻................................................49
第3 章 大數據常用的算法與數據結構....................................51
3.1 布隆過濾器（Bloom Filter） ............................51
3.1.1 基本原理.............................................52
3.1.2 誤判率及相關計算..........................................52
3.1.3 改進：計數Bloom Filter....................................53
3.1.4 應用............................................54
3.2 SkipList............................................55
3.3 LSM 樹........................................58
3.4 Merkle 哈希樹（Merkle Hash Tree） .............................62
3.4.1 Merkle 樹基本原理..................................................62
3.4.2 Dynamo 中的應用.........................................63
3.4.3 比特幣中的應用..................................................63
3.5 Snappy 與LZSS 算法..........................................65
3.5.1 LZSS 算法.............................................65
3.5.2 Snappy..........................................67
3.6 Cuckoo 哈希（Cuckoo Hashing） ..................................67
3.6.1 基本原理...............................................68
3.6.2 應用：SILT 存儲係統.........................................68
參考文獻...................................................70
第4 章 集群資源管理與調度.......................................71
4.1 資源管理抽象模型...................................72
4.1.1 概念模型....................................72
4.1.2 通用架構...............................................73
4.2 調度係統設計的基本問題.....................................74
4.2.1 資源異質性與工作負載異質性............................74
4.2.2 數據局部性（Data Locality） ........................................75
4.2.3 搶占式調度與非搶占式調度...................................75
4.2.4 資源分配粒度（Allocation Granularity） .............76
4.2.5 餓死（Starvation）與死鎖（Dead Lock）問題...........................76
4.2.6 資源隔離方法........................................77
4.3 資源管理與調度係統範型.............................77
4.3.1 集中式調度器（Monolithic Scheduler）.......................78
4.3.2 兩級調度器（Two-Level Scheduler） .........................79
4.3.3 狀態共享調度器（Shared-State Scheduler） ....................79
4.4 資源調度策略...............................................81
4.4.1 FIFO 調度策略..........................................81
4.4.2 公平調度器（Fair Scheduler）......................81
4.4.3 能力調度器（Capacity Scheduler） ..........................82
4.4.4 延遲調度策略（Delay Scheduling）............................82
4.4.5 主資源公平調度策略（Dominant Resource Fair Scheduling）.............82
4.5 Mesos .................................84
4.6 YARN......................................87
參考文獻..............................................90
第5 章 分布式協調係統...................................91
5.1 Chubby 鎖服務...............................92
5.1.1 係統架構........................................93
5.1.2 數據模型..................................94
5.1.3 會話與KeepAlive 機製...............................95
5.1.4 客戶端緩存.......................................95
5.2 ZooKeeper ................................96
5.2.1 體係結構...........................................96
5.2.2 數據模型（Data Model） .............................97
5.2.3 API ...............................98
5.2.4 ZooKeeper 的典型應用場景..................................98
5.2.5 ZooKeeper 的實際應用.......................................103
參考文獻...................................104
第6 章 分布式通信..............................106
6.1 序列化與遠程過程調用框架..................................107
6.1.1 Protocol Buffer 與Thrift .....................108
6.1.2 Avro...............................109
6.2 消息隊列.....................................110
6.2.1 常見的消息隊列係統......................................110
6.2.2 Kafka .......................111
6.3 應用層多播通信（Application-Level Multi-Broadcast）........114
6.3.1 概述...............................114
6.3.2 Gossip 協議...........................115
參考文獻..........................118
第7 章 數據通道.........................................120
7.1 Log 數據收集.................................120
7.1.1 Chukwa........................121
7.1.2 Scribe......................122
7.2 數據總綫......................................123
7.2.1 Databus............................125
7.2.2 Wormhole .......................127
7.3 數據導入/導齣...........................................128
參考文獻.............................129
第8 章 分布式文件係統....................................131
8.1 Google 文件係統（GFS） .................................132
8.1.1 GFS 設計原則...........................................132
8.1.2 GFS 整體架構..............................133
8.1.3 GFS 主控服務器..................................134
8.1.4 係統交互行為.................................136
8.1.5 Colossus ........................137
8.2 HDFS ..........................138
8.2.1 HDFS 整體架構.................................139
8.2.2 HA 方案..............................140
8.2.3 NameNode 聯盟........................143
8.3 HayStack 存儲係統....................................145
8.3.1 HayStack 整體架構.................................146
8.3.2 目錄服務..................................147
8.3.3 HayStack 緩存...........................................148
8.3.4 HayStack 存儲係統的實現...............................148
8.4 文件存儲布局.........................................150
8.4.1 行式存儲........................................151
8.4.2 列式存儲...........................................151
8.4.3 混閤式存儲........................................156
8.5 糾刪碼（Erasure Code）.............................158
8.5.1 Reed-Solomon 編碼...............................159
8.5.2 LRC 編碼.....................................164
8.5.3 HDFS-RAID 架構.........................166
參考文獻.....................................166
第9 章 內存KV 數據庫...................................168
9.1 RAMCloud ..............................169
9.1.1 RAMCloud 整體架構................................169
9.1.2 數據副本管理與數據恢復................................170
9.2 Redis....................................172
9.3 MemBase ...............................173
參考文獻................................................175
第10 章 列式數據庫...........................................176
10.1 BigTable....................................177
10.1.1 BigTable 的數據模型..........................177
10.1.2 BigTable 的整體結構................................178
10.1.3 BigTable 的管理數據.............................179
10.1.4 主控服務器（Master Server）......................181
10.1.5 子錶服務器（Tablet Server） ....................182
10.2 PNUTS 存儲係統........................................186
10.2.1 PNUTS 的整體架構..............................186
10.2.2 存儲單元...............................187
10.2.3 子錶控製器與數據路由器..................................187
10.2.4 雅虎消息代理.............................188
10.2.5 數據一緻性.........................................189
10.3 MegaStore..................................................190
10.3.1 實體群組切分......................191
10.3.2 數據模型........................................192
10.3.3 數據讀/寫與備份.................................193
10.4 Spanner .........................................194
10.4.1 SpanServer 軟件棧.........................................195
10.4.2 數據模型.........................................196
10.4.3 TrueTime ...........................................196
參考文獻..............................................197
第11 章 大規模批處理係統...................................199
11.1 MapReduce 計算模型與架構................................200
11.1.1 計算模型.......................................201
11.1.2 係統架構......................................203
11.1.3 MapReduce 計算的特點及不足......................................206
11.2 MapReduce 計算模式...........................206
11.2.1 求和模式（Summarization Pattern）................207
11.2.2 過濾模式（Filtering Pattern） ................208
11.2.3 組織數據模式（Data Organization Pattern） .....................210
11.2.4 Join 模式（Join Pattern）......................212
11.3 DAG 計算模型..........................................214
11.3.1 DAG 計算係統的三層結構............................214
11.3.2 Dryad .......................................215
11.3.3 FlumeJava 和Tez ........................................217
參考文獻...........................................218
第12 章 流式計算........................................219
12.1 流式計算係統架構....................................222
12.1.1 主從架構............................................222
12.1.2 P2P 架構.....................................................223
12.1.3 Samza 架構..........................................224
12.2 DAG 拓撲結構..........................................224
12.2.1 計算節點.....................................................225
12.2.2 數據流..............................................226
12.2.3 拓撲結構..................................226
12.3 送達保證（Delivery Guarantees）..............................229
12.3.1 Storm 的送達保證機製.................................230
12.3.2 MillWheel 的“恰好送達一次”機製...........................233
12.4 狀態持久化...........................................234
12.4.1 容錯的三種模式....................................234
12.4.2 Storm 的狀態持久化.......................................236
12.4.3 MillWheel 和Samza 的狀態持久化......................237
參考文獻............................................238
第13 章 交互式數據分析...................................240
13.1 Hive 係數據倉庫.................................242
13.1.1 Hive .....................................242
13.1.2 StingerInitiative ................................250
13.2 Shark 係數據倉庫..................................251
13.2.1 Shark 架構.........................................252
13.2.2 部分DAG 執行引擎（PDE） ........................253
13.2.3 數據共同分片.........................................254
13.3 Dremel 係數據倉庫...................................254
13.3.1 Dremel...........................255
13.3.2 PowerDrill ..........................258
13.3.3 Impala.................................261
13.3.4 Presto...............................264
13.4 混閤係數據倉庫......................................265
參考文獻.................................269
第14 章 圖數據庫：架構與算法................................271
14.1 在綫查詢類圖數據庫...........................272
14.1.1 三層結構.........................272
14.1.2 TAO 圖數據庫.................................273
14.2 常見圖挖掘問題..........................................277
14.2.1 PageRank 計算.......................................278
14.2.2 單源最短路徑（Single Source Shortest Path） ..................278
14.2.3 二部圖最大匹配.............................279
14.3 離綫挖掘數據分片..............................................279
14.3.1 切邊法（Edge-Cut）......................................280
14.3.2 切點法（Vertex-Cut）...............................282
14.4 離綫挖掘計算模型...................................284
14.4.1 以節點為中心的編程模型..........................284
14.4.2 GAS 編程模型...........................................285
14.4.3 同步執行模型.....................................286
14.4.4 異步執行模型...................................290
14.5 離綫挖掘圖數據庫.................................292
14.5.1 Pregel..........................292
14.5.2 Giraph...............................299
14.5.3 GraphChi ............................301
14.5.4 PowerGraph.......................307
參考文獻.......................................311
第15 章 機器學習：範型與架構.........................................313
15.1 分布式機器學習...........................................314
15.1.1 機器學習簡介.............................................314
15.1.2 數據並行VS.模型並行.....................................316
15.2 分布式機器學習範型.....................317
15.2.1 三種範型...................................318
15.2.2 MapReduce 迭代計算模型........................319
15.2.3 BSP 計算模型...................................321
15.2.4 SSP 模型............................323
15.3 分布式機器學習架構...................................324
15.3.1 MapReduce 係列..................................325
15.3.2 Spark 及MLBase ..........................................327
15.3.3 參數服務器（Parameter Server）.............332
參考文獻................................................335
第16 章 機器學習：分布式算法...............................337
16.1 計算廣告：邏輯迴歸.......................................338
16.1.1 邏輯迴歸（Logistic Regression，LR）.............................338
16.1.2 並行隨機梯度下降（Parallel Stochastic Gradient Descent）............341
16.1.3 批學習並行邏輯迴歸..................................341
16.2 推薦係統：矩陣分解................................................344
16.2.1 矩陣分解方法.......................................344
16.2.2 ALS-WR 算法............................................346
16.2.3 並行版ALS-WR 算法..............................347
16.3 搜索引擎：機器學習排序................................347
16.3.1 機器學習排序簡介.................................348
16.3.2 LambdaMART.................................349
16.3.3 分布式LambdaMART........................................351
16.4 自然語言處理：文檔相似性計算.......................................352
16.5 社交挖掘：譜聚類.................................355
16.5.1 社交挖掘實例...............................355
16.5.2 譜聚類....................................356
16.5.3 並行版譜聚類..........................................358
16.6 深度學習：DistBelief .............................................358
16.6.1 深度學習簡介........................................359
16.6.2 DistBelief.....................360
參考文獻.........................................364
第17 章 增量計算..........................................366
17.1 增量計算模式...........................367
17.1.1 兩種計算模式...............................367
17.1.2 Hadoop 平颱下增量計算的一般模式.............................368
17.2 Percolator................................370
17.2.1 事務支持..........................................371
17.2.2 “觀察/通知”體係結構...........................373
17.3 Kineograph ............................374
17.3.1 整體架構.........................................375
17.3.2 增量計算機製....................................375
17.4 DryadInc ....................................376
參考文獻..............................................................377
附錄A 硬件體係結構及常用性能指標......................................378
附錄B 大數據必讀文獻....................................380
· · · · · · (收起)
讀後感
評分
因为做这方面的工作，所以之前买过几本大数据方面的书，有《大数据时代》这种概念普及书，也有几本技术书，比较下来技术书还是推荐这本，内容比较全，大部分章节也比较深入，个别章节写得有些简略，感觉没展开，可能跟篇幅有关系，要是都展开讲估计得再多好几百页了，好在关键...
評分本书在深度和经验上都不错，数据结构部分讲得很细很全面，作者在分布式计算上有很多实践经验，后面图形算法和机器学习上比较概略。 整体上偏重技术，如果后面能加二三个应用案例或许会更好。 目前在“大数据”方面我最推荐的一本。
評分几句话点评1、这是一本百科全书，每一章都能写一本书 2、这是一本大数据的经典文献的集合的论文集，整理到位，少了很多查询的时间 3、这是一本有理论和实践的书，理解到位，不会死啃理论 4、这是一本全景书，只是用来穿针引线的，不能对技术细节有太过于高的期望 总体：很优秀...
評分做数据库相关开发已经有将近4年时间了，做过nosql、mysql，分析过hadoop、spark，终于看到一本可以总领提纲的bigdata方向的书，本书涉及到bigdata相关的方方面面，看完之后，不得不感慨作者在该行业深厚的积累。之前也看到一些介绍bigdata相关的书籍，但大多是很high level的介...
評分一、什么是大数据？ “大数据”成为社会流行词汇，已经有两三年了，2015年9月国家发布《促进大数据发展行动纲要》，2017年12月，中共中央政治局再次就实施国家大数据战略进行集体学习。那么究竟什么是大数据？数据大到什么程度才算大数据呢？ 正本清源，“大数据”词汇最早出现...
用戶評價
评分
內容很豐富，不過最後幾章的算法還是看不懂
评分沒讀完，更像是一本筆記。。。
评分大略翻瞭翻，我隻玩TB級的數據。
评分花瞭整個周末的時間把書全部過瞭一遍，算是不錯的導引類書籍瞭，尤其前麵寫的非常好（尤其是數據結構那章）。缺點在於深度不夠...
评分2015.9.10讀完 好書, 類似於地圖的作用, 整個過一遍後知道整個係統是怎麼組成的, 在哪個地方該用哪個組件, 有哪些組件可供選擇. 看完後感覺對係統整體性的理解更有把握瞭, 消除瞭之前那種做東西的割裂感. 如果需要深入某一部分, 也知道這一部分屬於係統的哪個位置. 以後該書可以拿來當參考手冊
相關圖書
本站所有內容均為互聯網搜索引擎提供的公開搜索信息，本站不存儲任何數據與內容，任何內容與數據均與本站無關，如有需要請聯繫相關搜索引擎包括但不限於百度，google,bing,sogou 等
© 2025 book.quotespace.org All Rights Reserved. 小美書屋 版权所有