分布式實時計算框架原理及實踐案例 pdf epub mobi txt 電子書 下載2025

想要找書就要到 小美書屋

立刻按 ctrl+D收藏本頁

你會得到大驚喜!!

“授人以魚不如授人以漁”，《分布式實時計算框架原理及實踐案例》是作者以如此初心寫成的，主要參考當前主流分布式實時計算框架Storm的任務分發和Spark Streaming的Mini-Batch設計思想，以及底層實現技術，開源瞭作者自研的輕量級分布式實時計算框架——Light_drtc，並且重點介紹設計思想和相關實現技術（Kafka/RabbitMQ、Redis/SSDB 、GuavaCache、MongoDB、HBase、ES／SolrCloud、Thrift、Avro、Jetty），後從工程角度嚮大傢介紹完整的個性化推薦係統，並實例介紹Light_drtc在用戶畫像實時更新的應用。《分布式實時計算框架原理及實踐案例》描述淺顯易懂，希望讀者理解分布式實時計算的實現原理，並快速上手解決實際問題。

王成光，目前任職一點資訊研發架構師，碩士畢業8年，曾先後任職窩窩團、優購、搜狐、網易等架構師、技術專傢職位，專注於搜索、推薦、數據挖掘領域研發工作，涉足技術範圍：

搜索：ES／SolrCloud

分布式計算：Hadoop、Storm和Spark

MQ： Kafka、RabbitMQ、ActiveMQ、ZeroMQ

NoSQL： Reids/SSDB、Mongo3.0、HBase1.0、AeroSpike

SOA微服務： RPC和Web Service

第1 章 分布式實時計算框架介紹.1
1.1 分布式計算Hadoop.1
1.2 分布式實時計算........3
1.2.1 Spark Streaming..3
1.2.2 Storm .......6
1.2.3 其他框架.8
1.3 為什麼自研......8
1.4 總結......10
第2 章 light_drtc 簡介及使用說明......... 11
2.1 light_drtc 框架簡介 11
2.2 light_drtc 代碼結構12
2.3 light_drtc 重要配置項.......14
2.4 light_drtc 和Storm 比較...15
2.5 light_drtc 使用說明16
2.5.1 ACN（AN 和CN 整閤）作為獨立服務....16
2.5.2 CN、AN 作為獨立服務........20
2.5.3 任務計算JN.....23
2.6 總結......26
第3 章 light_drtc 核心技術實現...27
3.1 light_drtc 技術架構27
3.2 light_drtc 計算框架設計思想....30
3.2.1 CN 設計思想....30
3.2.2 AN 多主模式設計思想..........31
3.2.3 JN 設計思想.....34
3.3 light_drtc 核心技術的實現.........36
3.3.1 實時收集數據CN.......36
3.3.2 任務協調管理AN.......40
3.3.3 任務計算JN.....49
3.4 總結......50
第4 章 消息隊列MQ.51
4.1 消息隊列使用場景.51
4.2 消息隊列原理..........53
4.2.1 MQ 使用流程...53
4.2.2 MQ 基本概念...54
4.2.3 MQ 通信模式...55
4.2.4 目前知名MQ 比較.....56
4.3 MQ 消費狀態監控..61
4.3.1 KafkaOffsetMonitor 介紹.......62
4.3.2 KafkaOffsetMonitor 部署.......62
4.4 RabbitMQ 和Kafka 的基本使用.........64
4.4.1 RabbitMQ 讀寫實例...64
4.4.2 Kafka 讀寫實例68
4.5 總結......71
第5 章 內存數據庫Redis3.0 及SSDB..........72
5.1 Redis 相關介紹........72
5.1.1 Redis3.0 集群架構......73
5.1.2 Redis3.0 集群選舉與容錯......74
5.1.3 SSDB 簡介.......75
5.2 Redis3.0 集群搭建..76
5.2.1 集群所依賴的Ruby 環境......77
5.2.2 Redis 集群創建77
5.2.3 Redis 集群驗證78
5.2.4 SSDB 簡單部署..........79
5.3 Redis 管理及使用...81
5.3.1 Redis 基本使用81
5.3.2 Redis 管理........83
5.4 Redis 客戶端應用...86
5.4.1 Redis3.0 客戶端..........86
5.4.2 SSDB 客戶端...89
5.5 本地緩存Guava Cache.....90
5.5.1 認識Guava Cache .......90
5.5.2 Guava Cache 使用.......91
5.5.3 Java 客戶端使用.........94
5.6 總結......97
第6 章 NoSQL：MongoDB3.0 和HBase1.0 .........98
6.1 MongoDB3.0 和HBase1.0 新特性......99
6.1.1 MongoDB3.0 新特性..99
6.1.2 HBase1.0 新特性.......102
6.1.3 MongoDB 和HBase 比較....104
6.2 MongoDB3.0 集群和索引........105
6.2.1 MongoDB3.0 集群....105
6.2.2 Mongo 索引介紹.......107
6.3 HBase 底層實現介紹......108
6.3.1 HBase 相關Hadoop 體係....108
6.3.2 HBase 係統架構........ 110
6.4 Mongo 和HBase 客戶端使用. 113
6.4.1 Mongo 客戶端 113
6.4.2 HBase 客戶端. 119
6.5 總結.....124
第7 章 全文檢索：ElasticSearch2.x..125
7.1 認識ElasticSearch 和Solr........125
7.1.1 ElasticSearch 和Solr 基本介紹......125
7.1.2 ES 基本概念...127
7.1.3 ES 和SolrCloud 集群結構...129
7.1.4 ES 使用案例...130
7.2 ES 和Solr 比較分析.......131
7.2.1 ES 和Solr 發展比較.131
7.2.2 ES 和Solr 綜閤比較.132
7.3 ES 集群介紹135
7.3.1 插件安裝........135
7.3.2 中文分詞安裝136
7.3.3 ES2.X 集群節點類型138
7.3.4 ES 配置事項...142
7.4 ES 客戶端使用......144
7.4.1 ES 客戶端連接..........145
7.4.2 ES 基本操作...146
7.4.3 ES 高級使用...150
7.5 ES 在自研框架中的作用..........154
7.6 總結.....155
第8 章 微服務架構通信——RPC 和Web Service ........156
8.1 微服務架構由來....156
8.1.1 微服務與SOA 比較..157
8.1.2 微服務架構的優缺點159
8.1.3 微服務雪崩效應的防範.......161
8.2 RPC 介紹及實踐...163
8.2.1 Thrift/Nifty 介紹........163
8.2.2 Avro 介紹.......168
8.2.3 Dubbo/Dubbox 介紹..180
8.2.4 GRPC/ProtoBuf 介紹185
8.2.5 ZeroC ICE.......191
8.3 Web Service 介紹及實踐..........199
8.3.1 SOAP 和Rest .200
8.3.2 JWS（JDK 自身實現Web Service）........202
8.3.3 Jetty：嵌入式Servlet 容器..204
8.3.4 基於Spring MVC......206
8.3.5 其他Web Service 框架........ 211
8.4 總結.....212
第9 章 綜閤實例：新聞推薦中的用戶畫像近實時更新213
9.1 個性化推薦係統組成.....213
9.1.1 用戶行為收集214
9.1.2 行為日誌解析216
9.1.3 常用推薦算法221
9.1.4 用戶畫像數據倉庫...245
9.1.5 元數據索引庫247
9.1.6 用戶推薦服務248
9.2 新聞推薦中用戶畫像近實時更新設計......248
9.2.1 新聞推薦中用戶畫像構成...250
9.2.2 新聞推薦中用戶畫像標簽數據字典.........251
9.2.3 新聞推薦用戶畫像實時更新流程..257
9.3 新聞推薦用戶畫像近實時更新技術實現..260
9.3.1 Storm 接入Kafka 實時計算實例...260
9.3.2 Spark Streaming 接入Kafka 實時計算實例........265
9.3.3 Light_drtc 接入Kafka..........270
9.3.4 用戶畫像實時更新核心實現..........270
9.4 總結.....280
· · · · · · (收起)