Storm實時數據處理 pdf epub mobi txt 電子書 下載2025

想要找書就要到 小美書屋

立刻按 ctrl+D收藏本頁

你會得到大驚喜!!

【編輯推薦】

從多個角度全麵講解Storm實時數據處理技術和最佳實踐，為快速掌握並靈活應用Storm提供實用指南；

從實際問題齣發，係統介紹Storm的基本應用、多語言特性、完整業務係統實現和産品交付的最佳實踐方法；從産品持續交付角度，分析並實踐集成、測試和交付的所有步驟。

【內容簡介】

在大數據領域，Hadoop無疑是最炙手可熱的技術。作為分布式係統架構，Hadoop具有高可靠性、高擴展性、高效性、高容錯性和低成本的優點。然而隨著數據體積越來越大，實時處理能力成為瞭許多機構需要麵對的首要挑戰。Hadoop是一個批處理係統，在實時計算處理方麵顯得十分乏力。Storm是一個類似於Hadoop的實時數據處理框架，也是一個非常有效的開源實時計算工具，通常被比作“實時的Hadoop”。

本書通過豐富的實例，係統講解Storm的基礎知識和實時數據處理的最佳實踐方法，內容涵蓋Storm本地開發環境搭建、日誌流數據處理、Trident、分布式遠程過程調用、Topology在不同編程語言中的實現方法、Storm與Hadoop的集成方法、實時機器學習、持續交付和如何在AWS上部署Storm。此外，本書旨在圍繞Storm技術促進DevOps實踐，使讀者能夠開發Storm解決方案，同時可靠地交付有價值的産品。

本書適閤想學習實時處理技術或者想通過Storm實現實時處理方法的開發者閱讀。

本書涵蓋搭建基於Storm的開發環境和測試實時係統的許多實用方法與實戰用例，以及如何應用交付最佳實踐來將係統部署至雲端。

通過閱讀本書，你將學到如何構建包含統計麵闆和可視化的實時日誌處理係統。通過集成Storm、Cassandra、Cascading和Hadoop，你將瞭解如何構建一個用於文字挖掘的完整實時大數據解決方案。你還會瞭解到如何在Storm集群中利用不同編程語言實現特定的功能，並最終將所有解決方案交付至雲端。本書中的每一個步驟都應用瞭成熟的開發和操作實踐，確保你能夠可靠地交付産品。

通過閱讀本書，你將能夠：

搭建你的開發環境並測試Strom集群

處理數據流，包括基於規則的處理流程

構建分布式遠程過程調用

交付基於多語言實現的Storm Topology，包括Java、Clojure、Ruby和C++

將Storm與Cassandra、Hadoop集成

使用Cascading實現基於批處理的單詞重要度算法

創建並部署預測評分模型和分類模型

掌握持續集成和將Storm部署至雲端的方法。

Quinton Anderson　軟件工程師，專注實時計算係統開發。他在構建防禦係統的實時通信係統，以及財務與銀行服務中的企業級應用程序方麵有豐富的經驗。他熱衷於開源，是Storm社區的活躍分子，樂於交付各種基於Storm的解決方案。

【譯者簡介】

盧譽聲　資深軟件開發工程師，現就職於思科係統（中國）研發中心雲産品研發部。他曾參與多個項目協議級彆定義、SDK及服務器後端和前端的設計與研發，在下一代實時雲計算協作平颱的研發過程中積纍瞭豐富的敏捷實踐與開發經驗。此外，他還從事C/C++開發工作，對Clojure、JavaScript、Lua，以及移動開發平颱等也有一定研究。

第1章　搭建開發環境 / 1
1.1　簡介 / 1
1.2　搭建開發環境 / 1
1.3　分布式版本控製 / 3
1.4　創建“Hello World”Topology / 6
1.5　創建Storm集群——配置機器 / 12
1.6　創建Storm集群——配置Storm / 18
1.7　獲取基本的點擊率統計信息 / 23
1.8　對Bolt進行單元測試 / 31
1.9　實現集成測試 / 34
1.10　將産品部署到集群 / 37
第2章　日誌流處理 / 38
2.1　簡介 / 38
2.2　創建日誌代理 / 38
2.3　創建日誌Spout / 40
2.4　基於規則的日誌流分析 / 45
2.5　索引與持久化日誌數據 / 49
2.6　統計與持久化日誌統計信息 / 53
2.7　為日誌流集群創建集成測試 / 55
2.8　創建日誌分析麵闆 / 59
第3章　使用Trident計算單詞重要度 / 71
3.1　簡介 / 71
3.2　使用Twitter過濾器創建URL流 / 71
3.3　從文件中獲取整潔的詞流 / 76
3.4　計算每個單詞的相對重要度 / 81
第4章　分布式遠程過程調用 / 85
4.1　簡介 / 85
4.2　通過DPRC實現所需處理流程 / 85
4.3　對Trident Topology進行集成測試 / 90
4.4　實現滾動窗口Topology / 95
4.5　在集成測試中模擬時間 / 98
第5章　在不同語言中實現Topology / 100
5.1　簡介 / 100
5.2　在Qt中實現多語言協議 / 100
5.3　在Qt中實現SplitSentence Bolt / 105
5.4　在Ruby中實現計數 Bolt / 108
5.5　在Clojure中實現單詞計數Topology / 109
第6章　Storm與Hadoop集成 / 113
6.1　簡介 / 113
6.2　在Hadoop中實現TF-IDF算法 / 115
6.3　持久化來自Storm的文件 / 121
6.4　集成批處理與實時視圖 / 122
第7章　實時機器學習 / 127
7.1　簡介 / 127
7.2　實現事務性Topology / 129
7.3　在R中創建隨機森林分類模型 / 134
7.4　基於隨機森林的事務流業務分類 / 143
7.5　在R中創建關聯規則模型 / 149
7.6　創建推薦引擎 / 152
7.7　實時在綫機器學習 / 157
第8章　持續交付 / 162
8.1　簡介 / 162
8.2　搭建CI服務器 / 162
8.3　搭建係統環境 / 164
8.4　定義交付流水綫 / 166
8.5　實現自動化驗收測試 / 170
第9章　在AWS上部署Storm / 177
9.1　簡介 / 177
9.2　使用Pallet在AWS上部署Storm / 177
9.3　 搭建虛擬私有雲 / 181
9.4　使用Vagrant在虛擬私有雲上部署Storm / 189
· · · · · · (收起)