大數據平颱基礎架構指南 pdf epub mobi txt 電子書 下載2025

想要找書就要到 小美書屋

立刻按 ctrl+D收藏本頁

你會得到大驚喜!!

市麵上不乏大數據具體技術組件的書籍，但卻很少有從大數據平颱整體建設和産品形態的宏觀角度入手來闡釋的。本書重點介紹大數據開發平颱服務構建的整體思路和解決方案，內容涵蓋一個成熟的大數據開發平颱必不可少的各類核心組件：工作流調度係統、集成開發環境、元數據管理係統、數據交換服務、數據可視化服務、數據質量管理服務，以及測試環境的建設等。書中還凝結瞭作者多年平颱建設的實踐經驗，以及對大數據相關從業人員能力建設和職業規劃的寶貴建議。本書適閤廣大誌在深入瞭解大數據平颱建設、開發和應用的在職人員及院校師生。

劉旭暉，花名天火，原蘑菇街數據平颱資深架構師，負責蘑菇街大數據服務平颱整體産品規劃和架構設計工作；此前多年供職於Intel開源技術中心，是Spark/Hadoop/HBase/Phoenix等開源項目貢獻者；在內核驅動、操作係統中間件、輸入法、瀏覽器等方嚮均有多年開發經驗。

第1章 大數據平颱整體建設思想 1
1.1 什麼是大數據平颱 1
1.2 大數據平颱的建設目標 3
1.2.1 彆人的大數據平颱是怎樣的 3
1.2.2 和業內領先的大數據平颱的差距 4
1.2.3 大數據平颱建設目標小結 6
1.3 大數據平颱的建設指導方針 6
1.3.1 組件工具化 7
1.3.2 工具平颱化 8
1.3.3 平颱服務化 9
1.3.4 平颱産品化 10
1.3.5 對中小公司大數據平颱的適用性 11
1.4 大數據平颱的兩種建設路徑 12
1.4.1 垂直業務領域一站到底的建設方式 13
1.4.2 通用組件建設，組閤支持業務的方式 13
1.4.3 從蘑菇街平颱的實踐經驗對比兩種建設路徑 14
1.4.4 兩種建設路徑的對比小結 16
第2章 服務意識和産品思想的培養 17
2.1 明確大數據平颱服務能力的評估標準 17
2.1.1 大數據平颱團隊的職能定位 18
2.1.2 打通上下遊係統和業務流程的能力 18
2.2 滿足用戶真正的需求 19
2.3 認清服務的代價，做好心理建設 20
2.4 尋找解決服務代價問題的方案 23
2.4.1 路綫選擇帶來的代價問題 23
2.4.2 如何降低服務自身的代價 25
2.5 大數據平颱的産品化思想 29
2.5.1 從用戶體驗的角度談産品設計 31
2.5.2 從價值和利益的角度談産品思維 36
2.6 小結 38
第3章 工作流（作業）調度係統 39
3.1 作業調度係統基礎理論 40
3.1.1 調度係統分類 40
3.1.2 工作流調度係統的兩種心法流派 45
3.1.3 工作流調度係統功能特性詳解 49
3.2 Jarvis調度係統産品開發實踐 55
3.2.1 需求定位分析 55
3.2.2 具體功能目標的詳細分析和實踐 57
3.2.3 第二代Jarvis現狀和將來 75
3.3 小結 79
第4章 集成開發環境門戶建設 81
4.1 集成開發環境的功能定位 82
4.1.1 集成開發環境的整體服務思路 83
4.1.2 集成開發環境的具體産品建設目標 86
4.1.3 小結 93
4.2 開發平颱測試環境建設 94
4.2.1 問題背景 94
4.2.2 係統功能性測試環境 95
4.2.3 數據業務類測試環境 96
4.2.4 小結 100
第5章 數據采集、傳輸、交換、同步服務 101
5.1 數據交換服務場景和常見開源方案 102
5.1.1 大數據平颱數據交換服務業務場景 102
5.1.2 常見數據交換服務解決方案介紹 103
5.2 數據交換服務具體産品實踐 110
5.2.1 數據交換服務底層組件 110
5.2.2 數據交換服務管控平颱 113
5.2.3 蘑菇街數據交換服務的實踐現狀和未來改進計劃 118
5.3 用戶行為鏈路分析之日誌埋點采集跟蹤方案實踐 120
5.3.1 記日誌有什麼難的 120
5.3.2 蘑菇街的用戶行為日誌采集方案實踐 122
5.3.3 小結 129
第6章 數據可視化平颱 130
6.1 什麼是數據可視化平颱 130
6.1.1 數據可視化平颱名詞定義 131
6.1.2 已經有瞭那麼多商業BI係統，為什麼還要造輪子 132
6.2 數據可視化平颱産品實踐 134
6.2.1 可視化平颱産品定位和需求分析 135
6.2.2 具體産品功能需求實踐詳解 136
6.2.3 將來的改進目標 146
6.2.4 産品實踐小結 148
第7章 安全與權限管控 149
7.1 權限管理的目標是什麼 149
7.1.1 適度安全，降低人為風險 150
7.1.2 隔離環境，提高工作效率 151
7.1.3 權責明晰，規範業務流程 152
7.1.4 權限管理目標小結 153
7.2 如何解決安全和便利的矛盾 153
7.2.1 安全和便利天生矛盾 153
7.2.2 改變角度，轉移目標 154
7.2.3 把握尺度 155
7.2.4 可能的變通措施 157
7.2.5 思想小結 163
7.3 權限管控係統産品方案和技術分析 163
7.3.1 常見開源方案 164
7.3.2 Kerberos 165
7.3.3 Sentry和Ranger 168
7.3.4 Knox 169
7.3.5 開源項目中常見的權限模型概念 169
7.4 基於開發平颱服務入口的權限管控方案 171
7.4.1 權限管控方案實踐 171
7.4.2 底層統一權限管控和平颱邊界權限管控方案對比 173
第8章 數據質量管理 175
8.1 元數據管理平颱 176
8.1.1 元數據管理平颱管理什麼 176
8.1.2 元數據管理相關係統方案介紹 180
8.1.3 元數據管理係統工程實踐 183
8.2 DQC數據質量中心 185
8.2.1 DQC數據質量中心業界方案 186
8.2.2 DQC數據質量係統建設實踐 188
8.3 數據質量管理小結 193
第9章 大數據集群遷移經驗談 195
9.1 集群遷移都要麵對哪些麻煩事 196
9.1.1 集群和機房外部環境問題 196
9.1.2 平颱自身組件和服務依賴問題 196
9.1.3 業務模式和溝通配閤問題 197
9.1.4 業務邏輯和數據正確性問題 198
9.2 集群搬遷方案的總體目標、原則、流程 199
9.3 一些具體問題的分析和實踐 201
9.3.1 如何保證正確性 201
9.3.2 集群數據同步拷貝方案 205
9.3.3 各種無法雙跑的業務場景梳理 207
9.4 小結 208
第10章 談談大數據碼農的職業發展問題 210
10.1 如何成為一名糟糕的大數據平颱工程師 211
10.1.1 我是小白我怕誰 211
10.1.2 敏而好學，不恥下問 212
10.1.3 效率優先，中文至上 213
10.1.4 流行的就是最好的 213
10.1.5 我們的徵途，是星辰大海 215
10.1.6 書中自有顔如玉，熱衷閱讀代碼 216
10.1.7 謎之問題的謎之解決方式 218
10.1.8 勤奮好學，但是迴頭即忘 220
10.1.9 小結 221
10.2 職業選擇和我們早晚要麵對的中年危機問題 222
10.2.1 中年危機，要從娃娃抓起 222
10.2.2 中年危機之抗焦慮指南 223
10.2.3 如何纔能獲得自由 225
10.2.4 案例 230
10.2.5 小結 233
· · · · · · (收起)