24小時365天不間斷服務 pdf epub mobi txt 電子書 下載2025

想要找書就要到 小美書屋

立刻按 ctrl+D收藏本頁

你會得到大驚喜!!

本書是著名的網絡服務供應商Hatena和Klab有限公司的工程師團隊的經驗總結。全書從實際的生産環境齣發，就大規模、高性能、不間斷的網絡服務的搭建和管理技術進行瞭分析和說明。前3章講解瞭如何搭建兼具冗餘性和可擴展性的服務器/基礎設施；第4章講解瞭性能優化方麵的內容，特彆是對單個服務器的性能提升方法進行瞭介紹；第5章講解瞭監控、管理等運行方麵的內容，以筆者身邊的實際生産環境為例，介紹瞭提升設備運行效率的技巧；第6章介紹瞭Hatena與KLab實際運作的網絡和服務器基礎設施的情況。

本書適閤所有緻力於運維和網絡後端的開發者閱讀。

作者簡介：

伊藤直也

Hatena首席技術官， KAIZEN platform Inc. 高級技術顧問。

勝見祐己

KLab基礎設施工程師。

田中慎司

信息學博士，現就職於Hatena，負責Hatena服務的350餘颱服務器的運維工作。

廣瀨正明

KLab基礎設施工程師。

安井真伸

就職於KLab研究開發部。緻力於在現有的基礎設施的基礎上，摸索齣新的機製。

橫川和哉

就職於KLab研究開發部。

譯者簡介：

張毅

運維架構師。曾任Google SRE工程師，具備網絡架構設計、性能調優、風險預控等能力，對海量數據的運維策略有自身獨到的理解。

第1章　服務器及基礎設施搭建入門
冗餘及負載分流的基礎　　1
1.1　冗餘的基礎　　2
1.1.1　冗餘概述　　2
1.1.2　冗餘的本質　　2
①設想可能發生的故障　　2
②預先準備好備份設備　　3
③部署工作機製……當故障發生時，切換到備份設備　　3
1.1.3　應對路由器故障的情況　　4
冷備份　　4
1.1.4　應對Web服務器故障的情況　　4
熱備份　　5
1.1.5　故障轉移　　6
VIP　　6
IP地址的映射　　6
1.1.6　檢測故障……健康檢查　　7
Web服務器的健康檢查　　8
路由器的健康檢查　　8
1.1.7　搭建Active/Backup的拓撲結構　　8
IP地址的映射操作　　10
1.1.8　還想更有效地使用服務器……負載分發　　10
1.2　實現Web服務器的冗餘……DNS輪詢　　12
1.2.1　DNS輪詢　　12
1.2.2　DNS輪詢的冗餘拓撲結構示例　　13
1.2.3　還想更輕鬆地擴充係統……負載均衡器　　16
1.3　實現Web服務器的冗餘……基於IPVS的負載均衡器　　17
1.3.1　DNS輪詢與負載均衡器的不同點　　17
1.3.2　IPVS……基於Linux的負載均衡器　　18
負載均衡器的種類與IPVS的功能　　18
1.3.3　調度算法　　18
1.3.4　使用IPVS　　20
ipvsadm　　20
keepalived　　20
1.3.5　搭建負載均衡器　　21
配置Web服務器　　22
啓動keepalived　　23
確認負載分流　　23
確認冗餘的拓撲結構　　24
1.3.6　四層交換機與七層交換機　　24
1.3.7　四層交換機的NAT模型與DSR模型　　26
1.3.8　同一子網下的服務器進行負載分流時需要注意的地方　　28
1.4　路由器及負載均衡器的冗餘　　30
1.4.1　負載均衡器的冗餘　　30
1.4.2　虛擬路由器冗餘協議（VRRP）　　30
1.4.3　VRRP的拓撲模型　　30
VRRP報文　　31
虛擬路由器ID　　32
優先順序　　32
搶占模式　　33
虛擬MAC地址　　33
1.4.4　安裝keepalived時可能遇到的問題　　34
延遲發送gratuitous ARP（GARP）　　34
1.4.5　keepalived的冗餘　　35
確認VIP　　36
確認VRRP的運行情況　　37
分離VRRP實例　　37
同步VRRP實例　　38
1.4.6　keepalived的應用　　38
第2章　優化服務器及基礎設施的拓撲結構
冗餘、負載分流、高性能的實現　　39
2.1　引入反嚮代理……Apache模塊 　　40
2.1.1　反嚮代理入門　　40
2.1.2　根據HTTP請求的內容來控製係統的行為　　41
根據IP地址進行控製　　42
根據User-Agent進行控製　　42
網址的重寫　　42
2.1.3　優化係統整體的內存使用率　　43
例：動態頁麵中的請求詳情　　43
2.1.4　緩存Web服務器的應答數據　　45
HTTP的Keep-Alive　　45
例：內存消耗與Keep-Alive的開啓/關閉　　46
2.1.5　使用Apache模塊控製處理規則　　47
增設反嚮代理的判斷　　48
2.1.6　增設反嚮代理　　48
使用Apache 2.2　　48
以worker模式啓動httpd　　49
httpd.conf的配置　　49
設定最大進程/綫程數　　49
Keep-Alive的配置　　51
載入必要的模塊　　52
設定RewriteRule 　　52
2.1.7　進一步對RewriteRule進行設置　　53
禁止來自特定主機的請求　　54
對於來自搜索引擎機器人的請求使用緩存服務器　　54
2.1.8　使用mod_proxy_balancer嚮多颱主機分流　　55
mod_proxy_balancer的使用示例　　56
2.2　增設緩存服務器……Squid、memcached 　　58
2.2.1　引入緩存服務器　　58
HTTP與緩存　　58
通過Live HTTP Headers得知緩存效果　　58
2.2.2　Squid緩存服務器　　59
使用Squid搭建反嚮代理　　60
Squid緩存什麼　　61
Squid的設定示例　　62
2.2.3　使用memcached進行緩存　　64
2.3　MySQL同步……發生故障時的快速恢復　　66
2.3.1　萬一數據庫服務器停止　　66
導緻數據庫停止的原因　　66
短時間內恢復的辦法　　66
2.3.2　MySQL的同步功能的特性和注意點　　67
單主與多從　　67
異步數據同步　　68
被同步的數據內容　　68
2.3.3　同步的結構　　69
Slave 的I/O綫程與SQL綫程　　69
二進製日誌與中繼日誌　　69
位置信息　　70
2.3.4　搭建同步結構　　70
同步條件　　70
my.cnf　　71
建立同步專用的用戶　　71
同步開始時所必需的數據　　72
2.3.5　啓動同步　　73
Master和Slave的my.cnf文件的差異　　73
Slave開始運行&確認　　73
2.3.6　確認同步的狀態　　74
Master的狀態確認　　74
Slave的狀態確認　　75
2.4　MySQL的Slave+內部負載均衡器的靈活應用示例　　78
2.4.1　MySQL的Slave的運用方法　　78
Slave的運用策略　　78
分發到多颱Slave上　　78
2.4.2　通過負載均衡器將請求分發到多颱Slave的方法　　79
概況圖　　79
內部負載均衡器的配置　　80
MySQL Slave的設定　　82
體驗將請求分發到多颱Slave的負載均衡　　83
2.4.3　內部負載均衡器的注意點……基於DSR的分發方法　　83
2.5　選擇輕量高速的存儲服務器 　　85
2.5.1　存儲服務器的必要性　　85
存儲服務器容易導緻單點故障　　86
存儲服務器容易造成瓶頸　　86
2.5.2　理想的存儲服務器　　88
減輕負載　　88
2.5.3　將HTTP作為存儲協議使用 　　88
輕量Web服務器的選擇　　89
利用HTTP的優勢　　89
2.5.4　遺留的問題　　90
第3章　進一步完善不間斷的基礎設施
DNS服務器、存儲服務器、網絡　　93
3.1　DNS服務器的冗餘 　　94
3.1.1　DNS服務器冗餘的重要性　　94
3.1.2　使用解析庫實現冗餘及存在的問題　　94
解析庫存在的問題　　95
性能下降的危險性……以郵件服務器為例　　95
DNS故障會造成很大的影響　　96
3.1.3　基於服務器集群的DNS冗餘　　96
3.1.4　使用VRRP的拓撲結構　　96
3.1.5　DNS服務器的負載分發　　98
3.1.6　小結　　100
3.2　存儲服務器的冗餘……利用DRBD實現鏡像 　　101
3.2.1　存儲服務器的故障排解　　101
3.2.2　存儲服務器同步的難點　　101
3.2.3　DRBD　　102
DRBD架構　　102
3.2.4　DRBD的設置與啓動　　103
啓動DRBD的Master服務器　　104
啓動DRBD的備份服務器　　105
3.2.5　DRBD的故障轉移　　105
手動切換　　105
keepalived的配置　　106
利用daemontools來控製keepalived　　108
3.2.6　NFS服務器故障轉移時的注意事項　　109
3.2.7　備份的必要性　　110
3.3　網絡的冗餘……驅動綁定、RSTP　　111
3.3.1　L1/L2上部件的冗餘　　111
3.3.2　故障點　　111
3.3.3　鏈路冗餘與驅動綁定　　112
驅動綁定　　112
3.3.4　交換機的冗餘　　114
鏈路故障時的行為　　114
交換機故障時的行為　　115
交換機間遭遇連接故障時的情況　　115
3.3.5　增設交換機　　116
實現多重冗餘　　117
3.3.6　RSTP　　117
網橋的優先順序及根網橋　　118
RSTP中端口的作用　　119
RSTP的行為　　119
3.3.7　總結　　120
3.4　引入VLAN……使網絡更加靈活　　121
3.4.1　基於服務器集群的高靈活性網絡　　121
3.4.2　引入VLAN的優點　　121
交換機的有效使用　　122
故障服務器的恢復機製 …靈活使用一颱備用機　　123
使用VLAN，僅用一颱備用機就能實現恢復　　123
3.4.3　VLAN的基礎知識　　124
3.4.4　VLAN的種類　　125
端口VLAN　　126
標記VLAN　　127
3.4.5　在服務器集群中的使用　　128
不使用VLAN的拓撲結構　　128
使用端口VLAN的拓撲結構　　129
使用VLAN標簽的拓撲結構　　130
3.4.6　 即便在復雜的VLAN結構下，也需要讓物理層麵的設備
結構盡可能簡易化　　132
第4章　性能優化、調整
Linux單個主機、Apache、MySQL　　133
4.1　基於Linux單個主機的負載評估　　134
4.1.1　充分發揮單個主機的性能　　134
清楚何為性能、何為負載　　134
4.1.2　彆臆斷，請監控　　135
4.1.3　確認瓶頸的基本流程　　136
觀察load average　　136
觀察CPU、I/O是否存在瓶頸　　137
當CPU負載較高時　　137
當I/O負載較高時　　137
4.1.4　何為負載　　138
兩種負載　　138
多任務操作係統與負載　　139
搞清負載的本來麵目=知曉內核的行為　　140
進程調度和進程狀態　　140
進程狀態變遷的具體例子　　142
進程狀態遷移匯總　　144
換算到load average的等待狀態　　144
load average錶述的負載意義　　145
4.1.5　計算load average的內核編碼　　146
4.1.6　通過load average判斷CPU使用率和I/O等待時間　　148
使用sar來查看CPU使用率及I/O等待時間　　149
CPU的用戶模式和係統模式　　149
I/O密集型服務器的sar　　150
4.1.7　多核CPU與CPU使用率　　151
4.1.8　如何計算CPU的使用率　　152
4.1.9　進程記賬的內核編碼　　153
4.1.10　綫程和進程　　156
內核中的進程和綫程　　157
ps和綫程　　158
LinuxThreads和NPTL　　159
4.1.11　ps、sar、vmstat的使用方法　　159
ps……輸齣進程信息　　159
VSZ與RSS……虛擬內存和物理內存的指標　　160
TIME……CPU占用時間　　162
通過ps命令查看Blocking和Busy Loop的差異　　162
sar……查看係統報告的各項指標　　163
sar -u……查看CPU的使用率　　165
sar -q……查看load average　　165
sar -r……查看內存的使用狀況　　166
減輕I/O負載及頁麵緩存　　166
通過頁麵緩存減輕I/O負載的實施效果　　167
將所需的數據整個放到頁麵緩存上　　168
sar -W……查看交換區的吞吐狀況　　169
vmstat……查看虛擬內存的相關信息　　170
4.1.12　找到係統負載的癥結並解決　　171
4.2　Apache的優化 　　172
4.2.1　Web服務器的優化　　172
4.2.2　Web服務器遭遇瓶頸怎麼辦　　172
4.2.3　Apache的並發處理與MPM　　173
prefork與worker，進程與綫程　　175
從編程模型看多進程/多綫程的差異　　175
從性能的觀點來看多進程/多綫程的差異　　176
一個客戶端對應一個進程/綫程　　177
4.2.4　httpd.conf的配置　　177
Apache的安全閥MaxClients　　177
在prefork模式的情況下　　178
父子進程共享內存的寫時復製技術　　180
查看寫時復製時共享的內存大小　　181
MaxRequestsPerChild　　183
在worker模式的情況下　　183
在係統超載的情況下，改變MaxClients前需要瞭解　　185
4.2.5　Keep-Alive　　186
4.2.6　Apache以外的選擇　　186
lighttpd　　187
4.3　MySQL的調優訣竅　　189
4.3.1　MySQL的調優訣竅　　189
基於調優視角的分類　　189
1 服務器方麵　　189
2 服務器之外的其他方麵　　190
3 周邊係統　　190
本章接下來要處理的內容　　191
4.3.2　內存相關的參數優化　　191
緩衝的種類……優化時的注意事項①　　191
不能分配太多……優化時的注意事項②　　192
內存的相關參數　　192
4.3.3　內存相關的檢查工具……mymemcheck　　194
第5章　高效運行
確保服務的穩定提供　　197
5.1　服務狀態監控Nagios　　198
5.1.1　穩定的服務運營與服務狀態監控　　198
5.1.2　狀態監控的種類　　198
1 存活狀態的監控　　198
2 負載狀態的監控　　199
3 可用率的統計　　200
5.1.3　Nagios概述　　201
安裝Nagios　　201
5.1.4　Nagios的配置　　201
配置文件　　202
host……主機的配置　　202
service……服務的定義　　203
command……命令的定義　　204
contact與contactgroup……通知對象和通知對象組　　205
配置的測試　　206
5.1.5　Web管理界麵　　206
5.1.6　Nagios的基本使用方法　　208
主機和服務的定義　　208
通知　　209
5.1.7　實用的使用方法　　212
可用率的測定　　212
獨立插件　　214
5.1.8　小結　　216
5.2　服務器資源的監控……Ganglia　　217
5.2.1　服務器資源的監控　　217
監控的目的　　217
5.2.2　檢測工具的討論　　218
5.2.3　Ganglia……麵嚮大量節點的圖錶化工具　　218
5.2.4　將Apache的進程狀態圖錶化　　220
在Ganglia中增加圖錶的方法　　222
嘗試增加多個圖錶　　222
其他的自定義圖錶　　223
5.3　高效的服務器管理……Puppet　　225
5.3.1　實現高效的服務器管理的工具Puppet　　225
5.3.2　Puppet的概要　　225
5.3.3　Puppet的配置　　226
節點的定義　　227
類的定義　　227
確認配置是否有效　　229
5.3.4　配置文件的語法　　230
資源的定義　　230
資源　　231
對各個服務器的配置進行微調　　232
資源間的依賴關係　　233
通過模闆完成Manifest文件的定義　　233
5.3.5　通知操作日誌　　237
5.3.6　運用　　238
5.3.7　自動配置管理工具的利與弊　　239
5.4　守護進程的工作管理……Daemontools　　241
5.4.1　守護進程的異常終止　　241
5.4.2　daemontools　　241
使用daemontools的原因　　242
成為守護進程的條件……在前颱運行　　243
5.4.3　守護進程的管理方法　　243
創建守護進程　　243
啓動守護進程　　244
停止、繼續、重新啓動守護進程　　245
停用守護進程　　245
發送信號　　245
Keepalived……run文件的例子①　　246
自編的監控腳本……run文件的例子②　　246
5.4.4　daemontools的實用技巧　　248
控製所依賴的服務的啓動順序　　248
常用的shell函數　　249
5.5　網絡引導的應用……PXE、initramfs　　252
5.5.1　網絡引導　　252
網絡引導的特性及優勢　　252
5.5.2　網絡引導的行為……PXE　　253
5.5.3　網絡引導的應用實例　　255
負載均衡器　　255
數據庫服務器/文件服務器　　256
維護用的引導映像　　256
5.5.4　構建網絡引導　　257
initramfs的通用化和作用的識彆　　257
無盤結構中需要注意的事項　　258
Master文件的安全性 　　259
5.6　遠程維護……維護綫路、Serial Console、IPMI 　　260
5.6.1　輕鬆實現遠程登錄　　260
5.6.2　網絡故障的應對　　260
維護綫路　　260
交換機故障的應對　　262
5.6.3　Serial Console　　263
Serial Console的實現　　264
5.6.4　IPMI　　266
IPMI的功能　　266
使用IPMI　　267
5.6.5　總結 　　267
5.7　Web服務器的日誌處理……syslog、syslog-ng、cron、rotatelogs　　268
5.7.1　Web服務器日誌的分揀·收集　　268
5.7.2　分揀與收集　　268
5.7.3　日誌的分揀……syslog和syslog-ng　　269
使用syslog進行日誌的分揀　　269
syslog-ng　　270
5.7.4　日誌的收集　　272
Apache日誌的轉儲……cron與rotatelogs　　272
5.7.5　日誌服務器的作用與構成　　273
5.7.6　總結　　274
第6章　服務後颱
自律的基礎設施、穩健的係統　　275
6.1　Hatena網站的內容　　276
6.1.1　Hatena的基礎設施　　276
6.1.2　可擴展性和穩定性　　277
反嚮代理　　278
數據庫　　279
文件服務器　　281
6.1.3　提高運營效率　　282
安裝Kickstart　　282
軟件包管理和Puppet　　282
服務器的管理和監控　　283
使用Capistrano部署　　284
6.1.4　用電效率·提高資源的利用率　　285
重視服務器每1A所發揮的性能　　285
充分利用每颱服務器的性能　　286
不安裝無用的零件　　287
6.1.5　為瞭自律的基礎設施而努力　　288
6.2　DSAS的內容　　290
6.2.1　什麼是DSAS　　290
6.2.2　DSAS的特徵　　291
一個係統容納多個網站　　291
使用開源軟件搭建　　291
無論切斷任何地方，網絡服務都不會停止　　294
服務器增設非常方便　　295
故障修復非常簡單　　295
6.2.3　係統架構的詳情　　296
使用驅動綁定的原因　　296
DRBP實現故障轉移時的注意事項　　297
配置SSL加速器　　299
擴展健康檢查功能　　301
既方便又安全地使用負載均衡器　　303
處理會話數據　　306
memcached　　307
repcached　　307
6.2.4　DSAS的未來　　309
· · · · · · (收起)