第1章 服務器及基礎設施搭建入門
冗餘及負載分流的基礎 1
1.1 冗餘的基礎 2
1.1.1 冗餘概述 2
1.1.2 冗餘的本質 2
①設想可能發生的故障 2
②預先準備好備份設備 3
③部署工作機製……當故障發生時，切換到備份設備 3
1.1.3 應對路由器故障的情況 4
冷備份 4
1.1.4 應對Web服務器故障的情況 4
熱備份 5
1.1.5 故障轉移 6
VIP 6
IP地址的映射 6
1.1.6 檢測故障……健康檢查 7
Web服務器的健康檢查 8
路由器的健康檢查 8
1.1.7 搭建Active/Backup的拓撲結構 8
IP地址的映射操作 10
1.1.8 還想更有效地使用服務器……負載分發 10
1.2 實現Web服務器的冗餘……DNS輪詢 12
1.2.1 DNS輪詢 12
1.2.2 DNS輪詢的冗餘拓撲結構示例 13
1.2.3 還想更輕鬆地擴充係統……負載均衡器 16
1.3 實現Web服務器的冗餘……基於IPVS的負載均衡器 17
1.3.1 DNS輪詢與負載均衡器的不同點 17
1.3.2 IPVS……基於Linux的負載均衡器 18
負載均衡器的種類與IPVS的功能 18
1.3.3 調度算法 18
1.3.4 使用IPVS 20
ipvsadm 20
keepalived 20
1.3.5 搭建負載均衡器 21
配置Web服務器 22
啓動keepalived 23
確認負載分流 23
確認冗餘的拓撲結構 24
1.3.6 四層交換機與七層交換機 24
1.3.7 四層交換機的NAT模型與DSR模型 26
1.3.8 同一子網下的服務器進行負載分流時需要注意的地方 28
1.4 路由器及負載均衡器的冗餘 30
1.4.1 負載均衡器的冗餘 30
1.4.2 虛擬路由器冗餘協議（VRRP） 30
1.4.3 VRRP的拓撲模型 30
VRRP報文 31
虛擬路由器ID 32
優先順序 32
搶占模式 33
虛擬MAC地址 33
1.4.4 安裝keepalived時可能遇到的問題 34
延遲發送gratuitous ARP（GARP） 34
1.4.5 keepalived的冗餘 35
確認VIP 36
確認VRRP的運行情況 37
分離VRRP實例 37
同步VRRP實例 38
1.4.6 keepalived的應用 38
第2章 優化服務器及基礎設施的拓撲結構
冗餘、負載分流、高性能的實現 39
2.1 引入反嚮代理……Apache模塊 40
2.1.1 反嚮代理入門 40
2.1.2 根據HTTP請求的內容來控製係統的行為 41
根據IP地址進行控製 42
根據User-Agent進行控製 42
網址的重寫 42
2.1.3 優化係統整體的內存使用率 43
例：動態頁麵中的請求詳情 43
2.1.4 緩存Web服務器的應答數據 45
HTTP的Keep-Alive 45
例：內存消耗與Keep-Alive的開啓/關閉 46
2.1.5 使用Apache模塊控製處理規則 47
增設反嚮代理的判斷 48
2.1.6 增設反嚮代理 48
使用Apache 2.2 48
以worker模式啓動httpd 49
httpd.conf的配置 49
設定最大進程/綫程數 49
Keep-Alive的配置 51
載入必要的模塊 52
設定RewriteRule 52
2.1.7 進一步對RewriteRule進行設置 53
禁止來自特定主機的請求 54
對於來自搜索引擎機器人的請求使用緩存服務器 54
2.1.8 使用mod_proxy_balancer嚮多颱主機分流 55
mod_proxy_balancer的使用示例 56
2.2 增設緩存服務器……Squid、memcached 58
2.2.1 引入緩存服務器 58
HTTP與緩存 58
通過Live HTTP Headers得知緩存效果 58
2.2.2 Squid緩存服務器 59
使用Squid搭建反嚮代理 60
Squid緩存什麼 61
Squid的設定示例 62
2.2.3 使用memcached進行緩存 64
2.3 MySQL同步……發生故障時的快速恢復 66
2.3.1 萬一數據庫服務器停止 66
導緻數據庫停止的原因 66
短時間內恢復的辦法 66
2.3.2 MySQL的同步功能的特性和注意點 67
單主與多從 67
異步數據同步 68
被同步的數據內容 68
2.3.3 同步的結構 69
Slave 的I/O綫程與SQL綫程 69
二進製日誌與中繼日誌 69
位置信息 70
2.3.4 搭建同步結構 70
同步條件 70
my.cnf 71
建立同步專用的用戶 71
同步開始時所必需的數據 72
2.3.5 啓動同步 73
Master和Slave的my.cnf文件的差異 73
Slave開始運行&確認 73
2.3.6 確認同步的狀態 74
Master的狀態確認 74
Slave的狀態確認 75
2.4 MySQL的Slave+內部負載均衡器的靈活應用示例 78
2.4.1 MySQL的Slave的運用方法 78
Slave的運用策略 78
分發到多颱Slave上 78
2.4.2 通過負載均衡器將請求分發到多颱Slave的方法 79
概況圖 79
內部負載均衡器的配置 80
MySQL Slave的設定 82
體驗將請求分發到多颱Slave的負載均衡 83
2.4.3 內部負載均衡器的注意點……基於DSR的分發方法 83
2.5 選擇輕量高速的存儲服務器 85
2.5.1 存儲服務器的必要性 85
存儲服務器容易導緻單點故障 86
存儲服務器容易造成瓶頸 86
2.5.2 理想的存儲服務器 88
減輕負載 88
2.5.3 將HTTP作為存儲協議使用 88
輕量Web服務器的選擇 89
利用HTTP的優勢 89
2.5.4 遺留的問題 90
第3章 進一步完善不間斷的基礎設施
DNS服務器、存儲服務器、網絡 93
3.1 DNS服務器的冗餘 94
3.1.1 DNS服務器冗餘的重要性 94
3.1.2 使用解析庫實現冗餘及存在的問題 94
解析庫存在的問題 95
性能下降的危險性……以郵件服務器為例 95
DNS故障會造成很大的影響 96
3.1.3 基於服務器集群的DNS冗餘 96
3.1.4 使用VRRP的拓撲結構 96
3.1.5 DNS服務器的負載分發 98
3.1.6 小結 100
3.2 存儲服務器的冗餘……利用DRBD實現鏡像 101
3.2.1 存儲服務器的故障排解 101
3.2.2 存儲服務器同步的難點 101
3.2.3 DRBD 102
DRBD架構 102
3.2.4 DRBD的設置與啓動 103
啓動DRBD的Master服務器 104
啓動DRBD的備份服務器 105
3.2.5 DRBD的故障轉移 105
手動切換 105
keepalived的配置 106
利用daemontools來控製keepalived 108
3.2.6 NFS服務器故障轉移時的注意事項 109
3.2.7 備份的必要性 110
3.3 網絡的冗餘……驅動綁定、RSTP 111
3.3.1 L1/L2上部件的冗餘 111
3.3.2 故障點 111
3.3.3 鏈路冗餘與驅動綁定 112
驅動綁定 112
3.3.4 交換機的冗餘 114
鏈路故障時的行為 114
交換機故障時的行為 115
交換機間遭遇連接故障時的情況 115
3.3.5 增設交換機 116
實現多重冗餘 117
3.3.6 RSTP 117
網橋的優先順序及根網橋 118
RSTP中端口的作用 119
RSTP的行為 119
3.3.7 總結 120
3.4 引入VLAN……使網絡更加靈活 121
3.4.1 基於服務器集群的高靈活性網絡 121
3.4.2 引入VLAN的優點 121
交換機的有效使用 122
故障服務器的恢復機製 …靈活使用一颱備用機 123
使用VLAN，僅用一颱備用機就能實現恢復 123
3.4.3 VLAN的基礎知識 124
3.4.4 VLAN的種類 125
端口VLAN 126
標記VLAN 127
3.4.5 在服務器集群中的使用 128
不使用VLAN的拓撲結構 128
使用端口VLAN的拓撲結構 129
使用VLAN標簽的拓撲結構 130
3.4.6 即便在復雜的VLAN結構下，也需要讓物理層麵的設備
結構盡可能簡易化 132
第4章 性能優化、調整
Linux單個主機、Apache、MySQL 133
4.1 基於Linux單個主機的負載評估 134
4.1.1 充分發揮單個主機的性能 134
清楚何為性能、何為負載 134
4.1.2 彆臆斷，請監控 135
4.1.3 確認瓶頸的基本流程 136
觀察load average 136
觀察CPU、I/O是否存在瓶頸 137
當CPU負載較高時 137
當I/O負載較高時 137
4.1.4 何為負載 138
兩種負載 138
多任務操作係統與負載 139
搞清負載的本來麵目=知曉內核的行為 140
進程調度和進程狀態 140
進程狀態變遷的具體例子 142
進程狀態遷移匯總 144
換算到load average的等待狀態 144
load average錶述的負載意義 145
4.1.5 計算load average的內核編碼 146
4.1.6 通過load average判斷CPU使用率和I/O等待時間 148
使用sar來查看CPU使用率及I/O等待時間 149
CPU的用戶模式和係統模式 149
I/O密集型服務器的sar 150
4.1.7 多核CPU與CPU使用率 151
4.1.8 如何計算CPU的使用率 152
4.1.9 進程記賬的內核編碼 153
4.1.10 綫程和進程 156
內核中的進程和綫程 157
ps和綫程 158
LinuxThreads和NPTL 159
4.1.11 ps、sar、vmstat的使用方法 159
ps……輸齣進程信息 159
VSZ與RSS……虛擬內存和物理內存的指標 160
TIME……CPU占用時間 162
通過ps命令查看Blocking和Busy Loop的差異 162
sar……查看係統報告的各項指標 163
sar -u……查看CPU的使用率 165
sar -q……查看load average 165
sar -r……查看內存的使用狀況 166
減輕I/O負載及頁麵緩存 166
通過頁麵緩存減輕I/O負載的實施效果 167
將所需的數據整個放到頁麵緩存上 168
sar -W……查看交換區的吞吐狀況 169
vmstat……查看虛擬內存的相關信息 170
4.1.12 找到係統負載的癥結並解決 171
4.2 Apache的優化 172
4.2.1 Web服務器的優化 172
4.2.2 Web服務器遭遇瓶頸怎麼辦 172
4.2.3 Apache的並發處理與MPM 173
prefork與worker，進程與綫程 175
從編程模型看多進程/多綫程的差異 175
從性能的觀點來看多進程/多綫程的差異 176
一個客戶端對應一個進程/綫程 177
4.2.4 httpd.conf的配置 177
Apache的安全閥MaxClients 177
在prefork模式的情況下 178
父子進程共享內存的寫時復製技術 180
查看寫時復製時共享的內存大小 181
MaxRequestsPerChild 183
在worker模式的情況下 183
在係統超載的情況下，改變MaxClients前需要瞭解 185
4.2.5 Keep-Alive 186
4.2.6 Apache以外的選擇 186
lighttpd 187
4.3 MySQL的調優訣竅 189
4.3.1 MySQL的調優訣竅 189
基於調優視角的分類 189
1 服務器方麵 189
2 服務器之外的其他方麵 190
3 周邊係統 190
本章接下來要處理的內容 191
4.3.2 內存相關的參數優化 191
緩衝的種類……優化時的注意事項① 191
不能分配太多……優化時的注意事項② 192
內存的相關參數 192
4.3.3 內存相關的檢查工具……mymemcheck 194
第5章 高效運行
確保服務的穩定提供 197
5.1 服務狀態監控Nagios 198
5.1.1 穩定的服務運營與服務狀態監控 198
5.1.2 狀態監控的種類 198
1 存活狀態的監控 198
2 負載狀態的監控 199
3 可用率的統計 200
5.1.3 Nagios概述 201
安裝Nagios 201
5.1.4 Nagios的配置 201
配置文件 202
host……主機的配置 202
service……服務的定義 203
command……命令的定義 204
contact與contactgroup……通知對象和通知對象組 205
配置的測試 206
5.1.5 Web管理界麵 206
5.1.6 Nagios的基本使用方法 208
主機和服務的定義 208
通知 209
5.1.7 實用的使用方法 212
可用率的測定 212
獨立插件 214
5.1.8 小結 216
5.2 服務器資源的監控……Ganglia 217
5.2.1 服務器資源的監控 217
監控的目的 217
5.2.2 檢測工具的討論 218
5.2.3 Ganglia……麵嚮大量節點的圖錶化工具 218
5.2.4 將Apache的進程狀態圖錶化 220
在Ganglia中增加圖錶的方法 222
嘗試增加多個圖錶 222
其他的自定義圖錶 223
5.3 高效的服務器管理……Puppet 225
5.3.1 實現高效的服務器管理的工具Puppet 225
5.3.2 Puppet的概要 225
5.3.3 Puppet的配置 226
節點的定義 227
類的定義 227
確認配置是否有效 229
5.3.4 配置文件的語法 230
資源的定義 230
資源 231
對各個服務器的配置進行微調 232
資源間的依賴關係 233
通過模闆完成Manifest文件的定義 233
5.3.5 通知操作日誌 237
5.3.6 運用 238
5.3.7 自動配置管理工具的利與弊 239
5.4 守護進程的工作管理……Daemontools 241
5.4.1 守護進程的異常終止 241
5.4.2 daemontools 241
使用daemontools的原因 242
成為守護進程的條件……在前颱運行 243
5.4.3 守護進程的管理方法 243
創建守護進程 243
啓動守護進程 244
停止、繼續、重新啓動守護進程 245
停用守護進程 245
發送信號 245
Keepalived……run文件的例子① 246
自編的監控腳本……run文件的例子② 246
5.4.4 daemontools的實用技巧 248
控製所依賴的服務的啓動順序 248
常用的shell函數 249
5.5 網絡引導的應用……PXE、initramfs 252
5.5.1 網絡引導 252
網絡引導的特性及優勢 252
5.5.2 網絡引導的行為……PXE 253
5.5.3 網絡引導的應用實例 255
負載均衡器 255
數據庫服務器/文件服務器 256
維護用的引導映像 256
5.5.4 構建網絡引導 257
initramfs的通用化和作用的識彆 257
無盤結構中需要注意的事項 258
Master文件的安全性 259
5.6 遠程維護……維護綫路、Serial Console、IPMI 260
5.6.1 輕鬆實現遠程登錄 260
5.6.2 網絡故障的應對 260
維護綫路 260
交換機故障的應對 262
5.6.3 Serial Console 263
Serial Console的實現 264
5.6.4 IPMI 266
IPMI的功能 266
使用IPMI 267
5.6.5 總結 267
5.7 Web服務器的日誌處理……syslog、syslog-ng、cron、rotatelogs 268
5.7.1 Web服務器日誌的分揀·收集 268
5.7.2 分揀與收集 268
5.7.3 日誌的分揀……syslog和syslog-ng 269
使用syslog進行日誌的分揀 269
syslog-ng 270
5.7.4 日誌的收集 272
Apache日誌的轉儲……cron與rotatelogs 272
5.7.5 日誌服務器的作用與構成 273
5.7.6 總結 274
第6章 服務後颱
自律的基礎設施、穩健的係統 275
6.1 Hatena網站的內容 276
6.1.1 Hatena的基礎設施 276
6.1.2 可擴展性和穩定性 277
反嚮代理 278
數據庫 279
文件服務器 281
6.1.3 提高運營效率 282
安裝Kickstart 282
軟件包管理和Puppet 282
服務器的管理和監控 283
使用Capistrano部署 284
6.1.4 用電效率·提高資源的利用率 285
重視服務器每1A所發揮的性能 285
充分利用每颱服務器的性能 286
不安裝無用的零件 287
6.1.5 為瞭自律的基礎設施而努力 288
6.2 DSAS的內容 290
6.2.1 什麼是DSAS 290
6.2.2 DSAS的特徵 291
一個係統容納多個網站 291
使用開源軟件搭建 291
無論切斷任何地方，網絡服務都不會停止 294
服務器增設非常方便 295
故障修復非常簡單 295
6.2.3 係統架構的詳情 296
使用驅動綁定的原因 296
DRBP實現故障轉移時的注意事項 297
配置SSL加速器 299
擴展健康檢查功能 301
既方便又安全地使用負載均衡器 303
處理會話數據 306
memcached 307
repcached 307
6.2.4 DSAS的未來 309
· · · · · · (
收起)
