前言
第1章緒論
1.1並行和嚮量化的作用
1.2為什麼要並行或嚮量化
1.3為什麼嚮量化或並行難
1.4並行的替代方法
1.5進程、綫程與處理器
1.6並行硬件平颱
1.7嚮量化和多核技術不是萬能的
1.8本章小結
第2章現代處理器特性
2.1指令級並行
2.1.1指令流水綫
2.1.2亂序執行
2.1.3指令多發射
2.1.4分支預測
2.1.5VLIW
2.2嚮量化並行
2.2.1SIMD
2.2.2SIMT
2.3綫程級並行
2.3.1內核綫程和用戶綫程
2.3.2多綫程編程庫
2.3.3多核上多綫程並行要注意的問題
2.3.4多綫程程序在多核和單核上運行的不同
2.4緩存
2.4.1緩存層次結構
2.4.2緩存一緻性
2.4.3緩衝不命中
2.4.4寫緩存
2.4.5越過緩存
2.4.6硬件預取
2.4.7緩存結構
2.4.8映射策略
2.5虛擬存儲器和TLB
2.6NUMA技術
2.7本章小結
第3章算法性能和程序性能的度量與分析
3.1算法分析的性能度量標準
3.1.1時間復雜度與空間復雜度
3.1.2實現復雜度
3.2程序和指令的性能度量標準
3.3程序性能優化的度量標準
3.3.1加速比與並行效率
3.3.2Amdahl定律和Gustafson定律
3.4程序性能分析實用工具
3.5本章小結
第4章串行代碼性能優化
4.1係統級彆
4.2應用級彆
4.3算法級彆
4.4函數級彆
4.4.1函數調用參數
4.4.2內聯小函數
4.5循環級彆
4.5.1循環展開
4.5.2循環纍積
4.5.3循環閤並
4.5.4循環拆分
4.6語句級彆
4.6.1減少內存讀寫
4.6.2選用盡量小的數據類型
4.6.3結構體對齊
4.6.4錶達式移除
4.6.5分支優化
4.6.6優化交換性能
4.7指令級彆
4.8本章小結
第5章依賴分析
5.1指令級依賴
5.1.1結構化依賴
5.1.2數據依賴
5.1.3控製依賴
5.2循環級依賴
5.2.1循環數據依賴
5.2.2循環控製依賴
5.3寄存器重命名
5.4本章小結
第6章並行編程模型及環境
6.1並行編程模型
6.1.1指令級並行
6.1.2嚮量化並行
6.1.3易並行
6.1.4任務並行
6.1.5數據並行
6.1.6循環並行化
6.1.7流水綫並行
6.1.8區域分解並行
6.1.9隱式和顯式並行化
6.1.10SPMD
6.1.11共享存儲器並行
6.1.12分布式存儲器並行
6.2常見並行編程環境
6.2.1MPI
6.2.2OpenMP
6.2.3fork/pthread
6.2.4CUDA
6.2.5OpenCL
6.2.6OpenACC
6.2.7NEON內置函數
6.2.8SSE/AVX內置函數
6.3本章小結
第7章並行算法設計方法
7.1劃分
7.1.1分而治之
7.1.2劃分原則
7.1.3常見劃分方法
7.1.4並行性和局部性
7.2通信
7.2.1操作的原子性
7.2.2結果的可見性
7.2.3順序一緻性
7.2.4函數的可重入與綫程安全
7.2.5volatile關鍵字
7.2.6鎖
7.2.7臨界區
7.2.8原子操作
7.2.9柵欄
7.3結果歸並
7.4負載均衡
7.4.1靜態負載均衡
7.4.2動態負載均衡
7.4.3動態負載均衡算法的一般步驟
7.5本章小結
第8章並行算法缺陷
8.1啓動結束時間
8.2負載均衡
8.3競寫
8.4鎖
8.4.1死鎖
8.4.2活鎖
8.5餓死
8.6僞共享
8.7原子操作
8.8存儲器柵欄
8.9緩存一緻性
8.10順序一緻性
8.11volatile同步錯誤
8.12本章小結
第9章並行編程模式實踐
9.1map模式
9.2reduce模式
9.3結閤map和reduce模式
9.4scan模式
9.5zip/unzip模式
9.6流水綫模式
9.7本章小結
第10章如何並行遺留代碼
10.1找齣軟件的計算熱點
10.2判斷是否並行化熱點
10.3設計算法並實現
10.3.1選擇何種工具進行嚮量化或並行化
10.3.2重構熱點代碼
10.3.3依據硬件實現算法
10.4將實現後的代碼嵌入原軟件
10.4.1混閤編譯
10.4.2動態鏈接庫
10.5示例：如何並行化word2vec
10.6本章小結
第11章超級並行
11.1超級並行方式編程
11.1.1進程+綫程
11.1.2進程+GPU綫程
11.1.3綫程+GPU綫程
11.1.4綫程+嚮量指令
11.1.5進程+綫程+嚮量指令
11.1.6進程+綫程+GPU綫程
11.2矩陣乘法
11.2.1多機CPU矩陣乘法
11.2.2單機多GPU矩陣乘法
11.2.3多機多GPU矩陣乘法
11.3本章小結
第12章並行算法設計的一般準則
12.1並行算法設計14準則
12.2本章小結
附錄A整型數據與浮點數據
· · · · · · (收起)