本书系统地介绍了并行计算的基础知识和相关算法，并分别介绍了目前主流的并行编程语言MPI、OpenMP以及CUDA的相关语法、编程以及优化技巧等知识，是并行计算程序开发人员快速入门的一本较全面的教材和参考书。
本书共6章。第1章介绍并行计算的基础知识，阐明了并行计算的起源、发展和现状以及相关的基本概念；第2章介绍部分基础的并行算法，包括区域分解、功能分解、流水线等六种方法，并帮助读者掌握并行算法设计的基本原则；第3章针对矩阵乘法、线性方程组求解、经典迭代算法的并行化、特征值求解这四类典型的数学问题，深入介绍了对应的经典的并行计算算法；第4章和第5章分别介绍了目前使用最广泛的消息传递编程语言MPI和共享存储并行编程语言OpenMP的相关知识和编程技巧；最后一章介绍了GPU并行加速实现技术，并重点介绍了GPU上使用最广泛的CUDA语言的相关语法、硬件架构、优化技巧以及与MPI/OpenMP的混合编程方法。
样章试读
目录
- 目录
第1章并行计算基础1
1.1什么是并行计算1
1.2为什么需要并行计算2
1.3并行计算机的发展4
1.4并行算法复杂性分析5
1.5并行计算的基本概念7
第2章基础并行算法9
2.1并行算法设计基本原则9
2.2区域分解方法10
2.3功能分解方法11
2.4流水线技术12
2.5分而治之方法13
2.6同步并行算法14
2.7异步并行算法14
第3章经典算法的并行计算16
3.1矩阵乘并行计算方法16
3.1.1矩阵卷帘存储方式16
3.1.2并行矩阵乘法17
3.2线性方程组并行求解方法21
3.2.1分布式系统的并行LU分解算法22
3.2.2三角方程组的并行解法23
3.3经典迭代算法的并行化25
3.3.1Jacobi迭代法25
3.3.2Gauss-Seidel迭代法26
3.4特征值问题并行计算方法27
3.4.1对称三对角矩阵特征值问题27
3.4.2Householder变换28
3.4.3化对称矩阵为三对角矩阵29
第4章消息传递编程接口MPI30
4.1并行环境函数30
4.2MPI进程控制函数32
4.2.1MPI进程组操作函数32
4.2.2MPI通信子操作36
4.3点到点通信函数39
4.3.1阻塞式通信函数39
4.3.2非阻塞式通信函数44
4.3.3特殊的点到点通信函数49
4.3.4MPI的通信模式50
4.4自定义数据类型51
4.4.1用户定义的数据类型51
4.4.2MPI的数据打包与拆包59
4.5聚合通信函数62
4.5.1障碍同步62
4.5.2单点与多点通信函数62
4.5.3多点与多点通信函数66
4.6全局归约操作函数70
第5章共享存储并行编程OpenMP80
5.1OpenMP发展历程80
5.2OpenMP执行模型和存储模型81
5.3OpenMP指导语句82
5.3.1parallel结构83
5.3.2工作共享结构85
5.3.3数据共享属性子句98
5.3.4其他子句104
5.3.5Tasking结构107
5.3.6结构嵌套规则111
5.4OpenMP运行时函数库111
5.4.1运行时函数定义111
5.4.2执行环境函数111
5.4.3锁函数116
5.4.4时间函数120
5.5OpenMP环境变量120
5.6OpenMP在MIC架构上的优化技术122
5.6.1offload模式下将Host环境传播至MIC(target)计算节点122
5.6.2offload模式提供了多种关键字来实现多功能的需求122
5.6.3查看编译器对程序中OpenMP区域的优化处理123
5.6.4OpenMP在Offload及Native模式下的不同缺省值123
5.6.5设置OpenMP的栈空间大小124
5.6.6分配部分计算资源给运行的程序125
第6章GPU并行加速实现技术126
6.1GPU以及GPGPU发展简介126
6.2CUDA并行编程模型129
6.2.1线程结构129
6.2.2线程调度132
6.3CUDA软件体系134
6.3.1CUDA函数定义以及变量类型限定符134
6.3.2CUDA算数指令与数学函数136
6.3.3CUDA内置函数136
6.3.4CUDA软件体系结构137
6.3.5CUDA程序的编译139
6.4CUDA存储器模型139
6.4.1寄存器141
6.4.2全局存储器141
6.4.3本地存储器145
6.4.4共享存储器145
6.4.5常量存储器147
6.4.6纹理存储器147
6.5CUDA程序的优化151
6.5.1处理器利用率优化152
6.5.2指令吞吐量优化154
6.5.3存储器访问优化157
6.5.4矩阵乘法程序优化示例163
6.5.5矩阵转置程序优化示例165
6.6MPI/CUDA混合编程170
6.6.1MPI/CUDA混合编程模型171
6.6.2GPU集群上的数据传输模型172
6.6.3MPI/CUDA混合编程以及编译运行示例174
6.6.4MPI/OpenMP/CUDA混合编程177
6.6.5异构平台数学库MAGMA简介184
参考文献186
索引189
《信息与计算科学丛书》已出版书目191
京公网安备 11010102004214号