高性能计算及高性能计算机-超级计算中心

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 机群系统(Cluster) Cluster 每个节点都是一个完整的计算机 各个节点通过高性能网络相互连接 网络接口和I/O总线松耦合连接 每个节点有完整的操作系统 曙光2000、 3000、4000, ASCI Blue Mountain 访存模型 UMA: NORMA: NUMA: 多处理机(单地址空间共享存储器) UMA: Uniform Memory Access NUMA: Nonuniform Memory Access 多计算机(多地址空间非共享存储器) NORMA: No-Remote Memory Access 结构模型－－访存模型 UMA: NUMA: NORMA: 多处理机 && 多计算机 UMA: NUMA: NORMA: 多处理机 (共享存储) 多计算机 (分布式存储) 并行计算机的性能指标 名 称 符 号 含 意 单 位 机器规模 n 处理器的数目 无量纲 时钟速率 f 时钟周期长度的倒数 MHZ 工作负载 W 计算操作的数目 Mflop 顺序执行时间 T1 程序在单处理机上的运行时间 s(秒) 并行执行时间 T n 程序在并行机上的运行时间 s(秒) 速度 R n = W/T n 每秒百万次浮点运算 Mflop/s 加速 Sn=T1/Tn 衡量并行机有多快 无量纲 效率 En = S n/n 衡量处理器的利用率 无量纲 峰值速度 R peak = n R’ peak 所有处理器峰值速度之积 ， R’peak为一个处理器的峰值速度 Mflop/s 利用率 U =R n/R peak 可达速度与峰值速度之比 无量纲 通信延迟 to 传送0-字节或单字的时间 Μs 渐近带宽 r∞ 传送长消息通信速率 MB/s 衡量系统性能的主要指标(1) MIPS(百万条指令每秒) 理论计算：处理器的时钟频率与平均每条指令所需的时钟周期(Cycles Per Instruction)的比值 MIPS ＝ clock rate / CPI = (number of Instructions) / (CPU time) 实际数值：对于一个应用(程序)，指令数目与运行时间的比值 MIPS’＝ (number of Instructions) / (execution time) 衡量系统性能的主要指标(2) MFLOPS(百万次浮点运算每秒) 理论计算：系统的浮点计算部件每秒可以做的浮点计算次数； MFLOPS = (number of Floating Point compute Unit)×N N为每个浮点计算部件一个周期内可以做的最多浮点操作数，对于目前常见的微处理器，一般为1－4； 实际数值：对于一个应用，浮点运算数目与运行时间的比值； MFLOPS’ = (number of floating operations) / (execution time) 两个指标的缺点 都不能全面表征系统的性能 MIPS指标比较适用于事务处理领域； 不同系统的指令不同，一条指令的功能和复杂度差别很大， 如IBM的大型主机(Mainframe)，价格达到千万元的大型机(含配套软件)，其MIPS值一般为5－10，不及价值数千元的Pentium4 PC； 非计算密集型的应用(事务处理)对I/O要求高，计算密集型的应用(图形程序)对主频要求高。用户对可靠性等特殊要求； 应用的需求不同，高性能计算领域也是“通才”难求，各有所长； 某些特殊类型计算机适合特定的应用。 两个指标的缺点 理论计算和实际测试的差别 对于一个具体的应用，可获得的实际性能与理论峰值有相当大的差距，即效率低的问题； 应用效率成为高性能计算的核心问题之一，受到普遍关注。 加速比定律 在并行计算系统，并行算法(并行程序)的执行速度相对于串行算法(串行程序)加快的倍数，就是该并行算法(并行程序)的加速比； 加速比是衡量“并行收益”的重要指标； Amdahl定律适用于固定计算规模的加速比性能描述，Gustafson定律适用于可扩展问题。 Amdahl定律 S = (WS+WP)/(WS+WP/p) = 1/(1/p+f(1-1/p)) 显然，当p→∞时，S=1/f，即对于固定规模的问题，并行系统所能达到的加速上限为1/f 一度引发了并行界部分人士的悲观情绪 Gustafson定律 S‘=(WS+pwp)/(WS+WP) =p-f(p-1)=f+p(1