admin 管理员组

文章数量: 887021


2024年3月7日发(作者:机房同传软件)

什么是高性能计算,涉及哪些技术和知识

高性能计算(HPC指通常使用很多处理器(作为单个机器的一部分)或者某一

集群中组织的几台计算机 (作为单个计算资源操作 )的计算系统和环境。高性能集

群上运行的应用程序一般使用并行算法,把一个大的普通问题根据一定的规则 分为许多小的子问题,在集群内的不同节点上进行计算,而这些小问题的处理 结果,经过处理可合并为原问题的最终结果。由于这些小问题的计算一般是可 以并行完成的,从而可以缩短问题的处理时间。

高性能集群在计算过程中,各节点是协同工作的,它们分别处理大问题的 一部分,并在处理中根据需要进行数据交换,各节点的处理结果都是最终结果 的一部分。高性能集群的处理能力与集群的规模成正比,是集群内各节点处理 能力之和,但这种集群一般没有高可用性。高性能计算的分类方法很多。这里 从并行任务间的关系角度来对高性能计算分类。

一、 高吞吐计算 (High-throughput Computing)

有一类高性能计算,可以把它分成若干可以并行的子任务,而且各个子任 务彼此间没有什么关联。因为这种类型应用的一个共同特征是在海量数据上搜 索某些特定模式,所以把这类计算称为高吞吐计算,而且算力也比较大。所谓 的In ternet计算都属于这一类。按照Fly nn的分类,高吞吐计算属于

SIMDSinglelnstruction/Multiple Data,单指令流-多数据流)的范畴。

二、 分布计算 (Distributed Computing)

另一类计算刚好和高吞吐计算相反,它们虽然可以给分成若干并行的子任

务,但是子任务间联系很紧密,需要大量的数据交换。按照 Flynn的分类,分布 式的高性能计算属于 MIMD(Multiple Instruction/MultipleData ,多指令流 -多数据

流)的范畴。

有许多类型的HPC系统,其范围从标准计算机的大型集群,到高度专用的 硬件。大多数基于集群的HPC系统使用高性能网络互连,基本的网络拓扑和组 织可以使用一个简单的总线拓扑。HPC系统由计算、存储、网络、集群软件四 部分组成。

高性能计算HPC系统技术特点是什么?

1/ 5

HPC系统目前主流处理器是 X86处理器,操作系统是linux系统(包括Intel、

AMD、NEC Power、PowerPC Sparc等)、构建方式采用刀片系统,互联网络使

用 IB 和 10GE。

高性能计算HPC集群中计算节点一般分3种:MPI节点、胖节点、GPU加速

节点。双路节点称为瘦节点(MPI节点),双路以上称为胖节点;胖节点配置大容量 内存;集群中胖节点的数量要根据实际应用需求而定。

GPU英文全称Graphic Processing Unit中文翻译为图形处理器。在浮点运

算、并行计算等部分计算方面,GPU可以提供数十倍乃至于上百倍于 CPU的性

能。目前GPU厂家只有三家NVIDIA GPU AMD GPU和 In tel Xeon PH。可选择的

GPU种类比较少。

NVIDIA的GPU卡分图形卡和计算卡,图形卡有 NVIDA K2000与 K4000,计

算卡K20X/K40M/K8Q In tel的GPU是In tel Xeo n Phi系列,属于计算卡,主要产

品有 Phi 5110P、 Phi 3210P、 Phi 7120P、 Phi31S1P。

AMD的GPU是图形和计算合一,主要产品有 W5000、W9100、S7OO0 S9000、

S10000。

高性能计算的性能指标怎样衡量

CPU的性能计算公式:单节点性能二处理器主频*核数*单节点CPU数量*单周

期指令数。单周期指令数 =8(E5-2600/E5-2600 V2/E7-4800 v2或 16(E5-2600

v3 )节 点数量=峰值浮点性能需求 /单节点性能。

时延(内存和磁盘访问延时)是计算的另一个性能衡量指标,在 HPC系统中,

一般时延要求如下:一个MFlops等于每秒一佰万(=10八6)次的浮点运算;

一个GFlops等于每秒拾亿(=10A9)次的浮点运算;

一个TFlops等于每秒一万亿(=10八12)次的浮点运算,(1太拉);

一个PFlops等于每秒一千万亿(=10八15)次的浮点运算;

一个EFlops等于每秒一佰京(=10八18)次的浮点运算。

2/ 5

测试工具 一Linpack HPC是什么?

Lin pack HPC是性能测试工具。LINPACI是线性移动学习系统软件包(Li near

system package的缩写,主要开始于1974年4月,美国Argonne国家实验室应 用数学所主任Jim Pool,在一系列非正式的讨论会中评估,建立一套专门解线性 系统问题之数学软件的可能性。

业界还有其他多种测试基准,有的是基于实际的应用种类如 TPC-C有的是 测试系统的某一部分的性能,如测试硬盘吞吐能力的 IOmeter,测试内存带宽的

stream。

至目前为止,Lin pack还是广泛地应用于解各种数学和工程问题。也由于它 高效率的运算,使得其它几种数学软件例如 IMSL、MatLab 纷纷加以引用来处理

矩阵问题,所以足见其在科学计算上有举足轻重的地位。

Lin pack现在在国际上已经成为***的用于测试高性能计算机系统浮点性能的

Benchmark。通过利用高性能计算机,用高斯消元法求解 N元一次稠密线性代数

方程组的测试,评价高性能计算机的浮点性能。

双列直插式内存(DIMM)有几种类型?

双列直插式内存(DIMM)包括UDIMM内存、RDIMM内存和LRDIMM内存三 种

DIMM 内存可用类型。

在处理较大型工作负载时,无缓冲 DIMM( UDIMM )速度快、廉价但不稳 定。

寄存器式 DIMM( RDIMM )内存稳定、扩展性好、昂贵,而且对内存控制器 的电气压力小。它们同样在许多 ai 服务器上使用。降载 DIMM( LRDIMM )内存是 寄存器式内存 ( RDIMM )的替代品,它们能提供高内存速度,降低服务器内存总 线的负载,而且功耗更低。LRDIMM内存成本比RDIMM内存高非常多,但在高 性能计算架构中十分常见。

非易失双列直插式内存 NVDIMM 是什么

NVDIMM由BBU(Battery Backed Up) DIMM寅变而来。BBU采用后备电池以

维持普通挥发性内存中的内容几小时之久。但是,电池含有重金属,废弃处置 和对3/ 5

环境的污染,不符合绿色能源的要求。由超级电容作为动力源的 NVDIMM 应运而生。并且NVDIMM使用非挥发性的Flash存储介质来保存数据,数据能 够保存的时间更长。

主流高性能计算网络类型有哪些 ?

InfiniBand 架构是一种支持多并发链接的 “转换线缆 ”技术, InfiniBand 技术不 是用于一般网络连接的,它的主要设计目的是针对服务器端的连接问题的。因

此,InfiniBand技术将会被应用于服务器与服务器(比如复制,分布式工作等), 浪潮ai服务器和存储设备(比如SAN和直接存储附件)以及人工智能服务器和网 络之间(比如LAN, WANs和互联网)的通信。高性能计算HPC系统为什么要使用 IB互联?主要原因是IB协议栈简单,处理效率高,管理简单,对 RDMA支持 好,功耗低,时延低。

目前只有 Mexllaon、In tel、Qlogic提供IB产品,Mexlla on是主要玩家,处

于主导地位,IB目前支持FDR和QDR EDR

Host Channel Adapters (HCA是 IB连接的设备终结点,提供传输功能和 Verb

接口 ;Target Channel Adapters(TCA是 HCA的子集,基本上用于存储。

RDMA(Remote Direct Memory Access技术全称远程直接数据存取,就是为了

解决网络传输中服务器端数据处理的延迟而产生的。

Copy。

高性能计算的灵魂 —并行文件系统

TOP500 HPC系统中存储主要使用分布式文件系统,分布式文件系统

(Distributed File System)可以有效解决数据的存储和管理难题:将固定于某个地点

的某个文件系统,扩展到任意多个地点 /多个文件系统,众多的节点组成一个文 件系统网络。每个节点可以分布在不同的地点,通过网络进行节点间的通信和 数据传输。

人们在使用分布式文件系统时,无需关心数据是存储在哪个浪潮服务器的 节点上、或者是从哪个节点从获取的,只需要像使用本地文件系统一样管理和 存储文件系统中的数据。

RDMA通过网络把数据直

接传入计算机的存储区,将数据从一个系统快速移动到远程系统存储器中,实 现 Zero

4/ 5

分布式文件系统的设计基于客户机 / 服务器模式。一个典型的网络可能包括 多个供多用户访问的服务器。当前主流的分布式文件系统包括 : Lustre、

Hadoop、MogileFS FreeNAS FastDFS NFS OpenAFS MooseFS pNFS 以及

GoogleFS等,其中 Lustre、GPFS是 HPC最主流的。

5/ 5


本文标签: 计算 节点 高性能 内存 系统