Benchmark性能测试综述

Ｂｅｎｃｈｍａｒｋ性能测试综述

王良

（中国人民大学计算机科学与技术系，北京

１００８７２

）

摘要基准（

Ｂｅｎｃｈｍａｒｋ

）测试是一种应用广泛、内容繁杂的测试技术，也是目前最主要的信息系统性能测试技术。文章

对

Ｂｅｎｃｈｍａｒｋ

测试的规范和测试方法做了归纳总结，给出了选用

Ｂｅｎｃｈｍａｒｋ

测试的建议和开发

Ｂｅｎｃｈｍａｒｋ

测试规范需

要解决的问题。最后介绍了有代表性的

Ｂｅｎｃｈｍａｒｋ

测试规范和程序集。

关键词基准测试测试性能

文献标识码

Ａ

中图分类号

ＴＰ３１１

文章编号

１００２－８３３１－

（

２００６

）

１５－００４５－０４

ＳｕｍｍａｏｆＢｅｎｃｈｍａｒｋＰｅｒｆｏｒｍａｎｃｅＴｅｓｔ

ＷａｎｇＬｉａｎｇ

（

ＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ

，

ＲｅｎｍｉｎＵｎｉｖｅｒｓｉｔｙｏｆＣｈｉｎａ

，

Ｂｅｉｊｉｎｇ１００８７２

）

Ａｂｓｔｒａｃｔ

：

Ａｓａｔｅｓｔｉｎｇｔｅｃｈｎｏｌｏｇｙｗｉｄｅｌｙａｐｐｌｉｅｄａｎｄｉｎｃｌｕｄｅｄｍｕｌｔｉｆａｒｉｏｕｓｃｏｎｔｅｎｔｓ

，

ａｂｅｎｃｈｍａｒｋｔｅｓｔｉｎｇｉｓｐｒｉｍａｒｙ

ｉｍｐｏｒｔａｎｃｅｆｏｒｅｖａｌｕａｔｉｎｇｐｅｒｆｏｒｍａｎｃｅｏｆｉｎｆｏｒｍａｔｉｏｎｓｙｓｔｅｍｓ．Ｔｈｉｓｐａｐｅｒｓｕｍｍａｒｉｚｅｓｓｐｅｃｉｆｉｃａｔｉｏｎｓａｎｄｔｅｓｔｉｎｇｍｅｔｈｏｄｓｏｆ

ｂｅｎｃｈｍａｒｋｔｅｓｔｉｎｇ

，

ａｎｄｐｕｔｓｆｏｒｗａｒｄｆｏｒｓｅｌｅｃｔｉｎｇｉｔｆｒｏｍａｎｕｍｂｅｒｏｆｂｅｎｃｈｍａｒｋｔｅｓｔｓ．Ｆｉｎａｌｌｙ

，

ｔｙｐｉｃａｌｂｅｎｃｈｍａｒｋｓｐｅｃｉ－

ｆｉｃａｔｉｏｎｓａｎｄｔｅｓｔｉｎｇｓｏｆｔｗａｒｅｔｏｏｌｓａｒｅｉｎｔｒｏｄｕｃｅｄ．

Ｋｅｙｗｏｒｄｓ

：

ｂｅｎｃｈｍａｒｋｔｅｓｔ

，

ｔｅｓｔ

，

ｐｅｒｆｏｒｍａｎｃｅ

１

引言

Ｂｅｎｃｈｍａｒｋ

作为一种评价方式，在计算机领域有着长期的

导向作用，它会引导生产厂商采用新技术改进产品。

选择

Ｂｅｎｃｈｍａｒｋ

测试时需要有明确的目的，当用于产品宣

传时

，就应该选用权威机构的

Ｂｅｎｃｈｍａｒｋ

测试，并且结果得到

其认可。而用于指导产品选择的

Ｂｅｎｃｈｍａｒｋ

测试，则需要清楚

应用。

Ｂｅｎｃｈｍａｒｋ

，一般译成基准或标杆，按牛津百科全书的解

释

，

Ｂｅｎｃｈｍａｒｋ

是指测试人员在岩石、混凝土立柱等上面刻下

的标记

，用以测量相对高度等，也称（供比较参照之用）样板或

参照点。

Ｂｅｎｃｈｍａｒｋ

测试的着眼点是测试结果的可比性，即按

照统一的测试规范

（

ｔｅｓｔｓｐｅｃｉｆｉｃａｔｉｏｎ

）对被测试系统进行测试，

测试结果之间具有可比性，并可再现测试结果。

Ｂｅｎｃｈｍａｒｋ

测试的结果是否与应用的特性有密切的关系。

Ｂｅｎｃｈｍａｒｋ

只能模拟一定的应用环境，不可能适用所有情况。

Ｂｅｎｃｈｍａｒｋ

测试也会带来消极的影响，如生产厂商可能会

相互攀比测试结果

，一味地追求高指标，而忽略了实际应用的

需要。因此

，好的

Ｂｅｎｃｈｍａｒｋ

测试就是引导厂家和用户向正确

的方面努力。

１．１

应用领域

Ｂｅｎｃｈｍａｒｋ

测试在计算机领域中最广泛和最成功的应用

是性能测试，主要测试响应时间、传输速率和吞吐量等。此外，

它也用于功能、可操作性和数据处理开发易用性等方面的测

试

［１］

。按照

Ｂｅｎｃｈｍａｒｋ

的思想，它还可以有更广泛的用途，但目

前性能以外有影响的

Ｂｅｎｃｈｍａｒｋ

测试很少。

２

选用

Ｂｅｎｃｈｍａｒｋ

测试规范

２．１

规范来源

Ｂｅｎｃｈｍａｒｋ

测试发展了

２０

多年，至今仍方兴未艾，许多组

织和个人从事这方面的研究和开发。众多的

Ｂｅｎｃｈｍａｒｋ

规范或

测试程序集为了不同的目的、产生于不同的背景，归纳起来有

如下形式：

（

１

）权威组织制定的测试标准或开发的测试程序集。它们

的测试标准、测试程序和测试参数及测试报告都是公开的

，如

Ｂｅｎｃｈｍａｒｋ

测试有些偏重于硬件，有些偏重于软件，还有

些注重整个系统。在硬件方面广泛应用于评价

ＣＰＵ

、内存、

Ｉ／Ｏ

接口和外围设备的性能，主要测试两个方面性能指标：一是硬

件传输数据的带宽

，称为带宽基准测试（

Ｂａｎｄｗｉｄｔｈｂｅｎｃｈｍａｒｋ

）；

二是数据传输的延迟，称为延迟基准测试（

Ｌａｔｅｎｃｙｂｅｎｃｈｍａｒｋ

）。

在软件方面

，它用于评价操作系统、数据库和中间件以及应用

软件的数据处理能力。

ＳＰＥＣ

、

Ｌｉｎｐａｒｋ

和

ＴＰＣ

组织的

ＴＰＣ

系列等。

（

２

）媒体机构开展的测试。一般由媒体机构建立测试实验

室

，组织测试。测试对象一般是大众电子类产品，测试规范和测

试程序不一定由测试机构开发，测试结果发布在媒体的专栏

上，如

ＰＣＭａｇａｚｉｎｅ

采用

Ｆｕｔｕｒｅｍａｒｋ３ＤＭａｒｋ０５

测试图像和声

音处理的性能，采用

ＮｅｔＩＱ

’

ｓＣｈａｒｉｏｔ

测试

ＶｏＩＰ

的性能

［２］

。

（

３

）研究机构以研究为目的开发的测试规范或测试程序。

１．２

作用

Ｂｅｎｃｈｍａｒｋ

测试对生产商和用户都很有价值。对生产厂商

的作用是为产品进行市场宣传和发现系统的瓶颈；对用户的作

用是指导产品的选择。

Ｂｅｎｃｈｍａｒｋ

测试最具吸引力的特点就是

一个好的

Ｂｅｎｃｈｍａｒｋ

测试对于某一领域的技术发展有积极的

基金项目：国家

８６３

高技术研究发展计划资助项目（编号：

２００３ＡＡ４Ｚ３０３０

）；国家教育部

２１１

工程资助项目

作者简介

：王良（

１９６３－

），男，副教授，主要研究领域为软件工程，数据库。

计算机工程与应用

２００６．１５

４５

这种测试结果不会由权威机构予以确认

，测试程序可以免费得

到。如

Ｗｉｓｃｏｎｓｉｎ

大学开发的非常有影响的

ＷｉｓｃｏｎｓｉｎＢｅｎｃｈ－

一种被广泛应用的测试思想，它们通常表现出许多共性。

Ｂｅｎｃｈｍａｒｋ

测试规范一般应具有的特性如下：

（

１

）有一个公开的测试规范。这个规范一般包括测试目的、

测试模型描述、测试环境配置要求、度量指标定义和测试量方

法、测试结果发布方式。

（

２

）一般提供可执行程序或源程序，测试程序又可分两部

分：一部分是测试数据装载程序，或者直接提供测试数据；另一

部是测试执行程序，为被测试系统提供测试负载。也有些

ｍａｒｋ

；先由

Ｓｕｎ

后来是

ＳＧＩ

支持的

ＬＭｂｅｎｃｈ

；

ＩＯｚｏｎｅ

组织开发

的文件系统测试程序集

ＩＯｚｏｎｅＦｉｌｅｓｙｓｔｅｍＢｅｎｃｈｍａｒｋ

。

（

４

）开源测试项目开发的测试规范和测试程序。如开源的

ＯＳＤＢ

（

ＯｐｅｎＳｏｕｒｃｅＤａｔａｂａｓｅＢｅｎｃｈｍａｒｋ

）

。

［３］

（

５

）专业咨询公司开发的测试规范和测试程序。这类测试

以盈利为目的，如

ＤｏｃｕｌａｂｓＷｅｂ

服务基准测试

＠Ｂｅｎｃｈ

。

（

６

）生产厂家自行开发的测试规范和测试程序。如

ＮＣ＆ＡＣ

的磁盘

Ｂｅｎｃｈｍａｒｋ

测试系列工具集。

尽管有众多的

Ｂｅｎｃｈｍａｒｋ

测试规范和程序集，但目前还没

有官方标准化组织发布的用于计算机系统的

Ｂｅｎｃｈｍａｒｋ

测试

标准，生产厂商联合成立的机构和科研机构是

Ｂｅｎｃｈｍａｒｋ

的最

主要发源地。在使用

Ｂｅｎｃｈｍａｒｋ

测试时，应根据测试的目的，搞

清楚测试规范的权威性。

［４］

Ｂｅｎｃｈｍａｒｋ

测试规范不提供测试程序，如

ＴＰＣ－Ｃ

和

ＴＰＣ－Ｗ

等，这就需要测试者自行开发测试程序。

（

３

）提供度量指标的测量方法或计算方法的详细说明。度

量指标要求在不同的被测试系统间具有可比性，如性能

／

价格

比。度量指标可能很简单，如数据传输率；也可能很复杂，要求

多个指标同时满足规范的要求，如

ＴＰＣ－Ｃ

中的指标

ｔｐｍＣ

是每

秒钟新事务的数量，但同时还要求按比例提交

５

种类型其它事

务，每

１０

个

Ｎｅｗ－Ｏｒｄｅｒ

事务要伴随有

１０

个

Ｐａｙｍｅｎｔ

事务、

１

个

Ｄｅｌｉｖｅｒｙ

事务、

１

个

Ｏｒｄｅｒ－Ｓｔａｔｕｓ

事务和

１

个

Ｔａｃｋ－Ｌｅｖｅｌ

事

务，即

Ｎｅｗ＿Ｏｒｄｅｒ

占总事务数的

４３．７％

。

（

４

）测试结果可重现。即在相同的测试环境下，可重现测试

结果。这一点很重要，

Ｂｅｎｃｈｍａｒｋ

测试的精髓就是提供一个可

比较的结果。

（

５

）测试结果公开。一个

Ｂｅｎｃｈｍａｒｋ

测试结果是否公开取

决于测试目的，公开程度一般应达到按公开的测试方法可再现

测试结果。

２．２

测试分类

Ｂｅｎｃｈｍａｒｋ

测试根据被测试对象的不同可分为两类：组件

测试和系统测试。组件测试是指测试的重点是针对信息系统中

的某一部件或某一子系统

，如

ＣＰＵ

、内存、磁盘、总线、文件系

统、网络设备等。系统测试则是对整个计算机系统或信息系统

进行测试。在系统测试中

，由于关注点不同，使用的

Ｂｅｎｃｈｍａｒｋ

测试规范就不同，则测试作用和度量指标也不同。不论是哪种

Ｂｅｎｃｈｍａｒｋ

测试，都必须在一个完整的计算机系统上进行，因

此，整个系统中的所有部分都可能对

Ｂｅｎｃｈｍａｒｋ

测试结果产生

影响，特别是硬件的配置水平、操作系统、编译器和数据库管理

系统。

使用不同的

Ｂｅｎｃｈｍａｒｋ

测试规范评价同一个被测试系统

时，可能出现不一致的测试结果。在进行同类系统比较时，可能

出现差异较大的结果。造成这一现象的原因复杂，但主要原因

是所有的

Ｂｅｎｃｈｍａｒｋ

测试规范有各自的侧重点，揭示出的系统

瓶颈存在差异。

３．２

规范必须解决的问题

（

１

）目的：所有的

Ｂｅｎｃｈｍａｒｋ

测试都必须有明确的目的性，

它应能够回答“为什么设计这个

Ｂｅｎｃｈｍａｒｋ

测试？”、“它用于测

这样的问题。

试什么

？”

（

２

）度量指标：测试的结果是通过度量指标来表示的，一般

Ｂｅｎｃｈｍａｒｋ

测试有一个主要的指标和若干个辅助指标，辅助指

标用于约束主指标的测量过程。

（

３

）负载：

Ｂｅｎｃｈｍａｒｋ

测试负载可归纳为三种，即处理大量

数据、做高强度计算和传输大量数据。

（

４

）约束：包括对被测系统的优化约束、负载的配比及测试

量指标之间的关系等。

（

５

）测试方法：或称测试程序的使用方法，一般包括步骤、

测试持续时间和指标测量方法。

（

６

）测试结果发布形式：

Ｂｅｎｃｈｍａｒｋ

测试公开报告有严格

的要求，对需要公开的内容有具体而明确的规定，一般要求其

他人按公开报告的测试方法可再现测试结果。如

ＴＰＣ－Ｃ

测试

的公开报告（

ＦｕｌｌＤｉｓｃｌｏｓｅＲｅｐｏｒｔ

）包括：处理器数目、操作系

统、内存容量、磁盘控制器类型、磁盘容量等等。

Ｃａｃｈｅ

大小、

２．３

测试成本

Ｂｅｎｃｈｍａｒｋ

测试有简单与复杂之分，所要付出的代价有大

有小，需要注意的是大型

Ｂｅｎｃｈｍａｒｋ

测试成本非常高。

Ｂｅｎｃｈ－

ｍａｒｋ

测试的成本构成如下：

（

１

）测试程序开发成本。它包括编写测试代码和测试数据。

测试代码的开发需要对测试问题有深入的理解，并找到有效的

测试方法。

（

２

）硬件资源。所有的

Ｂｅｎｃｈｍａｒｋ

测试都需要计算机系统，

甚至还要包括网络设备或一些大容量存储设备，如磁盘阵列、

大规模机群系统和网络系统等。

（

３

）测试管理和维护成本。

（

４

）测试执行成本。

Ｂｅｎｃｈｍａｒｋ

测试是一个循序渐进的过

程（可能延续数个月），需要优化系统、优化测试程序。这部分的

成本可概括为调优成本、学习成本、加载数据成本以及测试系

统运行成本等。

（

５

）测试系统占用成本。是指被测试系统因测试而不能用

于实际工作的成本。

４

常用

Ｂｅｎｃｈｍａｒｋ

测试介绍

Ｂｅｎｃｈｍａｒｋ

测试规范和测试程序集非常多，以下只选取部

分有代表性的、应用较广泛的

Ｂｅｎｃｈｍａｒｋ

测试进行介绍。

４．１ＴＰＣ

测试集

［５］

３Ｂｅｎｃｈｍａｒｋ

测试的共性特征

３．１

规范的主要内容

Ｂｅｎｃｈｍａｒｋ

测试规范众多，复杂程度差别很大，但是作为

４６

２００６．１５

计算机工程与应用

ＴＰＣ

（

ＴｒａｎｓａｃｔｉｏｎＰｒｏｃｅｓｓｉｎｇＰｅｒｆｏｒｍａｎｃｅＣｏｕｎｃｉｌ

）在

１９８８

年

８

月由

ＯｍｒｉＳｅｒｌｉｎ

和

ＴｏｍＳａｗｙｅｒ

创建，最初有

８

个成员，

目前发展为

２４

个，其中包括国际知名厂商

ｂｅａ

、

ＨＰ

、

ＩＢＭ

、

Ｉｎｔｅｌ

、

Ｍｉｃｒｏｓｏｆｔ

和

Ｆｕｊｉｔｓｕ

等。从

１９８９

年发布了第一个

Ｂｅｎｃｈｍａｒｋ

标

准至今，

ＴＰＣ

总共发布了

８

个标准，它们是

ＴＰＣ－Ａ

、

ＴＰＣ－Ｂ

、

其它许多

Ｂｅｎｃｈｍａｒｋ

测试的区别是：它不使用峰值指标作为评

价被测系统性能的指标，而是试图用

４

个独立的分级表来更好

地满足

ＨＰＣ

用户的个性需求。

ＴＰＣ－Ｃ

、

ＴＰＣ－Ｄ

、

ＴＰＣ－Ｒ

、

ＴＰＣ－Ｈ

、

ＴＰＣ－Ｗ

和

ＴＰＣ－Ａｐｐ

，其中

ＴＰＣ－Ａ

、

ＴＰＣ－Ｂ

、

ＴＰＣ－Ｄ

和

ＴＰＣ－Ｒ

标准已经被

ＴＰＣ

组织宣布淘

汰。最新发布的标准是

２００４

年

１２

月

５

日的

ＴＰＣ－Ａｐｐ

。

ＴＰＣ

测

试从

ＤＢＭＳ

的

ＡＣＩＤ

、查询时间和联机事务处理能力等方面对

ＩＤＣＢａｌａｎｃｅｄＲａｔｉｎｇ

用于测试三个领域的性能：

（

１

）处理器性能；

（

２

）内存系统的能力；

（

３

）可伸缩能力。

ＤＢＭＳ

进行性能测试。

ＴＰＣ

所制定的

Ｂｅｎｃｈｍａｒｋ

测试标准可以从

ｈｔｔｐ

：

／／ｗｗｗ．ｔｐｃ．

ｏｒｇ

网站下载。

ＴＰＣ

组织提供详细测试指导和测试结果的通过

标准，在

ＴＰＣ－Ｒ

、

ＴＰＣ－Ｈ

、

ＴＰＣ－Ｗ

和

ＴＰＣ－Ａｐｐ

标准中提供装载

数据的代码，但不提供测试程序。

ＴＰＣ

测试的报告要求完全公

开，包括测试的源代码。

ＩＤＣ

平衡分级指标由

４

个分级列表组成，即

１

个综合列表

和

３

个分别对应处理器、内存和可伸缩性（

ｓｃａｌｉｎｇ

）的分级列

表。每个列表从

０

到

１００

进行分级，

１００

是最好得分。

４．５ＮＰＢ

［９］

ＮＰＢ

（

ＮａｓａＰａｒａｌｌｅｌＢｅｎｃｈｍａｒｋ

）是由

ＮＡＳＡ

开发的一个用

于评价并行超级计算机性能的小型程序集，又称为

ＮＡＳ

（

Ｎｕ－

４．２ＳＰＥＣ

［６］

ＳＰＥＣ

（

ＳｔａｎｄａｒｄＰｅｒｆｏｒｍａｎｃｅＥｖａｌｕａｔｉｏｎＣｏｒｐｏｒａｔｉｏｎ

）是一

家非盈利公司，致力于建立、维护和认可与高性能计算机

ｍｅｒｉｃａｌＡｅｒｏｄｙｎａｍｉｃＳｉｍｕｌａｔｉｏｎ

）

Ｂｅｎｃｈｍａｒｋ

测试。这个

Ｂｅｎｃｈ－

ｍａｒｋ

测试来源于流体力学计算应用。

ＮＡＳ

发布了

５

个

ＮＰＢ

规

范

，它们是

ＮＰＢ１

、

ＮＰＢ２

、

ＮＰＢ３

、

ＧｒｉｄＮＰＢ３

和

ＮＰＢ３Ｍｕｌｔｉ－ｚｏｎｅ

Ｂｅｎｃｈｍａｒｋ

标准。

ＳＰＥＣ

开发了

７

个方面的

Ｂｅｎｃｈｍａｒｋ

测试集，

发布来自于成员单位和授权单位的测试结果。

ｖｅｒｓｉｏｎｓ

：

（

１

）

ＮＰＢ１

：这是

ＮＰＢ

最基础的版本，由

５

个内核和

３

个模

拟应用程序组成，以

ＮＡＳＡＡｍｅｓ

研究中心的研究为基础，模

拟大规模计算和数据传输的流体动力学（

ＣＦＤ

，

Ｃｏｍｐｕｔａｔｉｏｎａｌ

ＳＰＥＣ

在美国加州注册，由

４５

家成员、

３１

家伙伴和

２

家支

持成员构成，囊括了欧美和日本的主要计算机厂商，如

ＩＢＭ

、

Ｍｉｃｒｏｓｏｆｔ

、

Ｏｒａｃｌｅ

、

ＨＰ

、

Ｆｕｊｉｔｓｕ

、

ＮＥＣ

、

Ｄｅｌｌ

、

Ｈｉｔａｃｈｉ

、

Ｉｎｔｅｌ

、

Ｓｕｎ

等。

ＳＰＥＣ

结果是具有权威性的测试结果。

ＳＰＥＣ

的测试集包括

图形

／

应用处理、高性能计算机

／

消息传递接口（

ＭＰＩ

）、

ＣＰＵ

、

Ｊａｖａ

客户机

／

服务器、邮件服务器、网络文件系统、

Ｗｅｂ

服务器等。

ＦｌｕｉｄＤｙｎａｍｉｃｓ

）应用。

（

２

）

ＮＰＢ２

：基于

ＭＰＩ

（

ＭｅｓｓａｇｅＰａｓｓｉｎｇＩｎｔｅｒｆａｃｅ

），共有

４

个

版本，即

ＮＰＢ－ＭＰＩ２．０／２．２／２．４

和

２．４Ｉ／Ｏ

，较

ＮＰＢ１

有三个突出

变化：一是为提高可移植性，采用

Ｆｏｒｔｒａｎ－７７

开发测试程序集；

二是只实现

ＮＰＢ１

中的

５

个测试程序；三是在已有“和

ｃｌａｓｓＡ

”

“的基础上，增加了“，从而扩大了测试规模。其

ｃｌａｓｓＢ

”

ｃｌａｓｓＣ

”

中

ＮＰＢ－ＭＰＩ２．４Ｉ／Ｏ

利用

ＢＴ

（

Ｂｌｏｃｋ－Ｔｒｉ＿ｄｉａｇｏｎａｌ

）问题测试高

性能计算系统的输出能力。

（

３

）

ＮＰＢ３

：为适应

ＨＰＣ

的体系结构变化又分为

３

个子版

本，

ＮＰＢ－ＯｐｅｎＭＰ３．０

针对

ｃｃＮＵＭＡ

（

ｃａｃｈｅｃｏｈｅｒｅｎｔＮｏｎ－Ｕｎｉ－

４．３ＬＩＮＰＡＣＫ

［７］

ＬＩＮＰＡＣＫ

（

ＬｉｎｅａｒｓｙｓｔｅｍＰａｃｋａｇｅ

）是在高性能计算机领域

中最具影响的

Ｂｅｎｃｈｍａｒｋ

测试，它使用线性代数方程组，利用

选主元高斯消去法按双精度（

６４

位）算法测量求解线性方程的

稠密系统所需的时间。

ＬＩＮＰＡＣＫ

的结果按每秒浮点运算次数

（

Ｆｌｏｐｓ

）表示。

ＬＩＮＰＡＣＫ

源于

１９７４

年

４

月美国

Ａｒｇｏｎｎｅ

国家实

验室，该实验室的应用数学所主任

ＪｉｍＰｏｏｌ

提出

ＬＩＮＰＡＣＫ

计

划，并得到美国

ＮＳＦ

的支持，

ＬＩＮＰＡＣＫ

计划由

ＪａｃｋＤｏｎｇａｒｒａ

主持实施。

ＪａｃｋＤｏｎｇａｒｒａ

教授不定期地发布报告《使用标准线

性方程软件的各种计算机性能》。

ｆｏｒｍＭｅｍｏｒｙＡｃｃｅｓｓ

）体系结构，

ＮＰＢ－Ｊａｖａ３．０

是用

Ｊａｖａ

语言实

现的

ＮＰＢ３．０

，而

ＮＰＢ－ＨｉｇｈＰｅｒｆｏｒｍａｎｃｅＦｏｒｔｒａｎ３．０

是用

ＨＰＦ

（

ＨｉｇｈＰｅｒｆｏｒｍａｎｃｅＦｏｒｔｒａｎ

）实现的

ＮＰＢ３．０

。

（

４

）

ＧｒｉｄＮＰＢ３

：是

ＮＰＢ３

为适应网格（

Ｇｒｉｄ

）而开发的测试

程序集，又称为

ＮＧＢ

（

ＮＡＳＧｒｉｄＢｅｎｃｈｍａｒｋ

），目前只有

２００２

发布的

ＮＧＢ１．０

。

（

５

）

ＮＰＢ３Ｍｕｌｔｉ－ｚｏｎｅｖｅｒｓｉｏｎｓ

：即

ＮＰＢ３．０－ＭＺ

，是

ＮＰＢ

的

最新版本，于

２００３

年发布，目的是解决细粒度、混合型、多级并

行计算机系统的测试问题，它是

ＮＰＢ

的扩展。

ＬＩＮＰＡＣＫ

在

ＨＰＣ

（

ＨｉｇｈＰｅｒｆｏｒｍａｎｃｅＣｏｍｐｕｔｅｒ

）领域的测

试最具权威性，

ＴＯＰ５００

就是采用

ＬＩＮＰＡＣＫ

测试结果进行性能

排序。在

ＴＯＰ５００

的网页

ｈｔｔｐ

：

／／ｗｗｗ．ｔｏｐ５００．ｏｒｇ／ｌｉｓｔｓ／ｌｉｎｐａｃｋ．ｐｈｐ

上可以找到它选择

ＬＩＮＰＡＣＫ

的理由是“它被广泛应用和性能数

值几乎对所有领域都有效”。为适应计算机系统体系的发展，

ＬＩＮＰＡＣＫ

中又发展出两个项目，即

ＬＡＰＡＣＫ

（

ＬｉｎｅａｒＡｌｇｅｂｒａ

ＰＡＣＫａｇｅ

）和

ＥＩＳＰＡＣＫ

，这样可以更好地运行在共享内存的向

量超级计算机上。

４．６ＨＰＰＣ

［１０］

ＨＰＣＣ

（

ＨＰＣＣｈａｌｌｅｎｇｅ

）是由美国

ＤＡＲＰＡ

（

ＤｅｆｅｎｓｅＡｄ－

ｖａｎｃｅｄＲｅｓｅａｒｃｈＰｒｏｊｅｃｔｓＡｇｅｎｃｙ

）、

ＮＳＦ

和

ＤｏＤ

通过

ＤＡＲＰＡ

ＨＰＣＳ

（

ＨｉｇｈＰｒｏｄｕｃｔｉｖｉｔｙＣｏｍｐｕｔｉｎｇＳｙｓｔｅｍｓ

）计划资助的项目，

目的是为了有助于定义未来

Ｐｅｔａｓｃａｌｅ

规模超级计算机系统的

性能范围。

ＨＰＣＣ

测试程序集由

７

个著名计算内核（

ＳＴＲＥＡＭ

、

矩阵乘

－ＤＧＥＭＭ

、并行矩阵转置

－ＰＴＲＡＮＳ

、

ＨＰＬ

、

ＦＦＴ

、

Ｒａｎｄｏｍ－

带宽和延迟测试

－ｂ＿ｅｆｆ

）组成，设计的目的是测试真实

Ａｃｃｅｓｓ

、

应用的性能，如内存访问、时空局部性等。

（

１

）

ＨＰＬ

（

ＨｉｇｈＰｅｒｆｏｒｍａｎｃｅＬＩＮＰＡＣＫ

）是

ＬＩＮＰＡＣＫ

的

ＴＰＰ

（

ＴｏｗａｒｄＰｅａｋＰｅｒｆｏｒｍａｎｃｅ

）的变种版本，通过求解线性方程组

计算机工程与应用

２００６．１５

ＬＩＮＰＡＣＫ

由一组

Ｆｏｒｔｒａｎ

程序组成，测试分为三种情况：

（

１

）使用

ＬＩＮＰＡＣＫ

标准程序，处理

１００×１００

矩阵，不允许

对程序做任何修改。

（

２

）使用

ＬＩＮＰＡＣＫ

标准程序，允许修改测试算法，追求尽

可能高的性能。

（

３

）针对大规模并行计算系统的测试。

４．４ＩＤＣ

平衡评价指标

［８］

ＩＤＣ

平衡分级（

ＢａｌａｎｃｅｄＲａｔｉｎｇ

）指标是由

ＩＤＣ

公司与圣

迭哥超级计算机中心联合为

ＨＰＣ

测试而提出的指标体系，与

４７

测试系统的浮点计算能力。

（

２

）

ＳＴＲＥＡＭ

测试系统的内存持续访问带宽和响应计算的

速度。

（

３

）

ＲａｎｄｏｍＡｃｃｅｓｓ

测量内存随机修改速度。

（

４

）

ＰＴＲＡＮＳ

测量多处理器系统的内存中大数据量数组的

传输率。

（

５

）

ＤＧＥＭＭ

通过执行双精度实数矩阵乘法，测量浮点数

的执行速度。

（

６

）

ＦＦＴ

通过执行一维双精度离散傅立叶变换，测量浮点

运算的速度。

（

７

）通讯带宽和延迟测试是基于同时通讯的

ｂ＿ｅｆｆ

（

ｅｆｆｅｃｔｉｖｅ

５

结语

本文在对大量

Ｂｅｎｃｈｍａｒｋ

测试进行研究分析的基础上，对

Ｂｅｎｃｈｍａｒｋ

测试的规范和一般测试方法做了归纳总结。

应用最

Ｂｅｎｃｈｍａｒｋ

测试在信息系统的性能评价方面最为成熟、

为广泛

，其它方面的研究难度较大，至今缺少有影响的

Ｂｅｎｃｈ－

ｍａｒｋ

测试规范或测试程序。大型系统的

Ｂｅｎｃｈｍａｒｋ

测试非常

复杂，技术难度很大，成本较高。

随着信息技术的发展

，

Ｂｅｎｃｈｍａｒｋ

测试的应用领域也在不

断地拓展。除性能测试外，

Ｂｅｎｃｈｍａｒｋ

测试在计算机安全性

［１３］

、

可伸缩性、可靠性

［１４］

和故障恢复能力

［１５］

等领域的研究也在不断

地深入。

致谢在此，向对本文的工作给予支持和建议的同行，尤其

是北京人大金仓信息技术有限公司表示衷心的感谢。

（收稿日期：

２００６

年

１

月）

ｂａｎｄｗｉｄｔｈｂｅｎｃｈｍａｒｋ

）。

４．７ＩＯｚｏｎｅ

［１１］

ＩＯｚｏｎｅ

由

Ｏｒａｃｌｅ

的

ＷｉｌｌｉａｍＤ．Ｎｏｒｃｏｔｔ

发起，之后

ＨＰ

公司

的

ＤｏｎＣａｐｐｓ

和

ＴｏｍＭｃＮｅａｌ

对其进行了完善。它是一个可运

行在

Ｌｉｎｕｘ

、

ＨＰ－ＵＸ

、

Ｓｏｌａｒｉｓ

和

Ｗｉｎｄｏｗｓ

系统上的文件系统

参考文献

１．ＪｉｍＧｒａｙ

，

ＯｍｒｉＳｅｒｌｉｎ

，

ＣａｒｒｉｅＢａｌｌｉｎｇｅｒａｔｅｌ．ＴｈｅＢｅｎｃｈｍａｒｋＨａｎｄ－

ｂｏｏｋ．ｈｔｔｐ

：

／／ｈｔｔｐ

：

／／ｗｗｗ．ｉｎｆｏｒｍａｔｉｋ．ｕｎｉ－ｔｒｉｅｒ．ｄｅ／￣ｌｅｙ／ｄｂ／ｂｏｏｋｓ／ｃｏｌｌｅｃｔｉｏｎｓ／

ｇｒａｙ９１．ｈｔｍｌ

，

２００４－０２

２．ＷｉｒｅｌｅｓｓＴｅｓｔｉｎｇ．ＰＣＭａｇａｚｉｎｅ．ｈｔｔｐ

：

／／ｗｗｗ．ｐｃｍａｇ．ｃｏｍ／ｃａｔｅｇｏｒｙ２／０

，

４１４８

，

１９３８

，

００．ａｓｐ

，

２００５－０９

３．ＤＢｉｔｔｏｎ

，

ＣＴｕｒｂｙｆｉｌｌ．ＯｐｅｎＳｏｕｒｃｅＤａｔａｂａｓｅＢｅｎｃｈｍａｒｋＰｒｏｊｅｃｔａｔ

ＣｏｍｐａｑＣｏｍｐｕｔｅｒＣｏｒｐｏｒａｔｉｏｎ．ｈｔｔｐ

：

／／ｏｓｄｂ．ｓｏｕｒｃｅｆｏｒｇｅ．ｎｅｔ／ｉｎｄｅｘ．ｐｈｐ？

ｐａｇｅ＝ｆａｑ

，

２００５－１０

４．ｈｔｔｐ

：

／／ｗｗｗ．ｄｏｃｕｌａｂｓ．ｃｏｍ／Ｄｏｗｎｌｏａｄｓ／ＷｅｂＳｅｒｖｉｃｅＰｅｒｆｏｒｍａｎｃｅ＿０４－０３．ｐｄｆ

，

２００５－０９

５．ＯｍｒｉＳｅｒｌｉｎ

，

ＴｏｍＳａｗｙｅｒ．ＴＰＣＢｅｎｃｈｍａｒｋｓ．ｈｔｔｐ

：

／／ｗｗｗ．ｔｐｃ．ｏｒｇ／ｉｎｆｏｒｍａ－

ｔｉｏｎ／ｂｅｎｃｈｍａｒｋｓ．ａｓｐ

，

２００５－１０

６．ＫａｉｖａｌｙａＤｉｘｉｔ

，

ＴｏｍＳｋｏｒｎｉａ．ＳｔａｎｄａｒｄＰｅｒｆｏｒｍａｎｃｅＥｖａｌｕａｔｉｏｎＣｏｒｐｏ－

ｒａｔｉｏｎ

（

ＳＰＥＣ

）

．ｈｔｔｐ

：

／／ｗｗｗ．ｓｐｅｃ．ｏｒｇ／ｏｓｇ／ｗｅｂ９９／

，

２００５－１０

７．ＪａｃｋＤｏｎｇａｒｒａ

，

ＪｉｍＢｕｎｃｈ

，

ＣｌｅｖｅＭｏｌｅｒｅｔａｌ．ＮｅｔｌｉｂＩｎｄｅｘｆｏｒＬＩＮ－

ＰＡＣＫ．ｈｔｔｐ

：

／／ｗｗｗ．ｎｅｔｌｉｂ．ｏｒｇ／ｌｉｎｐａｃｋ

，

２００５－１０

８．ＢＥＮＣＨＭＡＲＫＳ．ｈｔｔｐ

：

／／ｗｗｗ．ｈｐｃｕｓｅｒｆｏｒｕｍ．ｃｏｍ／ｂｅｎｃｈｍａｒｋ／

，

２００５－１０

９．ＲｕｐａｋＢｉｓｗａｓ．ｈｔｔｐ

：

／／ｗｗｗ．ｎａｓ．ｎａｓａ．ｇｏｖ／Ｓｏｆｔｗａｒｅ／ＮＰＢ

，

２００５－０９

１０．ＰｉｏｔｒＬｕｓｚｃｚｅｋ

，

ＪａｃｋＪＤｏｎｇａｒｒａ

，

ＤａｖｉｄＫｏｅｓｔｅｒｅｔａｌ．Ｉｎｔｒｏｄｕｃｔｉｏｎｔｏ

ｔｈｅＨＰＣＣｈａｌｌｅｎｇｅＢｅｎｃｈｍａｒｋ．ｈｔｔｐ

：

／／ｉｃｌ．ｃｓ．ｕｔｋ．ｅｄｕ／ｈｐｃｃ／Ｓｕｉｔｅ

，

ｈｐｃｃ－

ｃｈａｌｌｅｎｇｅ－ｂｅｎｃｈｍａｒｋ．ｐｄｆ

，

２００５－０３

１１．ＷｉｌｌｉａｍＤＮｏｒｃｏｔｔ

，

ＤｏｎＣａｐｐｓ．ＩＯｚｏｎｅＦｉｌｅｓｙｓｔｅｍＢｅｎｃｈｍａｒｋ．ｈｔｔｐ

：

／／

ｗｗｗ．ｉｏｚｏｎｅ．ｏｒｇ

，

２００５－０９

１２．ＬａｒｒｙＭｃＶｏｙ

，

ＣａｒｌＳｔａｅｌｉｎ．ＬＭｂｅｎｃｈ－ＴｏｏｌｓｆｏｒＰｅｒｆｏｒｍａｎｃｅＡｎａｌｙｓｉｓ．

ｈｔｔｐ

：

／／ｗｗｗ．ｂｉｔｍｏｖｅｒ．ｃｏｍ／ｌｍｂｅｎｃｈ／

，

２００５－１１

１３．ＳｅｃｕｒｉｓＩｎｃ．ＳｅｃｕｒｉｔｙＢｅｎｃｈｍａｒｋ．ｃｏｍ．ｈｔｔｐ

：

／／ｗｗｗ．ｓｅｃｕｒｉｔｙｂｅｎｃｈｍａｒｋ．

ｃｏｍ／

，

２００５－１０

１４．ＭＤａｌＣｉｎ．ＤｅｐｅｎｄａｂｉｌｉｔｙＢｅｎｃｈｍａｒｋｉｎｇ．ｈｔｔｐ

：

／／ｗｗｗ．ｅｓａｔ．ｋｕｌｅｕｖｅｎ．

ａｃ．ｂｅ／ｅｌｅｃｔａ／ｄｂｅｎｃｈ

，

２００３－０９

１５．ＤａｖｅＰａｔｔｅｒｓｏｎ

，

ＡｒｍａｎｄｏＦｏｘ．ＴｈｅＢｅｒｋｅｌｅｙ／ＳｔａｎｆｏｒｄＲｅｃｏｖｅｒｙ－Ｏｒｉ－

ｅｎｔｅｄＣｏｍｐｕｔｉｎｇ

（

ＲＯＣ

）

Ｐｒｏｊｅｃｔ．ｈｔｔｐ

：

／／ｒｏｃ．ｃｓ．ｂｅｒｋｅｌｅｙ．ｅｄｕ／

，

２００５－１１

Ｂｅｎｃｈｍａｒｋ

测试工具。

ＩＯｚｏｎｅ

的开发目的是分析计算机平台生

产厂商的文件系统的

Ｉ／Ｏ

性能，为用户选择系统提供参考。

ＩＯｚｏｎｅ

将文件系统的

Ｉ／Ｏ

作为基本负载对文件系统进行

Ｂｅｎｃｈｍａｒｋ

测试，允许测试者调整参数，包括从很小到非常大

的文件和不同的访问方式。

ＩＯｚｏｎｅ

可测试本地系统，也可测试

客户机

／

服务器环境下的

ＮＦＳ

（

ＮｅｔｗｏｒｋＦｉｌｅＳｙｓｔｅｍ

）客户端文

件访问。

重复读

／

写、后向读、跨越读、

ＩＯｚｏｎｅ

的测试项包括：读

／

写、

流文件读

／

写系统库函数（

ｆｒｅａｄ／ｆｗｒｉｔｅ

）、随机读

／

写、偏移量读

／

写

库函数（

ｐｒｅａｄ／ｐｗｒｉｔｅ

）、

ＰＯＳＩＸ

异步读

／

写和文件映射内存的系统

库函数

ｍｍａｐ

。

４．８ＬＭｂｅｎｃｈ

［１２］

Ｌｍｂｅｎｃｈ

是由

ＳＧＩ

公司的

ＬａｒｒｙＭｃＶｏｙ

和

ＨＰ

公司的

Ｃａｒｌ

Ｓｔａｅｌｉｎ

设计开发的一组小型

Ｂｅｎｃｈｍａｒｋ

测试程序集，它可以测

试处理器、内存、网络、文件系统和磁盘中的数据传输和数据带

宽。

ＬＭｂｅｎｃｈ

的作者希望能够在广泛的应用领域中发现被测试

系统的性能瓶颈

，并能识别、隔离和再现这些瓶颈。

ＬＭｂｅｎｃｈ

由许多小测试程序组成，每个测试程序能够捕获

应用中的某些特定性能问题。它遵守

ＧＰＬ

许可协议，可获得源

代码。它可以运行在

ＡＩＸ

、

ＢＳＤＩ

、

ＨＰ－ＵＸ

、

ＩＲＩＸ

、

Ｌｉｎｕｘ

、

ＦｒｅｅＢＳＤ

、

ＮｅｔＢＳＤ

、

ＯＳＦ／１

、

Ｓｏｌａｒｉｓ

和

ＳｕｎＯＳ

系统上。

延时和这两者的组合问题上：

ＬＭｂｅｎｃｈ

集中在测试带宽、

（

１

）带宽基准测试，可细分为：被缓冲的文件读，利用系统调

用

ｂｃｏｐｙ

的内存复制、内存读、内存写、管道（

Ｐｉｐｅ

）和

ＴＣＰ

传输。

（

２

）延时基准测试，可细分为：进程上下文切换、组网（其中

包括：建立连接、管道、文件系统的建立和

ＴＰＣ

、

ＵＤＰ

和

ＲＰＣ

）、

删除、进程创建、信号操作、系统调用代价和内存读延时。

（

３

）杂项，只有处理器时钟速度测试一项。

４８

２００６．１５

计算机工程与应用