双控存储系统

双控存储系统

随着我国科技的发展和信息化建设的不断深入，各种数据量迅速增长，数据应用的深

度也不断增加。在英国工业革命之后，各种书籍等以文字为载体的知识大约每十年翻一番，

１９世纪７０年代后，全球信息总量大约每三年就翻一番。而到了现如今，全球信息总量

每两年就可翻一番。２０1１年全球数据总量已经达到１．８ＺＢ，并且根据预计每年以５

０％的速度增长，我们己经进入了大数据时代。

在大数据时代，数据的存储不仅是针对原生数据，更多的是第三方数据。随着大数据

时代的不断推进，原生数据越来越呈现单一孤立化，而大数据处理就是要将众多看似毫无

联系的单一孤立化数据联系起来，产生各种针对性很强的第三方数据。随着大数据处理的

发展，第Ｈ方数据量与日俱增，带有各项综合价值的第三方数据在质量和数量上都远超单

一的原生数据。特别是政府、金融、军工、通信等特殊行业，对数据存储的安全、可靠性

等有更加特殊的技术要求。

棱镜门事件后有报告宣称部分国外科技公司在我国很多关键领域特别是数据存储领域

拓展业务的同时，与他国军队、政府等保持密切联系，导致他国情报部门通过这些公司在

关键领域铺设的设备、网络等非法获取我国机密信息，给我国的信息安全带来巨大威胁。

特别是棱镜门后，我国加大了政府信息工程的国产化工作。在这种情况下，存储系统的数

据重要性日益凸显，发展国产存储对降低我国信息化成本、保障国家的信息安全有着非比

寻常的意义。与此同时，随着存储需求的迅速膨胀，我国存储产业己经达到了上百亿的规

模。存储的产业经济价值也开始凸现出来。与此同时，保证数据的高可用和高可靠逐渐成

为各大厂商存储研究的热点。磁盘阵列技术的不断应用使得存储系统的故障单点有逐渐向

控制器转移的趋势。在金融、电信、互联网等行业里，存储系统发生宕机会给用户带来致

命问题。所以研制拥有自主知识产权的双控存储系统就具有强烈的现实意义和极高的经济

价值。

存储技术的发展

计算机最初采用串行的延迟线存储器，不久又用磁鼓存储器。50年代中期，主要使用

磁芯存储器作为主存 。60年代中期以后，半导体存储器已取代磁芯存储器。在逻辑结构

上，并行存储和从属存储器技术的采用提高了主存的供数速度，缓和了主存和高速的中央

处理器速度不匹配的矛盾。1968年IBM- 360／85最早采用了高速缓冲存储器——主存

储器结构。高速缓冲存储器的存取周期与中央处理器主频周期一样，由硬件自动调度高速

缓冲存储器与主存储器之间信息的传递，使中央处理器对主存储器的绝大部分存取操作，

可以在中央处理器和高速缓冲存储器之间进行。1970年，美国RCA公司研 究成功虚拟存

储器系统。IBM公司于 1972年在IBM370系统上全面采用了虚拟存储技术。

由于科学计算和数据处理对存储系统的要求越来越高 ，需要不断改进已有的存储技术，

研究新型的存储介质，改善存储系统的结构和管理。大规模集成电路和磁盘依然是主要的

存储介质。利用新型材料制作大规模集成电路、大容量的联想存储器可大大提高速度，对

于计算机系统和软件都会发生影响。磁盘技术、光盘技术、约瑟夫逊结器件，以至研究新

的存储模型，都是计算机存储系统发展的研究课题。此外还要进行新的存储机制的研究。

当前存储技术的发展按照系统层面可分为封闭体系和开放体系，其中封闭体系主要指

大型机，而开放体系指基于ＵＮＩＸ、linux等常用操作系统的存储体系。开放式存储体系

可分为外挂方式存储和内置方式存储，其中外挂方式存储可分为ＤＡＳ和ＦＡＳ。ＦＡＳ

根据传输协议不同又可Ｗ进一步细分为ＮＡＳ和ＳＡＮ。ＤＡＳ即Ｄｉｒｅｃｔ－Ａｔｔ

ａｃｈｅｄＳｔｏｒａｇｅ，直连式存储。ＦＡＳ即Ｆabｒｉｃ－Ａｔｔａｃｈｅｄ

Ｓｔｏｒａｇｅ，网络化存储。ＮＡＳ即Ｎｅｔｗｏｒｋ－ＡｔｔａｃｈｅｄＳｔｏｒ

ａｇｅ，网络附属存储。ＳＡＮ即Ｓｔｏｒａｇｅ

域网络。

ＡｒｅａＮｅｔｗｏｒｋ，存储区

在传统的ＤＡＳ技术中，多个磁盘驱动器可以通过串接的方式组成磁盘簇（Ｊｕｓｔ

ａＢｕｎｃｈＯｆＤｉｓｋｓ，JBOD），可以通过ＦＣ接口或者ＳＣSI接口连接

到磁盘主控制器。因为ＤＡＳ的应用结构非常简单，成本很低，所以在市场中应用广泛，

但缺点

也有很多。DAS的缺陷主要有以下几个方面：

１、主控制器资源开销过大，尤其是在进行数据备份或者迁移的过程。

２、系统容错性非常差，容易若机造成数据丢失。

３、系统可扩展性差，不能方面的进行磁盘扩展。

４、系统由于设备分散不容易管理，容易形成信息孤岛。

为了増加系统数据的容错性，磁盘主控制器可Ｗ通过各种ＲＡＩＤ技术来实现数据的

冗余和容错。

ＲＡID(Redundant Array of Independent Disk，独立磁盘冗余阵列）技术是由ＵＣ

Ｂ于１９８７年提出的，最初是为了用多个廉价小容量磁盘来代替大容量但是价格相对昂

贵的磁盘，而且可Ｗ保证在磁盘故障时存储数据不会丢失。应用ＲＡＩＤ技术可以充分发

挥硬盘组的优势，可以提升硬盘整体读写速率，增大整机存储容量，提高整机容错性等。

常见的ＲＡ瓜工作模式主要分为ＲＡＩＤ０、ＲＡＩＤ１、ＲＡID５、ＲＡＩＤ１０

ＲＡＩＤ０又被称为Stripe或Ｓｔｒｉｐｉｎｇ，即ＤａｔａＳｔｒｉｐｐｉｎｇ

数据分条技术。数据分条技术将文件ｓｔｒｉｐｅ后分散写入多个磁盘中，从而提高了整

机磁盘的速率和吞吐量。ＲＡＩＤ０模式没有冗余能力而且成本低廉，至少要求两个磁盘

才能组建，一般应用在对数据安全性要求不高的环境下。

ＲＡID１也称为磁盘镜像模式，可以简单理解为在不影响性能的情况下为保证整机系

统的可靠性而把一个磁盘的数据完全镜像到另一个磁盘上的技术模式。该模式因为１００％

的数据镜像因而具有很高的数据冗余能力，但相应磁盘利用率仅为５０％，所以成本教高，

一般应用在保存关键性数据的重要场合环境下。

ＲＡID5模式是包含ＲＡID０和ＲＡID１的综合方案，但又没有完全使用ＲＡID1的

镜像原理，而是利用奇偶校验信息来作为数据恢复的方式。利用分散在不同磁盘中奇偶校

验信息的重构运算来达到数据兀余的目的，同时也可以兼顾存储成本与高可靠。

ＲＡID１０则是集中了ＲＡＩＤ１和ＲＡＩＤ０的特点，在民ＡＩＤ０对数据进行

ｓｔｒｉｐｅ存储的基础上，每个磁盘都有一个对应的１００％镜像磁盘。

双控存储系统定义

双控存储系统是一套高密度、高稳定且兀余的存储系统，设计灵活，可同时适配于２

Ｕ、３Ｕ系统。２Ｕ、３Ｕ系统中均可实现双控，２Ｕ系统中单控制柜最多支持２５个Ｈ

ＤＤ，３Ｕ系统中单控制柜最多可支持４８个ＨＤＤ。系统还支持ＰＣＩＥ接口产品，

有很强的扩展性，可扩展出网络接口、ＳＡＳ接口等并预留出各种ＰＣＩＥ设备接口。系

统主要应用在存储领域，窩密度、高稳定性、冗余且可扩展性强。

双控存储系统根据两个控制器的工作方式可以分为两类：Active-Standby和

Active-Active。

-Standby

在Active-Standby设计方案中，两个控制器地位不一样，分为主控制器和镜像控制

器。正常工作状态下，客户端的数据请求都由主控制器来处理，镜像控制器不接收数据请

求也不会操作磁盘，镜像控制器的主要功能是缓存数据备份。主控制器所有对本地缓存的

更新，都必须实时同步到镜像控制器的缓存中，即使主控制器故障，缓存数据也不会丢失。

客户端主机和存储设备之间的连接方式可以采用故障转移或者绑定虚拟IP地址的方式。镜

像控制器时刻监控主控制器是否工作正常，当主控制器发生异常后，客户端接收不到数据

请求响应，会使用与镜像控制器的连接发送命令。此时镜像控制器上线代替主控制器处理

请求，保证了高可用性。同时镜像控制器将缓存中的备份数据做适当处理，写入磁盘，或

直接作为缓存数据使用。

Active-Standby设计方案实现简单，成本相对较低，但是同时只有一个控制器工作，

降低了性能和利用率，主要面对中低端市场。

-Active

在Active-Actiive设计方案中，两个控制器可以同时操作磁盘阵列，同时对外提供读

写请求服务。两个控制器的地位是对等的，不同的是两个控制器接收到的数据请求是客户

端经过协议分发之后的。为了保证缓存数据的可靠性，两个控制器要分别备份对方控制器

的缓存数据。每个控制器本身的缓存空间分为两个部分，一部分是当前控制器的缓存数据，

另一部分氏对方控制器的缓存备份。当其中一个控制器发生异常无法工作后，另一个接管

所有的客户端数据请求，不会导致存储服务中断，并且缓存里的数据没有丢失。

由于连个控制器可以同时上线工作，所以Active-Active的性能和资源利用率要比

Active-Standby方式高，但同时缓存的设计实现更加复杂，成本高，主要面向中高端市场。

双控存储系统实现原理

双控存储系统利用增加磁盘控制器来处理系统的单点故障。双控制器之间通过ＮＴＢ

高速链路通道进行数据的缓存镜像，控制器之间通过心跳链路来实时监控对方状态。每个

控制器都单独通过ＳＡＳ接口与后端磁盘阵列相连，并且在单一控制器岩机时可以实现控

制器切换，最大程度的减少控制器故障带来的损失ＢＢＵ系统会在在整机系统掉电时进行

缓存数据往ＳＳＤ的写入，做到意外掉电不丢数据。

双控存储系统设计原则

１、模块化原则

双控存储系统严格遵从整体到局部，自上而下的原则进行设计。遵循模块化设计原则，

软硬组件依据不同功能进行划分，双控系统内部的按制流、数据流和管理流彼此分离，管

理与控制任务不会对数据的访问造成任何影响，从而有力的保证数据访问的离效性与存储

系统整体结构的稳定性。

２、高性能原则

双控存储系统为各个应用场景提供髙带宽、高性能、低延迟的数据访问服务，能够承

担大规模的数据吞吐量和大量用户的并发访问，这就要求系统以提高整体性能为目标，优

化内部数据流程，提高用户访问效率。

３、高可靠、高可用原则

双控存储系统的处理的数据量很大，但是无论多大的数据量丢失都会给客户带来无可

弥补的损失。数据无价，所Ｗ存储系统的设计必须以保证高可靠和高可用为最大原则。系

统采用冗余方式设计，使得系统没有单点故障的风险，建设完巧善的系统状态监控和纠错

算法，对重点部件进行重点防护。数据在内部采用兀余存储，并形成一套完整的灾难恢复

策略，确保系统被破坏后可及时进行恢复。

４、可扩展原则

双控存储系统力求灵活且可扩展，能够在规模、容量和性能等几个方面依据用户需求

进行调整，动态増删磁盘阵列、网络设备与存储服务器，以适应用户对网络带宽、存储容

量和数据存储效率的需求。

５、易管理原则

双控存储系统包含数量众多的磁盘阵列、网络连接设备和存储服务器，内部运行功能

各异的存储核屯、软件，需要对各种资源进行有效的管理，使用绕一视图的方式提供给管

理员，方便对整个系统进行监控与管理。

６、经济性原则

双控存储系统需要整机各个部件搭配合适才能发挥出每个部件的最大性能，而且也有

利于控制整机的成本，降低不必要的开销。

７、保障性原则

双控存储系统设计时以最大程度保证高性能、易扩展、髙可用、易管理为核屯、出发

点，在设计出现冲突时以此为基础进行折衷，保证设计结果的有效性。系统实施后可保证

对用户的访问请求进行快速响应，确保数据的安全可靠存储，并可对系统内部的各类资源

进行方便的统一监控与管理，为各种类型的用户提供良好的数据访问服务。

架构设计

双控制器存储系统由两台软硬件完全相同的计算机作为列阵控制器，两个控制器通过

高速通道连接实现数据传输，用于一共高速缓存同步、心跳信号传输、控制切换等功能。

双控制器及背板之间残念用无线缆设计，将大大减少信号间的串扰。每个控制器搭载一颗

P3041斯和控制器，向外拓展8个PCIE插槽，可以连接万兆等设备。控制器通过SAS驱

动卡或者RAID卡连接到磁盘阵列，对外提供ISCSI和FC网络接口，为客户及提供高速的

数据传输。为了防止突然断电造成数据损坏，平台提供了备用电源，在断电时将内存的数

据写入到其他设备中，通电后可恢复。

双控存储系统体系结构优势

普通的基于Ｘ％平台架构的２Ｕ／３Ｕ单控存储系统在遇到系统单点故障特别是控制

器故障时极易宕机，对企业生产是一种潜在的巨大危机。双控存储系统利用增加磁盘控制

器来处理系统的单点故障。双控制器之间通过ＮＴＢ高速链路通道进行数据的缓存镜像，

控制器之间通过也跳链路来实时监控对方状态，并且在单一控制器若机时可以实现控制器

切换，最大程度的减少控制器故障带来的损失。此外，ＢＢＵ系统会在在整机系统掉电时

进行缓存数据往ＳＳＤ的写入，做到意外掉电不丢数据。增加了系统整体可靠性。而且本

双控存储系统还可搭配相应的磁盘扩展柜进行磁盘扩展，支持大容量磁盘阵列控制。

国内外研究现状

随着技术进步，存储系统的接入形式由最初的ＤＡＳ演变到ＮＡＳ、ＳＡＮ，磁盘阵

列的结构也由最初的单控逐渐发展到双控，目前国外公司己经推出成熟的双控产品，如Ｅ

ＭＣＣＸ系列、旧ＭＤＳ系列、ＮｅｔａｐｐＥ５系列产品。国内一些存储领域研巧知名

高校如清华、华中科技大学，企业如浪潮、华为等在双控存储产品的开发方面投入了大量

的资源，有了较强的技术积累。但在各自的研巧方向上，这些机构又有所分别，如高校机

构的技术研究比较前沿，但产品化有所欠缺，企业研究的技术实用性强，但前瞻性不够。

在双控存储技术领域，国内有了一些技术基础，但还没有形成大规模的产业化。

双控存储系统的实现方式可以分为两种：纯软件方式和硬件共享磁盘架构。前者主要

是利用软件进行数据的镜像，但是两个控制器之间是完全独立的，可以理解为两套一样的

数据存储设备。纯软件方式的优点在于对硬件的需求较小，而且方便部署安装，缺点就是

难于进行数据管理而且容易损失整机性能。后者则是两个控制器利用ｉＳＣＳＩ总线访问

同一个磁盘组的硬件共享磁盘架构。从本质上来讲，只有硬件共享磁盘架构才是真正的双

控存储系统采用的架构方式。采用这种架构的双控存储系统在发生单一控制器故障时可ｙ

Ａ不用考虑数据一致性的问题而仅仅进行控制器的切换，可Ｗ更加及时有效而且准确的进

巧数据保护。

目前国内采用纯软件方式进行双控系统搭建一般是利用LIFEＫｅｅｐｅｒ、Ｒｏｓｅ

ＨＡ等双控方案，其中ＬｉFE Ｋｅｅｐｅｒ是当前比较常用的集群软件，致力于解决控制

故障容错的问题。它除了可支持创建集群，也可以支持双机工作。ＬｉｆｅＫｅｅｐｅｒ

在扩展镜像方式下可从相互热备份且实现两个控制器各自运行不同应用，实现双Ａｃｔｉ

ｖｅ工作模式。当出现控制器故障时，ＬｉｆｅＫｅｅｐｅｒ可实时进行系统资源切换。

ＲｍｃＨＡ双控系统采用两个控制器与磁盘阵列直连的方式，控制器应用软件和Ｒｏｓｅ

ＨＡ分别安装在两个控制器上，两个控制器之间通过也跳链路连接曰－Ｗ。Ｒｏｓｅ Ｈ

Ａ软件通过监控也跳信息来实时采集对方控制器的运行状态。这类纯软件的方式易于搭建

而且对硬件平台的要求不髙，但是配置过程异常的繁琐，后期还需要专业人员进行定期维

护。国外一些存储公司的存储产品比如旧Ｍ的ＳｔｏｒｗｉｚｅＶ７０００就是采用硬

件共享磁盘架构模式，两个控制器都通过ＳＡＳ接口与后端磁盘阵列相连。大致来看，国

内的双控存储系统还不能完全与海外公司竞争。而且国外的中高端双控存储系统成本高昂，

对国内企事业单位有着不低的价格口槛和安全风险。所研制拥有自主知识产权的双控存储

系统具有非常重要的现实意义和经济价值。

目前，国外各ＩＴ巨头都已投入大量的人为、物力和财为研发存储系统，ＥＭＣ、IB

Ｍ、ＨＤＳ、ＳＵＮ等许多厂商现在已经推出了很多高端存储系统，而我国本止存储企业

相应研发现在处于起步阶段，更没有产品应用到国家核也的关键业务，导致目前存储市场

大量被国外ＩＴ巨头垄断。为了满足用户信息系统扩展、升级和用户对复杂信息系统管理

的需要，对存储系统有高性能、易扩展、高可用、易管理等四个基本要求，围绕着这四个

基本要求延伸出了存储系统的很多技术分支点，各个技术点的技术发展趋势也异彩纷呈。