admin 管理员组

文章数量: 887836


2024年3月9日发(作者:machinekey配置)

FC,SAS,SATA硬盘的比较

SATA SAS FC FATA硬盘分别是什么意思?有什么区别?

SATA的全称是Serial Advanced Technology Attachment(串行高级技术附件,一种基于行业标准的串行硬件驱动器接口),是由Intel、IBM、Dell、APT、Maxtor和Seagate公司共同提出的硬盘接口规范。

SAS(Serial Attached SCSI)即串行连接SCSI,是新一代的SCSI技术,和现在流行的Serial

ATA(SATA)硬盘相同,都是采用串行技术以获得更高的传输速度,并通过缩短连结线改善内部空间等。SAS是并行SCSI接口之后开发出的全新接口。此接口的设计是为了改善存储系统的效能、可用性和扩充性,并且提供与SATA硬盘的兼容性。

FATA(Fibre Attached Technology Adapted,光纤附挂技术)驱动器比传统FC(光纤)硬盘便宜一半。FATA驱动器使用了一个双通道的2Gb/s光纤通道接口。

在选购硬盘阵列中,常常会涉及FC,SAS,SATA等多种不同类型的硬盘。作为数据存储最基本的介质——硬盘,其种类也越来越多。面对市场上这些主流类型的硬盘,它们又有什么不同呢?本文就对FC、SAS、SATA三种硬盘进行了比较。

一、 FC硬盘

FC硬盘是指采用FC-AL( Fiber Channel Arbitrated Loop,光纤通道仲裁环) 接口模式的磁盘。FC-AL使光纤通道能够直接作为硬盘连接接口,为高吞吐量性能密集型系统的设计者开辟了一条提高I/O性能水平的途径。目前高端存储产品使用的都是FC接口的硬盘。

FC硬盘名称由于通过光学物理通道进行工作,因此起名为光纤硬盘,现在也支持铜线物理通道。就像是IEEE-1394, Fibre Channel 实际上定义为SCSI-3标准一类,属于SCSI的同胞兄弟。作为串行接口FC-AL峰值可以达到2Gbits/s甚至是4Gbits/s。而且通过光学连接设备最大传输距离可以达到10KM。通过FC-loop可以连接127个设备,也就是为什么基于FC硬盘的存储设备通常可以连接几百颗甚至千颗硬盘提供大容量存储空间。

关于光纤硬盘以其的优越的性能、稳定的传输,在企业存储高端应用中担当重要角色。业界普遍关注的焦点在于光纤接口的带宽。最早普及使用的光纤接口带宽为1Gb,随后2Gb带宽光纤产品统治市场已经长达三年时间。现在的带宽标准是4Gb,目前普遍厂商都已经采用4Gb相关产品。8Gb光纤产品也将在不久的将来取代4Gb光纤成为市场主流。

4Gb是以2Gb为基础延伸的传输协议,可以向下兼容1Gb和2Gb,所使用的光纤线材、连接端口也都相同,意味着使用者在导入4Gb设备时,不需为了兼容性问题更换旧有的设备,不但可以保护既有的投资,也可以采取渐进式升级的方式,逐步淘汰旧有的2Gb设备。

二、 SAS硬盘

SAS 是Serial Attached SCSI的缩写,即串行连接SCSI。和现在流行的Serial

ATA(SATA)硬盘相同,都是采用串行技术以获得更高的传输速度,并通过缩短连结线改善内部空间。SAS是新一代的SCSI技术。SAS是并行SCSI接口之后开发出的全新接口。此接口的设计是为了改善存储系统的效能、可用性和扩充性,提供与串行ATA (Serial ATA,缩写为SATA)硬盘的兼容性。

SAS技术还有简化内部连接设计的优势,存储设备厂商目前投入相当多的成本以支持包括光纤通道阵列、SATA阵列等不同的存储设备,而SAS连接技术将可以通过共用组件降低设计成本。

为保护用户投资,SAS的接口技术可以向下兼容SATA。SAS系统的背板(Backplane)既可以连接具有双端口、高性能的SAS驱动器,也可以连接高容量、低成本的SATA驱动器。过去由于SCSI、ATA分别占领不同的市场段,且设备间共享带宽,在接口、驱动、线缆等方面都互不兼容,造成用户资源的分散和孤立,增加了总体拥有成本。而现在,用户即使使用不同类型的硬盘,也不需要再重新投资,对于企业用户投资保护来说,实在意义非常。但需要注意的是,SATA系统并不兼容SAS,所以SAS驱动器不能连接到SATA背板上。

SAS 使用的扩展器可以让一个或多个 SAS 主控制器连接较多的驱动器。每个扩展器可以最多连接 128 个物理连接,其中包括其它主控连接,其它 SAS 扩展器或硬盘驱动器。这种高度可扩展的连接机制实现了企业级的海量存储空间需求,同时可以方便地支持多点集群,用于自动故障恢复功能或负载平衡。目前,SAS接口速率为3Gbps,其SAS扩展器多为12端口。不久,将会有6Gbps甚至12Gbps的高速接口出现,并且会有28或36端口的SAS扩展器出现以适应不同的应用需求。其实际使用性能足于光纤媲美。

由于SAS由SCSI发展而来,在主机端会有众多的厂商兼容。SAS采用了点到点的连接方式,每个SAS端口提供3Gb带宽,传输能力与4Gb光纤相差无几,这种传输方式不仅提高了高可靠性和容错能力,同时也增加了系统的整体性能。在硬盘端,SAS协议的交换域能够提供16384个节点,而光纤环路最多提供126个节点。而兼容SATA硬盘所体现的扩展性是SAS的另一个显著优点,针对不同的业务应用范围,在硬盘端用户可灵活选择

不同的存储介质,按需降低了用户成本。

在SAS接口享有种种得天独厚的优势的同时,SAS产品的成本从芯片级开始,都远远低于FC,而正是因为SAS突出的性价比优势,使SAS在硬盘接口领域,给光纤存储带来极大的威胁。

三、 SATA硬盘

传统的并行ATA(PATA)技术曾经在低端的存储应用中有过光辉的岁月,但由于自身的技术局限性,逐步被串行总线接口协议(Serial ATA,SATA)所替代。SATA以它串行的数据发送方式得名。在数据传输的过程中,数据线和信号线独立使用,并且传输的时钟频率保持独立,因此同以往的PATA相比,SATA的传输速率可以达到并行的30倍。可以说:SATA技术并不是简单意义上的PATA技术的改进,而是一种全新的总线架构。

从总线结构上,SATA 使用单个路径来传输数据序列或者按照bit来传输,第二条路径返回响应。控制信息用预先定义的位来传输,并且分散在数据中间,以打包的格式用开/关信号脉冲发送,这样就不需要另外的传输线。SATA带宽为16-bit。并行Ultra ATA总线每个时钟频率传输16bit数据,而SATA仅传输1bit,但是串行总线可以更高传输速度来弥补串行传输的损失。SATA将会引入1500Mbits/sec带宽或者1.5Gbits/sec带宽。由于数据用8b/10b编码,有效的最大传输峰值是150Mbytes/sec。

目前能够见到的有SATA-1和SATA-2两种标准,对应的传输速度分别是150MB/s和300MB/s。从速度这一点上,SATA已经远远把PATA硬盘甩到了后面。其次,从数据传输角度上,SATA比PATA抗干扰能力更强。此外,串口的数据线由于只采用了四针结构,因此相比较起并口安装起来更加便捷,更有利于缩减机箱内的线缆,有利散热。

尽管SATA在诸多性能上远远优越于PATA,甚至在某些单线程任务的测试中,表现出了不输于SCSI的性能,然而它的机械底盘仍然为低端应用设计的,在面对多线程的传输任务时,相比SCSI硬盘,仍然显得力不从心。

四、 三种硬盘的比较

对于用户来说:单纯比较硬盘并不一定是越贵的越好,关键是看是否适合自己的应用。另外单纯硬盘的硬盘接口协议也不是衡量一个存储系统性能指标的唯一要素,除了硬盘性能指标以外,存储系统的硬件设计,前端主机接口等性能指标也同样对存储系统的整体性能影响巨大。

如果需要应用于I/O负载较轻的应用比如文件共享、FTP、音频存储、数据备份等可以考虑基于SATA硬盘的阵列。如果I/O负载较重的FTP、VOD、EMAIL、Web、数据库应用,那么可以考虑基于SAS/FC硬盘的存储系统。

FC-SAN,IP-SAN,NAS,DAS的区别

SAN 的概念

SAN(Storage Area Network)存储区域网络,是一种高速的、专门用于存储操作的网络,通常独立于计算机局域网(LAN)。SAN将主机和存储设备连接在一起,能够为其上的任意一台主机和任意一台存储设备提供专用的通信通道。SAN将存储设备从服务器中独立出来,实现了服务器层次上的存储资源共享。SAN将通道技术和网络技术引入存储环境中,提供了一种新型的网络存储解决方案,能够同时满足吞吐率、可用性、可靠性、可扩展性和可管理性等方面的要求。

一、FC-SAN

通常SAN由磁盘阵列(RAID)连接光纤通道(Fibre Channel)组成(为了区别于IP SAN,通常SAN也称为FC-SAN)。SAN和服务器和客户机的数据通信通过SCSI命令而非TCP/IP,数据处理是“块级(”block

level)。SAN也可以定义为是以数据存储为中心,它采用可伸缩的网络拓扑结构,通过具有高传输速率的光通道的直接连接方式,提供SAN内部任意节点之间的多路可选择的数据交换,并且将数据存储管理集中在相对独立的存储区域网内。SAN最终将实现在多种操作系统下,最大限度的数据共享和数据优化管理,以及系统的无缝扩充。

FC-SAN的组成

在FC-SAN中,有一些专用的硬件和软件。硬件包括FC卡、FC HUB、FC交换机、存储系统等,软件主要是FC控制卡针对各种操作系统的驱动程序和存储管理软件。

1.

2.

3.

4.

FC卡:主要用于主机与FC设备之间的连接。

FC HUB:内部运行仲裁环拓扑,连接到HUB的节点共享100MB/S带宽(或更高)。

FC交换机:内部运行Fabric拓扑,每端口独占100MB/S带宽(或更高)。

FC存储设备:采用FC连接方式,光纤接口可以有一到多个。FC存储设备通常采用光纤的硬盘,也有Fibre to SCSI(Fibre to ATA)的解决方案,使用SCSI(或ATA)的硬盘,在整个配置上较便宜。

5.

6.

存储网络管理软件:存储管理软件主要的功能是自动发现网络拓扑及映射,当在存储网络中增加或减少时自动发现及组态。

高性能的光纤通道交换机和光纤通道网络协议是FC-SAN的关键。把以光纤通道交换机为骨干的网络拓扑结构称为“SAN Fabric”。而光纤通道协议是FC-SAN的另一个本质特征。FC-SAN正是利用光纤通道协议上加载SCSI协议来达到可靠的块级数据传输。

FC-SANN的应用场合

由于FC-SAN是为在服务器和存储设备之间传输大块数据而进行优化的,因此对于以下应用来说是理想的选择:

1. 关键任务数据库应用,其中可预计的响应时间、可用性和可扩展性是基本要素。

2. 集中的存储备份,其中性能、数据一致性和可靠性可以确保企业关键数据的安全。

3. 高可用性和故障切换环境可以确保更低的成本、更高的应用水平。

4. 可扩展的存储虚拟化,可使存储与直接主机连接相分离,并确保动态存储分区。

5. 改进的灾难容错特性,在主机服务器及其连接设备之间提供光纤通道高性能和扩展的距离。

FC-SAN的主要好处:

面对迅速增长的数据存储需求,企业和服务提供商渐渐开始选择FC-SAN作为网络基础设施,因为SAN具有出色的可扩展性。事实上,SAN比传统的存储架构具有更多显著的优势。例如,传统的服务器连接存储通常难于更新或集中管理。每台服务器必须关闭才能增加和配置新的存储。相比较而言,FC-SAN不必宕机和中断与服务器的连接即可增加存储。FC-SAN还可以集中管理数据,从而降低了总体拥有成本。

利用光纤通道技术,FC-SAN可以有效地传输数据块。通过支持在存储和服务器之间传输海量数据块,SAN提供了数据备份的有效方式。因此,传统上用于数据备份的网络带宽可以节约下来用于其他应用。

开放的、业界标准的光纤通道技术还使得FC-SAN非常灵活。FC-SAN克服了传统上与SCSI相连的线缆限制,极大地拓展了服务器和存储之间的距离,从而增加了更多连接的可能性。改进的扩展性还简化了服务器的部署和升级,保护了原有硬件设备的投资。

此外,FC-SAN可以更好地控制存储网络环境,适合那些基于交易的系统在性能和可用性方面的需求。SAN利用高可靠和高性能的光纤通道协议来满足这种需要。

FC-SAN的另一个长处是传送数据块到企业级数据密集型应用的能力。在数据传送过程中,FC-SAN在通信结点(尤其是服务器)上的处理费用开销更少,因为数据在传送时被分成更小的数据块。因此,光纤通道FC-SAN在传送大数据块时非常有效,这使得光纤通道协议非常适用于存储密集型环境。

二、IP-SAN

简单来讲,IP-SAN(IP存储)的通信通道是使用IP通道,而不是光纤通道,把服务器与存储设备连接起来的技术,除了标准已获通过的iSCSI,还有FCIP、iFCP等正在制定的标准。而iSCSI发展最快,已经成了IP存储一个有力的代表。

像光纤通道一样,IP存储是可交换的,但是与光纤通道不一样的是,IP网络是成熟的,不存在互操作性问题,而光纤通道SAN最令人头痛的就是这个问题。IP已经被IT业界广泛认可,有非常多的网络管理软件和服务产品可供使用。

IP存储的标准:

IP存储除了标准已获通过的iSCSI,还有iFCP、FCIP等正在制定的标准。

IP存储的优势:

利用无所不在的IP网络,一定程度上保护了现有投资。

IP存储超越了地理距离的限制。IP能延伸到多远,存储就能延伸到多远,这几乎是一个划时代的革命,十分适合于对现存关键数据的远程备份。

IP网络技术成熟。IP存储减少了配置、维护、管理的复杂度。

1、iSCSI标准

1)iSCSI的概念

iSCSI(互联网小型计算机系统接口)是一种在internet协议网络上,特别是以太网上进行数据块传输的标准。简单地说,iSCSI可以实现在IP网络上运行SCSI协议,使其能够在诸如高速千兆以太网上进行路由选择,实现了SCSI和TCP/IP协议的连接。

iSCSI是基于IP协议的技术标准,该技术允许用户通过TCP/IP网络来构建存储区域网(SAN)。而在iSCSI技术出现之前,构建存储区域网的唯一技术是利用光纤通道,但是其架构需要高昂的建设成本,远非一般企业所能够承受。iSCSI技术的出现对于以局域网为网络环境的用户来说,它只需要不多的投资,就可以方便、快捷地对信息和数据进行交互式传输和管理。相对于以往的网络接入存储,iSCSI的出现解决了开放性、容量、传输速度、兼容性、安全性等问题,其优越的性能使其自发布之日始便受到市场的关注与青睐。

2)iSCSI的技术优势:

iSCSI的基础是传统的以太网和internet,同时能大大减少总体拥有成本。

IP网络的带宽发展相当迅速,1Gbps以太网早已大量占据市场,10Gbps以太网也已整装待发。

在技术实施方面,iSCSI以稳健、有效的IP及以太网架构为骨干,使忍受性大大增加。

简单的管理和布署,不需要投入培训,就可以轻松拥有专业的iSCSI人才。

iSCSI是基于IP协议的技术标准,它实现了SCSI和TCP/IP协议的连接,只需要不多的投资,就可以方便、快捷地对信息和数据进行交互式传输及管理。

完全解决数据远程复制及灾难恢复的难题。安全性方面,iSCSI已内建支持IPSEC的机制,并且在芯片层面执行有关指令,确保安全性。

2、FCIP标准

FCIP是Fiber Channel over IP的标准协议。在同一个SAN范围内,TCP/IP数据包再封装FC命令和数据,从而在IP网络上传输FC命令和数据。

FCIP是一种基于互联网协议(IP)的存储联网技术,它利用IP网络通过数据通道在SAN设备之间实现光纤通道协议的数据传输,把真正的全球数据镜像与光纤通道SAN的灵活性、IP网络的低成本相结合,降低远程操作的成本,从而把成本节省和数据保护都提升到了一个新的高度。

FCIP被提议为通过现有的IP网络连接光纤通道SAN“孤岛”的一种标准方法。FCIP还可用来克服光纤通道目前存在的距离限制因素,能够跨越大于光纤通道支持的距离连接SAN孤岛。FCIP具有实现纠错和检测的优点:即如果IP网络错误率高的话,它就重试。

FCIP解决方案为用户有效管理业务连续系统提供了各种更为灵活的方式,能够进行实时的数据远程复制,可以在光纤通道控制器的基础上为用户提供具有容灾能力、无单点故障的SAN解决方案,使用户能够在现有的IT基础设施上运用IP联网技术,把区域性SAN作为更广阔的全国甚至全球性基础设施中的一个数据恢复站点。

由于FCIP数据恢复应用能够运行在现有的网络基础架构之上,因此,用户在规划业务连续性时,不需要为光纤通道中的数据量分配专用光缆。现在,通过利用FCIP解决方案,企业用户可以把SAN的范围扩展到数据中心之外,利用各种低成本、性能优异的远程存储应用,优化其基础架构的投资。

就像iSCSI协议将SCSI指令压缩为IP包一样,FCIP协议将光纤通道指令压缩为IP包,FCIP 协议允许独立的SAN环境通过IP网络互联在一起。每个SAN采用标准FC寻址,在FCIP的端点之间建立IP隧道(或网关),一旦隧道建立,扩展的FC设备将被视为标准的FC设备,并予以FC寻址。

3、iFCP标准

iFCP(Internet Fibre Channel Protocol)是基于TCP/IP网络运行光纤信道通信的标准,iFCP具备网关功能,它能将光纤信道RAID阵列、交换机以及服务器连接到IP存储网,而不需要额外的基础架构投资。

iFCP的工作原理是:将FC数据以IP包形式封装,并将IP地址映射到分离FC设备。由于在IP网中每类FC设备都有其独特标识,因而能够与位于IP网其它节点的设备单独进行存储数据收发。FC信号在iFCP网关处终止,信号转换后存储通信在IP网中进行,这样iFCP就打破了传统FC网的距离(约为10公里)限制。

4、iSCSI、FCIP、iFCP标准的比较

iSCSI:用于在基于IP的存储设备之间建立连接及管理连接,在现有的IP网络上封装SCSI数据进行传输。

FCIP:用于连接地理上分散的FC SAN。仅仅适用于需要互连时使用IP的两个或多个FC交换的应用。

iFCP:使用IP基础设施来实现FC设备间或FC SAN间的互连。该协议致力于所有的FC交换架构而不仅限于解决距离上的问题。

三、NAS

NAS(Network Attached Storage)网络附加存储。在NAS存储结构中,存储系统不再通过I/O总线附属于某个服务器或客户机,而直接通过网络接口与网络直接相连,由用户通过网络访问。

NAS实际上是一个带有瘦服务器的存储设备,其作用类似于一个专用的文件服务器。这种专用存储服务器去掉了通用服务器原有的不适用的大多数计算功能,而仅仅提供文件系统功能。与传统以服务器为中心的存储系统相比,数据不再通过服务器内存转发,直接在客户机和存储设备间传送,服务器仅起控制

管理的作用。

NAS的主要特点:

NAS使用了传统以太网协议,当进行文件共享时,则利用了NFS和CIFS以沟通NT和Unix系统。由于NFS和CIFS都是基于操作系统的文件共享协议,所以NAS的性能特点是进行小文件级的共享存取。

NAS设备是直接连接到以太网的存储器,并以标准网络文件系统如NFS、SMB/CIFS over TCP/IP接口向客户端提供文件服务。NAS设备向客户端提供文件级的服务。但内部依然是以数据块的层面与它的存储设备通讯。文件系统是在这个NAS 存储器里。

NAS的主要长处:

NAS适用于那些需要通过网络将文件数据传送到多台客户机上的用户。NAS设备在数据必须长距离传送的环境中可以很好地发挥作用。

NAS设备非常易于部署。可以使NAS主机、客户机和其他设备广泛分布在整个企业的网络环境中。NAS可以提供可靠的文件级数据整合,因为文件锁定是由设备自身来处理的。

NAS应用于高效的文件共享任务中,例如UNIX中的NFS和Windows NT中的CIFS,其中基于网络的文件级锁定提供了高级并发访问保护的功能。

四、DAS

DAS(Direct Attached Storage)直接附加存储,直接附加存储是指将存储设备通过总线(SCSI、PCI、IDE等)接口直接连接到一台服务器上使用。DAS购置成本低,配置简单,因此对于小型企业很有吸引力。

DAS存在问题:

1. 服务器本身容易成为系统瓶颈;

2. 服务器发生故障,数据不可访问;

3. 对于存在多个服务器的系统来说,设备分散,不便管理。同时多台服务器使用DAS时,存储空间不能在服务器之间动态分配,可能造成相当的资源浪费;

4. 数据备份操作复杂。

五、FC-SAN,IP-SAN,NAS,DAS区别:

成本

DAS

NAS

较低

FC-SAN

IP-SAN

较高

数据传输速度

扩展性

无扩展性

较低

极快

易于扩展

较快

最易扩展

服务器访问存储方式 直接访问存储数据块 以文件方式访问 直接访问存储数据块 直接访问存储数据块

服务器系统性能开销

安全性

是否集中管理存储

备份效率

网络传输协议

较低

较低

TCP/IP

Fibre Channel

较高

较高

TCP/IP

RAID概念和级别

RAID是“Redundant Array of Independent Disks”的缩写,中文意思独立磁盘冗余阵列,早期又称“Redundant Array of Inexpensive Disks”廉价磁盘冗余阵列,由美国加州伯克利分校的son教授在1988年提出。

简单的说,RAID是一种把多块独立的硬盘(物理硬盘)按不同方式组合起来形成一个硬盘组(逻辑硬盘),从而提供比单个硬盘更高的存储性能和提供数据冗余的技术。组成磁盘阵列的不同方式成为RAID级别(RAID Levels)。

数据冗余的功能是在用户数据一旦发生损坏后,利用冗余信息可以使损坏数据得以恢复,从而保障了用户数据的安全性。

RAID的采用为存储系统(或者服务器的内置存储)带来巨大利益,其中提高传输速率和提供容错功能是最大的优点。

RAID通过同时使用多个磁盘,提高了传输速率。通过在多个磁盘上同时存储和读取数据来大幅提高存储系统的数据吞吐量(Throughput)。在RAID中,可以让很多磁盘驱动器同时传输数据,而这些磁盘驱动器在逻辑上又是一个磁盘驱动器,所以使用RAID可以达到单个磁盘驱动器几倍、几十倍甚至上百倍的速率。这也是RAID最初想要解决的问题。因为当时CPU的速度增长很快,而磁盘驱动器的数据传输速率无法大幅提高,所以需要有一种方案解决二者之间的矛盾。

通过数据校验,RAID可以提供容错功能。这是使用RAID的第二个原因,因为普通磁盘驱动器无法提供容错功能,如果不包括写在磁盘上的CRC(循环冗余校验)码的话。RAID容错是建立在每个磁盘驱动器的硬件容错功能之上的,所以它提供更高的安全性。在很多RAID模式中都有较为完备的相互校验/恢复的措施,甚至是直接相互的镜像备份,从而大大提高了RAID系统的容错度,提高了系统的稳定冗余性。

RAID 0:条带化结构

RAID 0:以条带形式将RAID组的数据均匀分布在各个硬盘中,因此具有很高的数据传输率。它没有数据冗余,尽管不占用CPU资源,但并不能算是真正的RAID结构。RAID 0只是单纯地提高性能,并没有为数据的可靠性提供保证,而且其中的一个磁盘失效将影响到所有数据。因此,RAID 0不能应用于数据安全性要求高的场合。

RAID0

RAID 1:镜象结构

RAID 1:它是通过磁盘数据镜像实现数据冗余,在成对的独立磁盘上产生互 为备份的数据,100%的数据冗余。当原始数据繁忙时,可直接从镜像拷贝中读取数据,因此RAID 1可以提高读取性能。RAID 1的成本比较高,其硬盘空间利用率只有1/2。当一个磁盘失效时,系统可以自动切换到镜像磁盘上读写,而不需要重组失效的数据,提供了很高的数据安全性和可用性。最小磁盘数2个。

RAID 1

RAID2:带海明码校验

RAID 2:将数据条块化地分布于不同的硬盘上,使用称为“加重平均纠错码(海明码)”的编码技术来提供错误检查及恢复。这种编码技术需要RAID中第1个、第2个、第4个……第2的n次幂个硬盘都是校验盘。RAID2的硬盘利用率很低,目前基本不再使用。

RAID 2

RAID3:带奇偶校验码的并行传送

RAID 3:它同RAID 2类似,都是将数据条块化分布于不同的硬盘上,区别在于RAID 3使用简单的奇偶校验,并用单块磁盘存放奇偶校验信息。如果一块磁盘失效,奇偶盘及其他数据盘可以重新产生数据;如果奇偶盘失效则不影响数据使用。RAID 3数据分布式存储在连续的硬盘上,具有较高的读速率,适合大文件连续操作的应用,但有数据盘故障时,每次读操作时都需要进行校验计算,读性能大幅度下降。最小磁盘数3个。

RAID 3

RAID4:带共享校验码的独立磁盘结构

RAID 4:RAID 4同样也将数据条块化并分布于不同的磁盘上,但条块单位为块。不同于RAID3的是,RAID 4使用一块磁盘作为奇偶校验盘,每次写操作都需要访问奇偶盘,这时奇偶校验盘会成为瓶颈,因此RAID 4在商业环境中也很少使用。

RAID 4

RAID5:分布式奇偶校验的独立磁盘结构

RAID5:RAID5实际是由RAID3所衍生而来的技术。而RAID3可以看作是RAID0的一种扩展,它也是把数据分块存放在各个硬盘中的,不过为了增加数据的安全性,RAID3又另外接一块硬盘存放数据奇偶校验信息,由于在存取的时候要进行数据的奇偶校验,所以RAID3的工作速度比RAID0要慢一些,如果存储数据的硬盘发生损坏,可利用校验盘上的校验信息恢复数据,不过如果校验盘也损坏,就无法恢复数据了。RAID5则针对RAID所存在的安全隐患,将数据奇偶校验信息均匀分布在各数据硬盘上,硬盘同时保存数据和校验信息,这样就不用担心校验盘损坏所带来的数据安全问题,RAID 5是最常用的RAID方式之一。最小磁盘数3个。

RAID 5

RAID6:带有两种分布存储的奇偶校验的独立磁盘结构

RAID 6:与RAID 5相比,RAID 6增加了第二个独立的奇偶校验信息块,能够允许两个硬盘同时失效,数据的可靠性非常高。但目前RAID 6还没有统一的标准,各家公司的实现方式都有所不同。相较于RAID5,磁盘的利用率更低,且出现硬盘失效时,RAID重建时对系统性能影响更大、重建时间,因此实际应用比较少。最少磁盘数4个。

RAID 6

RAID7:优化的高速数据传送磁盘结构

RAID 7:这是一种新的RAID标准,其自身带有智能化实时操作系统和用于存储管理的软件工具,可完全独立于主机运行,不占用主机CPU资源。RAID 7可以看作是一种存储计算机(Storage Computer),它与其他RAID标准有明显区别。

除了以上的各种标准,还可以结合多种RAID规范来构筑所需的RAID阵列,例如RAID 10,用户一般可以通过灵活配置磁盘阵列来获得更加符合其要求的磁盘存储系统。

RAID10和RAID0+1:高可靠性与高效磁盘结构

RAID 10:是将镜像和条带进行两级组合的级别,第一级是RAID1镜像对,第二级为RAID 0,这种组合提高了读/写速率,并可用允许硬盘损坏,因此RAID10也是一种应用比较广泛的RAID级别。但是RAID10和RAID1一样只有1/2的磁盘利用率。最小硬盘数4个。

RAID 10

RAID 0+1:也是将条带和镜像进行两级组合的RAID级别,第一级是RAID 0,第二级为RAID 1。一般来说,RAID 0+1的失效概率要比RAID 10大,不过无硬盘故障下,RAID 0+1的读取速度要比RAID 10快。

RAID 0+1

RAID30:专用奇偶位阵列条带

RAID-30:象RAID-0一样,跨磁盘抽取数据;象RAID-3一样,使用专用奇偶位。RAID-30提供容错能力,并支持更大的卷尺寸。象RAID-10一样,RAID-30也提供高可靠性,因为即使有两个物理磁盘驱

动器失效(每个阵列中一个),数据仍然可用。RAID-30最小要求有6个驱动器,它最适合非交互的应用程序,如视频流、图形和图象处理等。这些应用程序顺序处理大型文件,而且要求高可用性和高速度。

RAID50:分布奇偶位阵列条带

RAID50:象RAID-0一样,跨磁盘抽取数据;象RAID-5一样,使用分布式奇偶位。RAID-50提供数据可靠性,优秀的整体性能,并支持更大的卷尺寸。象RAID-10和RAID-30一样,即使两个物理磁盘发生故障(每个阵列中一个),也不会有数据丢失。RAID-50最少需要6个驱动器,它最适合需要高可靠性存储、高读取速度、高数据传输性能的应用。这些应用括事务处理和有许多用户存取小文件的办公应用程序。最小硬盘数6个。

RAID 50

常用RAID的比较

RAID级别

别名

容错性

冗余类型

热备盘选项

读性

RAID 0 RAID 1 RAID 3 RAID 5

RAID 10 RAID 0+1

条带阵列镜像

复制

条带

镜像

复制

专用奇偶位条带

奇偶校验

分布奇偶位条带

奇偶校验

镜像阵列条带

复制

一般

随机写性能

连续写性能

最小硬盘数

高 低 最低 低 一般 一般

高 低 低 低 一般 一般

2块 2块 3块 3块 4块 4块

N * 单块硬盘容量,NN为RAID组成员 N为RAID组成员N为RAID组成员N为RAID组成员 N为RAID组可用容为RAID组成员数量,数量,一般不大于数量,一般不大于数量,一般不大于数量,一般不大于成员数量,一量 一般不大于16 (N /2) * 16 (N -1) * 单块16 (N -1) * 单块硬16 (N /2) * 单块单块硬盘容量, 硬盘容量, 盘容量, 硬盘容量,

16 (N /2) * 单块硬盘容量,

般不大于16

随机数据写入,安 连续数据传输,安 随机数据传输,安典型应 迅速读写,安全性要求全性要求高,如服全性要求高,如视全性要求高,如金用环境 不高,如图形工作站等 务器、数据库存储频编辑、大型数据融、数据库、存储领域 库等 等

数据量大,安全性高性能和高要求高,如银行、安全性,如视金融等领域 频服务器

备份与容灾的异同点

建设容灾系统就是指利用各种技术和管理手段将灾难的影响化解,它的主要表现形式为两个方面:一是保证企业数据的安全;二是保证业务的连续性。而备份,就是通过特定的办法;讲数据库等的必要文件复制到转储设备的过程.其中,转储设备是指用于放置数据库拷贝的磁带或磁盘,因为目的不同所以实现方法和保护的层面就不同:

1. 容灾系统保护业务的连续性,而备份只是对数据进行保。

为了让灾难的影响最小化,容灾系统要求能快速的接管已损坏的生产业务系统。而备份系统只是要求能恢复数据。

2. 容灾系统要求异地化,而备份系统无此要求。

针对大的自然灾难,容灾站点必须保证和生产站点有一定的物理距离,来保证灾难不会摧毁全部系统。而备份系统无此要求。

3. 容灾系统的数据保护是连续性,而备份只是周期性对数据进行保护。

容灾系统会连续的将数据进行远程复制,保证容灾站点的数据尽可能的和生产站点一致。 而大部分的备份系统还只是每天做周期性的备份。

总的来说,容灾和备份的目的不同,容灾是让业务不停,数据不丢。而备份的目的是保证数据能恢复就可以了。

VTL虚拟磁带库与数据流磁带库的对比

一、数据流磁带库

数据流磁带机是利用磁记录技术保存数据的,是目前广泛应用的一种备份设备,是配属于计算机的存储外设,记录的数据是以计算机文件形式存在的数字信息。

磁带库是一种机柜式的、将多台磁带机整合到一个封闭系统中的数据备份设备,是离线存储系统中的关键设备之一。它主要由磁带驱动器、机械臂和磁带构成,可实现磁带自动卸载和加载,可以在存储管理软件的控制下实现智能备份与恢复和监控统计等功能,能够满足高速度、高效率、高存储容量的要求,并具有强大的系统扩展能力。

磁带库的技术指标包括存储容量、驱动器数量、单盘磁带容量、驱动器存取速度、连接方式和支持的管理软件等。通常,磁带库按照容量大小分成三个级别:入门级、部门级和企业级,也就是我们平常说的低端、中端和高端。其中,入门级磁带库可以提供几百GB至几个TB容量,部门级磁带库的容量在几个TB至几十TB,而企业级磁带库的容量在几十TB至几百TB甚至更高的PB级。

物理磁带库的优势:

1. 数据安全性高。

2. 容量易扩展。

3. 单位GB成本低。

4. 备份知识已经相当普及。

5. 磁带库初始安装简单。

6. 尤其适合数据的长期归档。

7. 满足法规遵从方面需求。

物理磁带库的劣势:

1. 维护负担重:磁带驱动器为机械部件,后期需要简单的维护,如更换清洗带,灰尘、潮湿等会造成一定的危害。

2. 备份存在失效情况:备份业务涉及到的磁带组中任一盘磨损、卡带、霉点、粘连等,都可能会导致整个备份无法恢复。

3. 性能问题:虽然磁带本身的读写速度已有长足提高,但如果涉及到抓带、加载、机械定位文件等动作时,所需要的时间就会变得稍

4. 新鲜度的问题:由于磁带备份已经产生数十年时间,对于许多热衷新鲜事物的用户来说,显得有些陈旧,甚至有些用户对其由习惯而产生了厌倦心理。

二、VTL虚拟磁带库

VTL(Virtual Tape Library)虚拟磁带库,通过存储虚拟化技术将现有磁盘存储系统虚拟成传统的磁带库系统(包括磁带库机械臂、磁带驱动器、磁带)的虚拟设备。它可以仿真物理磁带库的驱动器和(并且)在磁盘上存储备份映像。

VTL由三部分组件构成: 计算机硬件; 应用软件(用于仿真磁带库和磁带驱动器); 和一组基于RAID

技术的磁盘驱动器(在硬盘失效时它们可避免丢失任何数据)。

虚拟磁带库的概念非常简单,它本质上是磁盘阵列硬件设备,但是在软件功能上模拟磁带备份的形式,因此对于存储管理员来讲,它就是一个磁带库,对它的管理如同管理一个物理磁带库一模一样。

VTL使得磁盘阵列对于备份/恢复系统来说像是磁带库,这样一来,无须改变配置就可以在备份系统中使用磁盘,而备份系统仍旧认为在向磁带进行备份—只有你知道其中的奥秘。如同物理磁带库一样,VTL可以通过驱动器共享软件来进行共享。此外,大多数VTL在磁盘上存放数据的方法确保了零碎片。

VTL的三种典型类型:

VTL的优势:

1. 备份软件模式:作为某个备份软件的模块出现,这种VTL只能被该备份软件调用,基于文件系统的,不具有标准磁带库的访问和管理方式,因此严格说来还不能算做VTL,只能算作D-D的备份方式;

2. PC架构VTL:就是在PC Server上安装Linux再安装VTL软件,然后在连接的磁盘空间上虚拟出磁带库、驱动器和磁带;这种VTL是完全模仿了一个真实的带库,具有机械臂、磁带机和虚拟磁带,用户完全可像一台物理带库一样去管理和使用;

3. 嵌入式的VTL:嵌入式结构VTL也是完全模仿了一个真实的带库,具有机械臂、磁带机和虚拟磁带,只不过是将操作系统、VTL软件等写入专用的芯片;属于硬件平台模块化架构。

相对于机械磁带,虚拟磁带库使用了兼容磁带备份管理软件以及传统备份流程,这使得设备的可用性及备份的可靠性都得到了大幅提升。

设备可用性提升:虚拟磁带库用电子化的“机械手”和“磁带驱动器”,代替了机械磁带库中裸露、易损的系列机械装置,基于RAID保护的磁盘阵列具备降级工作能力,且具自动报警和在线热恢复能力。

备份可靠性提升:虚拟磁带库采用基于RAID保护的磁盘阵列,从而将备份的可靠性较常规磁带备份提高了若干量级。封闭式结构的磁盘介质本身的MTBF(平均无故障间隔)一般为开放式结构的磁带介质的5倍以上。

恢复工作极为简便:如果所需数据存在VTL当中,则不会涉及任何机械工作,恢复工作就像磁盘备份的速度一样。

将磁盘做为备份介质是传统备份系统的一次革新,解决了传统备份系统的备

份窗口(速度)、机械故障、共享、维护等无法满足应用需求的问题。

什么是CDP持续数据保护

持续数据保护技术是对传统数据保护技术的一个重大突破。系统管理者无须关注数据的备份过程,而是仅仅当灾难发生后,简单地选择需要恢复到的数据备份时间点即可实现数据的快速恢复。

灾难恢复的对象主要有两个,其一是应用的业务数据,其二是应用的运行状态。通常的灾难恢复技术包括数据的备份、复制、应用的远程集群等。现在,一种新的灾难恢复技术――持续数据保护(Continuous

Data Protection,CDP)又成为我们实现灾难恢复的新选择。

SNIA数据保护论坛(DMF)的持续数据保护特别兴趣小组(CDP SIG)对CDP的定义是: “持续数据保护是一套方法,它可以捕获或跟踪数据的变化,并将其在生产数据之外独立存放,以确保数据可以恢复到过去的任意时间点。持续数据保护系统可以基于块、文件或应用实现,可以为恢复对象提供足够细的恢复粒度,实现几乎无限多的恢复时间点。”

持续数据保护技术是对传统数据保护技术的一个重大突破。传统的数据保护解决方案专注在对数据的周期性备份上,因此一直伴随有备份窗口、数据一致性以及对生产系统的影响等问题。现在,CDP为用户提供了新的数据保护手段,系统管理者无须关注数据的备份过程(因为CDP系统会不断监测关键数据的变化,从而不断地自动实现数据的保护),而是仅仅当灾难发生后,简单地选择需要恢复到的数据备份时间点即可实现数据的快速恢复。

持续数据保护的技术特点

和传统的灾难恢复技术相比,持续数据保护具有如下明显的特点:

首先是可以大大提高数据恢复时间点目标。

另外,由于恢复时间和恢复对象的粒度更细,所以持续数据保护的数据恢复也更加灵活。目前的部分产品和解决方案允许最终用户(而不仅仅是系统管理员)直接对数据进行恢复操作,这在很大程度上方便了使用者。根据这个特性,有业内人士指出,CDP技术甚至有可能取代某些(例如软件开发或制图等应用)系统的版本控制功能,使开发人员把精力专注于开发和设计。

持续数据保护的实现模式

持续数据保护技术或解决方案的实现有多种模式。不同的厂商建立了不同的持续数据保护模型,参考SNIA的存储共享模型, 可以将实现持续数据保护的产品或解决方案分为如下几类:

基于应用的持续数据保护

基于文件的持续数据保护

基于数据块的持续数据保护

1.基于应用实现持续数据保护

对需要保护的关键应用程序,可以在其中直接嵌入和运行CDP功能。这种实现CDP的方式首先能够和应用进行深度整合,确保应用数据在持续保护中的一致性。CDP功能可以由软件厂商将其直接嵌入在软件产品中,也可以是软件厂商提供API接口,由第三方软件开发商来开发完成。

基于应用的CDP最大好处是与应用程序结合紧密,管理也比较灵活,易于用户部署和实施。

目前基于应用程序的CDP解决方案大部分是针对成熟的应用开发的。已经有某些产品可以支持微软公司的Office、Exchange、IBM的DB2,以及Oracle数据库等。

2.基于文件实现持续数据保护

基于文件的CDP,其功能作用在文件系统上。它可以捕捉文件系统数据或者元数据的变化事件(例如创建、修改、删除等),并及时将文件的变动进行记录,以便将来实现任意时间点的文件恢复。

IBM公司的VitalFile、Storactive公司的LiveBackup for Desktop/Laptops、TimeSpring公司的TimeData等产品,都能提供基于文件的CDP功能。VSS是微软公司基于Windows操作系统的一项CDP功能实现模块,VSS提供了实现CDP(尽管其备份时间粒度比较大)的API,第三方软件可以在其基础上进行开发,目前基于VSS的产品有微软的DPM和Symantec的Backup Exec 10D等。

3.基于数据块实现持续数据保护

基于块的CDP功能直接运行在物理的存储设备或逻辑的卷管理器上,甚至也可以运行在数据传输层上。当数据块写入生产数据的存储设备时,CDP系统可以捕获数据的拷贝并将其存放在另外一个存储设备中。

基于数据块的数据保护又有基于主机层、基于传输层和基于存储层三类实现方式。

一般来讲,基于块的持续数据保护除在主机层实现以外,相关的产品和技术比较复杂,实施成本也相应地比较高,因此适合于有持续数据保护需求的大中型企业。

由于CDP技术在数据保护和灾难恢复中具有的特点和优势,越来越多的用户会将目光投放在这一灾难恢复的新技术上。相信随着时间的推移,技术的不断发展和成熟,会有越来越多的持续数据保护解决方案和产品出现,在实现持续数据保护的需求上,用户将会有越来越多的选择。

True CDP与Near CDP区别

CDP连续数据保护分True CDP和Near CDP两种,其在实现方式上有较大差别。True CDP一般通过快照加IO日志的方式实现,Near CDP则更多地是使用连续快照的方式。目前对两者没有严格的定义,可以从RPO的角度进行区分。将数据恢复到任意一个时间点的连续数据保护称为True CDP,将数据恢复到一个很短的时间间隔之前的连续数据保护称为Near CDP。

Near CDP一般通过快照实现,由于Windows和Linux下的快照次数有限,不能做到实时的数据保护。尽管如此,Near CDP相对于True CDP有以下优点。首先,Near CDP在备份时可以减轻服务器相当大的负担;其次文件级的Near CDP根据文件的创建、保存、关闭等动作进行备份,具有比较清晰的备份恢复点,更为重要的是应用成本比较低,这对于业务连续性要求并不太严格的用户来说是一个合理的选择。

相对而言,True CDP可以恢复到任意时间点,可以满足银行、证券等对数据安全要求非常苛刻的用户需求。True CDP对硬件和软件都有比较高的要求,投入较大。

集群NAS为什么是新一代NAS系统的首选

NAS(Network Attached Storage)网络附加存储。用户通过TCP/IP访问存储设备,采用标准的文件共享协议,如:NFS、HTTP、CIFS等,它在文件级传输数据。由于NAS设备易于部署、容量和性能扩展方便和其天然的异构平台的文件共享能力,使得NAS设备受到越来越多的客户的青睐。对于数据或者业务增长迅速的应用,传统的SAN和NAS很快就会面临性能和容量的瓶颈,在这种情况下,对于传统的存储,唯一的解决办法就是增加存储,增加存储设备同时也意味着增加了信息孤岛和管理成本。

传统的NAS部署包括一个节点或者一对节点“NAS头”(NAS head),每个支持一组特定的工作负载和文件系统。在故障替换场景下,工作负载可以从一个节点转移到另一个节点,但它们通常位于一个NAS头上,访问节点之间共享的磁盘驱动器。

传统NAS的特点

简单的活动-活动架构,实现了冗余功能;

集成了磁盘和NAS处理器的“交钥匙”专用设备;

性能和容量的扩展受到节点的限制;

可靠的多协议和主机服务器平台支持功能;

文件系统与节点的绑定关系:在任何时刻,一个文件系统只在一个节点上处于活动状态。

存储容量扩展,易用性及可作为“交钥匙”专用设备来部署恰恰也是传统NAS的缺点。因为客户机和磁盘容量与其中一个NAS头或者一对集群NAS头有关,如果传统NAS的功能无法满足需求的增长,用户就必须人工迁移到新的NAS设备。需要不断迁移资源的管理难题最终成了限制企业增长的因素。

集群NAS网关

集群NAS网关消除了移动工作负载带来的破坏性,从而解决了遗留NAS的主要缺点。性能和容量可无缝扩展,不需要迁移数据,也不会影响用户。

为了做到这一点,集群NAS网关采用了虚拟化技术。客户机和服务器访问的虚拟服务器可以在集群里面的任何一个NAS网关之间以透明方式移动。因而,部署环境就能按需要扩展,以满足不断变化的需求。虚拟服务器支持合并,同时维护了自主性、可隔离用户和工作负载。应用服务器领域也有类似的这一概念。

集群NAS网关的特点

一个集群里面的多个NAS网关对服务请求而言可用性是独立的。

只要添加NAS网关,NAS网关集群的性能就可以扩展吞吐量。

在NAS网关之间转移虚拟服务器,即可以透明方式实现负载平衡。

多协议及平台(Windows、Linux、Unix和Mac)支持。

集成的即时(PIT)快照副本,实现数据保护。

可利用外部的开放存储系统,实现容量扩展。

什么是统一存储

过去SAN与NAS,或是FC SAN与IP SAN之间,彼此总是泾渭分明,企业必须为不同型态的应用分别建设存储设备,但随着企业信息架构的日益复杂,为满足不同的应用需要,企业往往必须分别建设使用不同传输方式的存储系统,以致增加了管理上的麻烦,也增加了设备购买与维护方面的成本。因此为解决这个问题,可支持多种传输协议,同时满足不同需求的统一存储设备也就应运而生。

统一存储就是在开放的系统架构和接口标准之上,提供更加丰富的系统管理功能。可透过同时支持不同的传输协议,从而以单一系统满足企业各式各样的存储需求,还可视不同系统的实际运作情况,灵活调配资源给前端采用不同传输协议的服务器或主机使用,有效解决传统存储系统不经济与管理困难的问题。

根据支持协议的不同,统一存储设备可分为四种类型:

(1)FC+iSCSI+CIFS/NFS

即支持FC与iSCSI两种块读写协议,以及CIFS、NFS两种最普遍的文件传输协议。显然的,这种类型的存储设备能支持的范围最广,无论是SAN、NAS等形式的应用,还是光纤通道、以太网络等不同类型的传输通道都能支持。企业可以单一系统同时满足各类读写要求,无论是管理或是建设都相当方便。

这类系统可分为从NAS为基础出发,进而延伸到SAN,有的产品即为由NAS延伸到SAN的典型;某些产品是以相反的路线延伸,即以FC SAN的磁盘阵列为基础,通过在控制器增加支持不同传输端口的板卡,来支持iSCSI与NAS的读写。

(2)FC+iSCSI

这类产品只能支持SAN的块读写环境,但能支持光纤通道与以太网络两种传输方式,因此企业可让前端执行在线数据库或ERP等关键任务的服务器,通过光纤通道来读写SAN,以取得较佳的性能。至于像数据库测试开发等不需特别讲求性能的应用,就可改由iSCSI来读写SAN,因此这种组合能兼顾性能与成本。

(3)FC+CIFS/NFS

基本上这种组合就是FC SAN加上NAS网关的ㄧ种衍生发展,只不过之前的解决方案是在FC SAN中额外增加一套NAS网关,而现在则是在FC存储设备的控制器中,增加可支持CIFS/NFS文件读写的卡板。

(4)iSCSI+CIFS/NFS

由于同样都是使用以太网络作为传输介质,因此iSCSI加NAS是很理所当然的组合,如果不特别讲求性能,任何能连接IP网络的服务器都能轻易的当作NAS使用。而现在有许多现成的iSCSI Target软件可用,可轻易把服务器当成iSCSI的设备,因此iSCSI+CIFS/NFS这种组合已日渐普遍。

统一存储设备能以单一系统同时满足不同类型的存储要求,由于系统上同时存在了不同型态存储方式的磁盘区,因此如何在不同磁盘区间调配资源,就成为一个问题。另外由于统一存储设备可身兼数职,一旦故障,造成的影响也更大,故可靠性也是不能忽略的考虑。另外统一存储设备还必须具备足够的性能与容量扩充性,才能满足以单一系统同时取代过去分别由多套不同系统负担的存储任务。

存储资源的调节可分存储空间与性能的分配两部份,依执行任务的不同,前端服务器对容量与存储性能的需要也大不相同,这对之前各自独立的系统来说不会成为问题,但对统一存储设备来说,就会有资源竞争的状况,在系统满载时会严重冲击需要高存储性能的前端应用服务器。

就容量分配而言,重点在于系统能否灵活调度空间,配置给采用不同协议的磁盘区,且调整程序还能不影响到存储的数据或正常的存储动作。目前大多数的产品,都有在不同磁盘区间调配容量的功能,把建立好的磁盘区在光纤信道或iSCSI传输接口间转换,而不会影响到磁盘区内的数据。

而性能的调节就比较复杂。传统调节性能的作法是切割高速缓存给不同的磁盘区;依性能需求的差异,在建立磁盘区时设定分配不同大小的高速缓存给磁盘区使用。但盲点在于,快取只是影响存储装置存储性能的因素之一,光靠调整快取大小并不能充分达到调节性能需求的效果。因此近来又出现一些可以进行更细致设定的性能调节方式。

统一存储具有的特点:

1)统一的管理:

统一的存储管理平台,可以使用户节省管理的开销,只用专注应用的需求来灵活配置系统,从而解决不同需求场景下的存储问题。

2)模块化架构:

在保证性能的前提下,用户可根据实际需求,灵活增减协议模块或者功能模块,使系统成本更可控,运行成本更低。

3)轻松的扩容:

基于统一的存储管理平台和虚拟化技术,支持用户轻松扩容,而不需要增加管理开销,真正保护用户的投资,降低总体拥有成本(TCO)。

什么是应用存储

随着许多存储项目的实施,用户对存储设备的需求已经不仅仅满足于数据存储功能,许多用户都希望存储设备可以在一定程度上取代常规的应用服务器,以达到简化系统结构、减少设备数量、节约系统建设成本的目的。这样的需求促使了应用存储的出现、并使之得到了快速的发展。

应用存储是一种可以内嵌了某种应用软件功能的新型存储设备,它不仅具有数据存储功能,还具有服务器的部分应用功能,可以看作是服务器和存储设备的集合体,这种存储设备就称为应用存储。

随着芯片技术的快速发展,存储设备所采用的CPU或专用芯片的运算能力及处理速度成倍提高。在许多类型系统中,存储设备不仅能满足系统的数据存储和访问功能,还的往往有较大的性能冗余。同时,

随着存储设备的整体价格却在不断降低。用户在设备选型及购买时,一般会选择稍高一级别的存储设备。为了有效地利用存储设备的富余资源,在存储设备控制器部分中内嵌了特殊功能的应用软件,使得存储设备不仅为系统提供数据存储服务器,还能提供一定的软件应用服务器。

应用存储的软件功能

应用存储真正有别于普通存储的特点在于可以运行特殊的软件应用功能。软件应用功能是指为了更有效地利用高性能存储设备控制器的剩余处理能力,发挥存储设备专用控制器比较普通PC服务器更高效、更稳定的特点,在应用存储的控制器中内部有嵌了各种不同类型的软件和服务器,使存储设备发挥更大的作用。

网络管理功能:

应用存储中可以内置了大量常用的以太网络管理服务,如域管理服务、DHCP服务、DNS服务等。存储网络系统不需要再配置专门的域管理服务器,仅通过应用存储就可以实现存储网络系统的域管理、DHCP服务和DNS服务等功能。

媒体资产管理功能:

应用存储设备中内置了一套强大的音像资源管理系统,也可以称为媒体资料管理系统,该软件系统中可对本存储设备内部的视音频文件、图片等多媒体资料进行录入、管理、检索查询、播放和下载,并可按实际工作中的需求定制分类标准和媒体资源的编目体系,对本存储设备内部的多媒体资源进行编目和分类,方便后期的检索和查寻。媒体资产管理功能对于一些珍贵多媒体资源的长期保存和再利用具有重要意义。

视频转码:

应用存储设备中可以内置了符合视频转码标准的专用视音频转码软件,按预先定制好的转码标准和操作执行时间,在存储设备资源占用较少的时候来执行转码操作。由于视频转码软件只是对本存储设备内部的文件进行处理,数据不会流经存储的主机接口、网络交换机和服务器,因此不会点用存储设备的总带宽、也不会占用共有的网络资料。且由于存储控制器内部采用的是专用的高性能处理器,视频转码的效率也会大幅度提高。

视频点播功能:

应用存储内置了一个视频点播软件,用户可能通过该软件对存储设备中的视音频文件进行播放,并可以实现暂停、快进和回放都功能。

存储共享管理功能:

在一些特殊的应用环境中,如广电行业的非线性编辑制作网络系统、高性能计算系统、IP-SAN网络启动系统,无盘工作站系统中,由于应用软件系统要求多台服务器需要对同一个卷中的数据进行读写操作,就需要存储设备上的文件系统实现在多台服务器之间进行共享,那么存储网络中的所有服务器和工作站就需要安装存储共享管理软件,并配置专门的MDC服务器来对共享的文件系统进行管理。

应用存储的优势特点

应用存储是指当存储设备本身所能提供的性能远超过系统需求时,借用存储设备的高可性和稳定性,在存储上运行一定的应用软件服务。与普通存储设备相对,应用存储除了增加了许多软件应用及服务功能,也将改变很多应用系统的架构设计。

高可用性

应用存储设备一般都基于模块化、冗余的、支持热插拔的原则而设计的,消除了内部的单点故障,其它安全性和稳定性远超于系统中采用的普通PC服务器,应用软件和服务器内在存储内部,能够为系统提供更高的稳定性和系统安全性。

高效性

应用存储设备的核心,即控制器,一般都采用专门设计的总线结构、专门的处理芯片和缓存,在数据校验和数据传输方面做了优化。长时间运行情况下,应用存储不仅能保证软件和服务器功的安全和稳定,还能保证具有比普通PC服务器具有更高的运行和计算效率,可为系统提供更高的服务质量。

系统架构简单,节约建设成本

由于应用存储中可以内置许多软件应用和服务功能,在系统结构设计时,就可以节省大量的PC服务器,和与之相连接的网络连接设备、网络接口卡,极大地简化了系统中结构。系统结构的简单化有利用优化系统的工作流程,提高系统的运行效率。同时由于减少系统所需的设备类型及数量,也可以大大减小系统的建设成本。

深度剖析云存储

云存储(cloud storage)这个概念一经提出,就得到了众多厂商的支持和关注。Amazon在两年前就推出的Elastic Compute Cloud(EC2:弹性计算云)云存储产品,旨在为用户提供互联网服务形式同时提供更强的存储和计算功能。内容分发网络服务提供商CDNetworks和业界著名的云存储平台服务商Nirvanix发布了一项新的合作,并宣布结成战略伙伴关系,以提供业界目前唯一的云存储和内容传送服务集成平台。半年以前,微软就已经推出了提供网络移动硬盘服务的Windows Live SkyDrive Beta测试版。近期,EMC宣布加入道里可信基础架构项目,致力于云计算环境下关于信任和可靠度保证的全球研究协作,IBM也将云计算标准作为全球备份中心的3亿美元扩展方案的一部分。

云存储变得越来越热,大家众说纷“云”,而且各有各的说法,各有各的观点,那么到底什么是云存储?

1 云计算与云存储

谈到云存储,大家第一会想到的就是云计算。云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念。云计算是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展,是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,再交由多台服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。通过云计算技术,网络服务提供者可以在数秒之内,处理数以千万计甚至亿计的信息,达到和“超级计算机”同样强大的网络服务。如下图:

云计算系统的建设目标是将运行在PC上、或单个服务器上的独立的、个人化的运算迁移到一个数量庞大服务器“云”中,由这个云系统来负责处理用户的请求,并输出结果,它是一个以数据运算和处理为核心的系统。

当云计算系统运算和处理的核心是大量数据的存储和管理时,云计算系统中就需要配置大量的存储设备,那么云计算系统就转变成为一个云存储系统,所以云存储是一个以数据存储和管理为核心的云计算系统。

云存储的概念与云计算类似,它是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。

如果这样常见的方法来解释还是难以理解的话,那我们可以借用广域网和互联网的结构来解释什么是云存储。

云状的网络结构

相信大家对局域网、广域网和互联网都已经非常了解了。在常见的局域网系统中,我们为了能更好地使用局域网,一般来讲,使用者需要非常清楚地知道网络中每一个软硬件的型号和配置,比如采用什么型号交换机,有多少个端口,采用了什么路由器和防火墙,分别是如何设置的。系统中有多少个服务器,分别安装了什么操作系统和软件。各设备之间采用什么类型的连接线缆,分配了什么IP地址和子网掩码。在局域网中,我们使用的一个具体的设备。

但当我们使用广域网和互联网时,我们只需要通过一定的接入网接入广域网和互联网,通过分贝的用户名和密码就可以连接到广域网和互联网,享受网络带给我们的服务。我们并不需要知道广域网和互联网中到底有多少台交换机、路由器、防火墙和服务器,不需要知道数据是通过什么样的路由到达我们的电脑,也不需要知道网络中的服务器分别安装了什么软件,更不需要知道网络中各设备之间采用了什么样的连接线缆和端口。广域网和互联网对于具体的使用者是完全透明的,我们使用的由广域网和互联网带给我们的一种服务,而不是使用具体的设备。

同样,当我们绘制局域网的拓扑图是,我们需要清楚地画出系统的的所有设备的连接线缆,但当我们绘制广域网和互联网的拓扑图时,往往会用一个简单地、云状的图形来表示广域网和互联网,如下图:

虽然这个云图中包含了许许多多的交换机、路由器、防火墙和服务器,但对具体的广域网、互联网用户来讲,这些都是不需要知道的。这个云状图形代表的是广域网和互联网带给大家的互联互通的网络服务,无论我们在任何地方,都可以通过一个网络接入线缆和一个用户、密码,就可以接入广域网和互联网,享受网络带给我们的服务。

参考云状的网络结构,创建一个新型的、云状结构的存储系统系统,这个存储系统由多个存储设备组

成,通过集群功能、分布式文件系统或类似网格计算等功能联合起来协同工作,并通过一定的应用软件或应用接口,对用户提供一定类型的存储服务和访问服务。

当我们使用某一个独立的存储设备时,我们必须非常清楚这个存储设备是什么型号,什么接口和传输协议,必须清楚地知道存储系统中有多少块磁盘,分别是什么型号、多大容量,必须清楚存储设备和服务器之间采用什么样的连接线缆。为了保证数据安全和业务的连续性,我们还需要建立相应的数据备份系统和容灾系统。除此之外,对存储设备进行定期地状态监控、维护、软硬件更新和升级也是必须的。

如果采用云存储,那么上面所提到的一切对使用者来讲都不需要了。云状存储系统中的所有设备对使用者来讲都是完全透明的,任何地方的任何一个经过授权的使用者都可以通过一根接入线缆与云存储连接,对云存储进行数据访问。

云存储不是存储,而是服务

就如同云状的广域网和互联网一样,云存储对使用者来讲,不是指某一个具体的设备,而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储,并不是使用某一个存储设备,而是使用整个云存储系统带来的一种数据访问服务。所以严格来讲,云存储不是存储,而是一种服务。

云存储的核心是应用软件与存储设备相结合,通过应用软件来实现存储设备向存储服务的转变。

2 云存储的结构模型

与传统的存储设备相比,云存储不仅仅是一个硬件,而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网、和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心,通过应用软件来对外提供数据存储和业务访问服务。云存储系统的结构模型如下:

云存储系统的结构模型由4层组成。

一、存储层

存储层是云存储最基础的部分。存储设备可以是FC光纤通道存储设备,可以是NAS和iSCSI等IP存储设备,也可以是SCSI或SAS等DAS存储设备。云存储中的存储设备往往数量庞大且分布多不同地域,彼此之间通过广域网、互联网或者FC光纤通道网络连接在一起。

存储设备之上是一个统一存储设备管理系统,可以实现存储设备的逻辑虚拟化管理、多链路冗余管理,以及硬件设备的状态监控和故障维护。

二、基础管理层

基础管理层是云存储最核心的部分,也是云存储中最难以实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术,实现云存储中多个存储设备之间的协同工作,使多个的存储设备可以对外提供同一种服务,并提供更大更强更好的数据访问性能。

CDN内容分发系统、P2P数据传输技术和数据压缩技术等可以保证云存储中的数据可以更有效地存储,使用和占用更少的空间,占用更低的传输带宽,从而对外提供更高效的服务。数据加密技术保证云存储中的数据不会被未授权的用户所访问,同时,通过各种数据备份和容灾技术和措施可以保证云存储中的数据不会丢失,保证云存储自身的安全和稳定。

三、应用接口层

应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型,开发不同的应用服务接口,提供不同的应用服务。比如数据远程容灾和远程备份、视频监控应用平台、IPTV和视频点

播应用平台、网络硬盘引用平台,远程数据备份应用平台等。

四、访问层

任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统,享受云存储服务。云存储运营单位不同,云存储提供的访问类型和访问手段也不同。云存储使用者采用的应用软件客户端不同,享受到的服务类型也不同。

3 云存储的应用模式

说了这么多,那么云存储到底能提供什么样的服务,通过云存储我们到底能做什么。从图3可知,云存储能提供什么样的服务取决于云存储架构的应用接口层中内嵌了什么类型的应用软件和服务。不同类型的云存储运营商对外提供的服务不同。

根据云存储提供的服务类型和面向的用户不同,云存储服务可以分为个人级应用和企业级应用。

一、个人级云存储应用

(1)、 网络磁盘

相信很多人都使用过腾讯、MSN等很多大型网站所推出“网络磁盘”服务。网络磁盘是个在线存储服务,使用者可通过WEB访问方式来上传和下载文件,实现个人重要数据的存储和络化备份。高级的网络磁盘可以提供web页面和客户端软件等两种访问方式,本人在2002就用过Xdisk这个网络磁盘软件系统,它可以通过客户端软件在本地创建一个名盘符为X的虚拟磁盘,实现重要文件的存储和管理,使用的方式与使用本地磁盘相同。

网络磁盘的容量空间一般取决与服务商的服务策略,或取决于使用者想服务商支付的费用多少。

(2)、 在线文档编辑

经过近几年的快速发展,Google所能提供的服务早已经从当初单一的搜索引擎,扩展到了Google

Calendar、Google Docs、Google Scholar、Google Picasa等多种在线应用服务。Google一般都把这些在线的应用服务称之为云计算。

相比较传统的文档编辑软件,Google Docs的出现将会使我们的使用方式和使用习惯发生巨大转变,今后我们将不再需要在个人PC上安装office等软件,只需要打开Google Docs网页,通过Google Docs就可以进行文档编辑和修改(使用云计算系统),并将编辑完成的文档保存在Google Docs服务所提供的个人存储空间中(使用云存储系统)。无论我们走到哪儿,都可以再次登录Google Docs,打开保存在云存储系统中的文档。通过云存储系统的权限管理功能,还有能轻松实现文档的共享、传送、以及版权管理。

(3)、 在线的网络游戏。

近年来,网络游戏越来越收到年轻人的喜爱,传奇、魔兽、武林三国等各种不同主题和风格的游戏层出不穷,网络游戏公司也使出浑身解数来吸引玩家。但很多玩家都会发现一个很重要的问题:那就是由于

带宽和单台服务器的性能限制,要满足成千上万个玩家上线,网络游戏公司就需要在全国不同地区建设很多个游戏服务器,而这些游戏服务器上上玩家相互之间是完全隔离的,不同服务器上的玩家根本不可能在游戏中见面,更不用说一起组队来完成游戏任务。

以后,我们可以通过云计算和云存储系统来构建一个庞大的、超能的游戏服务器群,这个服务器群系统对于游戏玩家来讲,就如同是一台服务器,所有玩家在一起进行竞争。云计算和云存储的应用,可以代替现有的多服务器架构,使所有玩家都能集中在一个游戏服务器组的管理之下。所有玩家聚集在一起,这将会使游戏变得更加精彩,竞争变得更加激烈。同事,云计算和云存储系统的使用,可在最大限度上提升游戏服务器的性能,实现更多的功能;各玩家除了不再需要下载、安装大容量的游戏程序外,更免除了需要定期进行游戏升级等问题。

二、企业级云存储应用

除了个人级云存储应用外,企业级云存储应用也即将会面世,而且以后可能会成为云存储应用的主力军。从目前不同行业的存储应用现状来看,以下几类系统将有可能很快进入云存储时代。

(1)、 企业空间租赁服务

信息化的不断发展使得各企业、单位的信息数据量呈几何曲线性增长。数据量的增长不仅仅意味着更多的硬件设备投入,还意味着更多的机房环境设备投入,以及运行维护成本和人力成本的增加。即使是现在仍然有很多单位、特别是中小企业没有资金购买独立的、私有的存储设备,更没有存储技术工程师可以有效地完成存储设备的管理和维护。

通过高性能、大容量云存储系统,数据业务运营商和IDC数据中心可以为无法单独购买大容量存储设备的企事业单位提供方便快捷的空间租赁服务,满足企事业单位不断增加的业务数据存储和管理服务,同时,大量专业技术人员的日常管理和维护可以保障云存储系统运行安全,确保数据不会丢失。

(2)、 企业级远程数据备份和容灾

随着企业数据量的不断增加,数据的安全性要求也在不断增加。企业中的数据不仅要有足够的容量空间去存储,还需要实现数据的安全备份和远程容灾。不仅要保证本地数据的安全性,还要保证当本地发生重大的灾难时,可通过远程备份或远程容灾系统进行快速恢复。

通过高性能、大容量云存储系统和远程数据备份软件,数据业务运营商和IDC数据中心可以为所有需要远程数据备份和容灾的企事业单位提供空间租赁和备份业务租赁服务,普通的企事业单位、中小企业可租用IDC数据中心提供的空间服务和远程数据备份服务功能,可以建立自己的远程备份和容灾系统。

(3)、 视频监控系统

近两年来,电信和网通在全国各地建设了很多不同规模的“全球眼”、“宽视界”网络视频监控系统。“全球眼”或“宽视界”系统的终极目标是建设一个类似话音网络和数据服务网络一样的,遍布全国的视频监控系统,为所有用户提供远程(城区内的或异地的)的实时视频监控和视频回放功能,并通过服务来收取费用。但由于目前城市内部和城市之间网络条件限制,视频监控系统存储设备规模的限制,“全球眼”或“宽视界”一般都能在一个城市内部,甚至一个城市的某一个区县内部来建设。

假设我们有一个遍布全国的云存储系统,并在这个云存储系统中内嵌视频监控平台管理软件,建设“全球眼”或“宽视界”系统将会变成一件非常简单的事情。系统的建设者只需要考虑摄像头和编码器等前端设备,为每一个编码器、IP摄像头分配一个带宽足够的接入网链路,通过接入网与云存储系统连接,实时的视频图像就可以很方便地保存到云存储中,并通过视频监控平台管理软件实现图像的管理和调用。用户不仅可以通过电视墙或PC来监看图像信号,还可以通过手机来远程观看实时图像。

4 建设云存储的技术前提

从云存储结构模型可知,云存储系统是一个多设备、多应用、多服务协同工作的集合体,需要依靠很多先进的技术来实现不同层次中的功能,因此云存储系统实现以多种技术的发展和预先实现为前提。

一、宽带网络的发展

真正的云存储系统将会是一个多区域分布、遍布全国、甚至于遍布全球的庞大公用系统,使用者需要通过ADSL、DDN等宽带接入设备来连接云存储,而不是通过FC、SCSI或以太网线缆直接连接一台独立的、私有的存储设备上。只有宽带网络得到充足的发展,使用者才有可能获得足够大的数据传输带宽,实现大量容量数据的传输,真正享受到云存储服务,否则只能是空谈。

二、WEB2.0技术

Web2.0技术的核心是分享。只有通过web2.0技术,云存储的使用者才有可能通过PC、手机、移动多媒体等多种设备,实现数据、文档、图片和视音频等内容的集中存储和资料共享。Web2.0技术的发展使得使用者的应用方式和可得服务更加灵活和多样。

三、应用存储的发展

云存储不仅仅是存储,更多的是应用。应用存储是一种在存储设备中集成了应用软件功能的存储设备,它不仅具有数据存储功能,还具有应用软件功能,可以看作是服务器和存储设备的集合体。应用存储技术的发展可以大量减少云存储中服务器的数量,从而降低系统建设成本,减少系统中由服务器造成单点故障和性能瓶颈,减少数据传输环节,提供系统性能和效率,保证整个系统的高效稳定运行。

四、集群技术、网格技术和分布式文件系统

云存储系统是一个多存储设备、多应用、多服务协同工作的集合体,任何一个单点的存储系统都不是云存储。

既然是由多个存储设备构成的,不同存储设备之间就需要通过集群技术、分布式文件系统和网格计算等技术,实现多个存储设备之间的协同工作,使多个的存储设备可以对外提供同一种服务,并提供更大更强更好的数据访问性能。如果没有这些技术的存在,云存储就不可能真正实现,所谓的云存储只能是一个一个的独立系统,不能形成云状结构。

五、CDN内容分发、P2P技术、数据压缩技术、重复数据删除技术、数据加密技术

CDN内容分发系统、P2P数据传输技术和数据压缩技术可以保证云存储中的数据更有效地存储,使用和占用更少的空间,占用更低的传输带宽,从而提供更高效的服务。数据加密技术保证云存储中的数据不会被未授权的用户所访问,同时,通过各种数据备份和容灾技术保证云存储中的数据不会丢失,保证云存储自身的安全和稳定。如果云存储中的数据安全得不到保证,想来也没有人敢用云存储,否则,保存的数据不是很快丢失了,就是全国人民都知道了。

六、存储虚拟化技术、存储网络化管理技术

云存储中的存储设备数量庞大且分布在多不同地域,如何实现不同厂商、不同型号甚至于不同类型(如FC存储和IP存储)的多台设备之间的逻辑卷管理、存储虚拟化管理和多链路冗余管理将会是一个巨大的难题,这个问题得不到解决,存储设备就会是整个云存储系统的性能瓶颈,结构上也无法形成一个整体,而且还会带来后期容量和性能扩展难等问题。

云存储中的存储设备数量庞大、分布地域广造成的另外一个问题就是存储设备运营管理问题。虽然这些问题对云存储的使用者来讲根本不需要关心,但对于云存储的运营单位来讲,却必须要通过切实可行和有效的手段来解决集中管理难、状态监控难、故障维护难、人力成本高等问题。因此,云存储必须要具有一个高效的类似与网络管理软件一样的集中管理平台,可实现云存储系统中设有存储设备、服务器和网络设备的集中管理和状态监控。


本文标签: 数据 系统 存储设备