admin 管理员组

文章数量: 887021


2024年3月6日发(作者:parentsku什么意思)

国内外主要集群NAS产品对比

武汉大学计算机学院

一、什么是集群NAS

在大数据时代,非结构化数据目前呈现快速增长趋势,IDC研究报告分析指出,到2012年非结构化数据将占到数据存储总量的80%以上。集群NAS是一种横向扩展(Scale-out)存储架构,具有容量和性能线性扩展的优势,已经得到全球市场的认可。从EMC对Isilon、HP对IBRIX、DELL对Exanet、Compellent等收购事件,以及IBM推出SONAS、NetApp发布Data ONTAP 8,都可以看出集群NAS已经成为主流存储技术之一。

在国内,我们也看到UIT UFS、龙存LoongStore、达沃时代YeeStor、九州初志CZSS、美地森YFS等集群NAS解决方案。集群NAS的未来潜在市场巨大,在高性能计算HPC、广电IPTV、视频监控、云存储等行业领域将逐步得到广泛应用。

高性能、高容量以及可扩展性是集群存储得以发展的最得人心的特征。

我们主要关注的是具有Scale-Out特性的集群NAS产品。

传统NAS扩张很容易带来以下问题:

1.系统管理。即便是NAS系统管理比SAN存储管理简便很多,但仍然需要花费时间和资源来管理。

2.管理客户端和应用对数据的访问。能够访问的前提是NAS系统必须挂载在对应的服务器或者工作站上。挂载会中断应用的访问,所以在挂载的时候需要预留好服务器上应用的宕机时间。挂载了越多的NAS系统,带来的是更多的宕机时间。

3.文件位置。关于定义文件存放位置的策略应该是基于性能,可访问性,文件创建时间,访问频率,存储成本,可用性,数据保护等诸多方面因素决定的。策略的设定本身不会太难,但事实上,要将文件移动到合适的NAS系统上是一个耗时间的手工数据迁移过程。而且,随着NAS系统越来越庞大,其复杂性也越来越高。

集群(Cluster)是由多个节点构成的一种松散耦合的计算节点集合,协同起来对外提供服务。集群NAS是指协同多个节点提供高性能、高可用或高负载均衡的NAS(NFS/CIFS)服务。Scale Out NAS 通过将数据分布到集群中各节点的存储方式,提供单一的使用接口与界面,使用户可以方便地对所有数据进行统一使用与管理。集群中所有磁盘设备整合到单一的共享存储池中提供给前端的应用服务器,利于访问,同时提高了磁盘利用率。

Scale-out横向扩展架构的升级通常是以节点为单位,每个节点往往将包含容量、处理能力和I / O带宽。一个节点被添加到存储系统,系统中的三种资源将同时升级。

从上面的图例可见,容量增长和性能扩展(即增加额外的控制器)是同时进行。

而且,Scale-out架构的存储系统在扩展之后,从用户的视角看起来仍然是一个单一的系统,这一点与我们将多个相互独立的存储系统简单的叠加在一个机柜中是完全不同的。

所以scale out方式使得存储系统升级工作大大简化,用户能够真正实现按需购买,降低TCO。

二、集群NAS的核心是集群/并行文件系统

集群NAS的横向扩展(Scale-ou)是指可在文件系统级进行存储扩展,而集群NAS的核心工作都是通过集群文件系统或并行文件系统完成。

集群文件系统是指协同多个节点提供高性能、高可用或负载均衡的文件系统,它是分布式文件系统的一个子集,消除了单点故障和性能瓶问题。对于客户端来说集群是透明的,它看到是一个单一的全局命名空间,用户文件访问请求被分散到所有集群上进行处理。在元数据管理方面,可以采用专用的服务器,也可以采用服务器集群,或者采用完全对等分布的无专用元数据服务器架构。目前典型的集群文件系统有SONAS, Isilon, IBRIX, NetAPP-GX,

LoongStore, YeeStor等。

并行文件系统是应用于多机环境的网络文件系统,单个文件的数据采用分条等形式存放于不同的存储设备上,支持多机多个进程的并发存取,同时支持元数据和数据的分布存放,并提供单一的名字空间。通常SAN共享文件系统都是并行文件系统,如GPFS、 StorNext、BWFS,集群文件系统大多也是并行文件系统,如Lustre, Panasas等。

目前市场上的集群NAS产品,不管核心是集群文件系统还是并行文件系统,大多具有以下几个特点:

1. 统一名字空间

统一名字空间是指每一个文件和目录在文件系统中都有一个统一的、唯一的名字,在所有的应用服务器上,用户都可以用相同的名字来访问该文件或者目录而无需关心文件的实际存储位置和给其提供服务的元数据服务器的位置。当用户要访问的文件从一个存储位置迁徙到另一个新的位置以后,用户无需知道,他仍然可以继续用原来的名字来访问此文件或者目录。

统一名字空间主要涉及元数据的管理模型,目前大致有集中式元数据模型(如Lustre、GFS等)、分布式元数据模型(如Isilon、GPFS、Ceph等)和无元数据模型(Glusterfs)三种。

2. 高扩展性

前面已经说明,集群NAS具有横向扩展特性,容量和性能能够同时扩展。而且大多数产品都能够实现在线扩容,即在不停止服务的情况下向集群添加和删除节点或者磁盘,做到即插即用,且自带负载均衡机制。

3. 高可用性

集群NAS的集群架构特点,消除了单点故障,确保了系统的可用性。

在数据高可用方面,大多产品均提供跨节点的数据冗余备份,能够支持部分存储设备出现故障时,数据仍然可用。

4. 性能优异

对于大多数集群文件系统或并行文件系统而言,通常将元数据与数据两者独立开来,即控制流与数据流进行分离,这种方式也称为元数据带外访问模式,从而获得更高的系统扩展性和I/O并发性。

采用带外模式能够提高整体存储的访问效率,因为在文件访问中,对于元数据的查询占文件操作的60%以上,每次读取的数据少而且应对的访问压力大,这和数据读取的访问操作是不同的,因此带外模式便于提高系统性能。

另外,在性能提升上,有的产品采用高性能的硬件(如Panasas、3PAR)或者利用InifiniBand高速网络(如Isilon、YeeStor),大多数产品还会采用文件存储条带化、智能预取、数据缓存等软件机制来提升性能。

三、各种厂商对比一览表

近年来,市场上出现了很多集群NAS的存储产品,不仅有自创小品牌在努力奋进,目前更是加入了很多著名厂商,整个市场呈现出一片红火景象。

以下是市场上主要厂商的集群NAS产品的对比情况,可以看到国外的大多数自创品牌如今已被大厂商收购,目前仅剩下Panasas,而国内的龙存,达沃时代,中科蓝鲸也开始大展拳脚了。

Panasas

公司情况 核心市场 技术特点

1999年成立,独立厂商

高性能计算

并行文件系统,后端存储为OSD结构,

区分控制刀片和存储刀片

主要卖点

高性能

面向对象存储

pNFS协议的倡导者

针对企业应用的各种软件功能;性能、容量等定位扩展的硬件节点

Ibrix的横向扩展NAS平台和Ibrix Fusion能够极大地扩展性能、容量和管理能力

自动精简配置整合进ASIC;InSpire 体系架构(网状控制器结备注

特有的硬件使得性能较好,但是价格太过昂贵

Isilon 2001成立2010被EMC购

年,年收面向大数集群文件系统,不据和非结区分元数据和数构化数据 据节点;

被EMC收购后,作为大数据战略方向上的重头兵

Ibrix 2000年立,2009年被HP收购

企业级文件服务软件

集群文件系统,高度可扩展软件产品

惠普推出基于Ibrix的X9000

scale-out文件存储系统

3PAR 1999成立2010被HP年,年收中高端存储

SAN集群、

采用了ASIC硬件加速芯片,使其系统能够有出色的自动精简配置Thin

Provisioning由3PAR公司开创,改变以前需要提前分

购 性能。 构,可达8个)等,配容量的问题,做硬件上的改进设到即写分配,提高计非常有特色。 存储利用率。

流动数据架构,存储可直接根据业务需求动态进行调整。

可节约整体成本

借助分层架构,SAS或固态硬盘等高性能硬盘能够处理公司最关键的数据,而将很少使用的数据自动迁移到容量大、但速度低的SATA硬盘上的技术。

存储 (TB/PB) 和服务器(接口、I/O

和带宽)放在单独的模块化组件中,它们可以独立地升级。分别对应于SONAS 的存储单元和接口节点。

SiliconFS文件系统不同于用服务器和定制操作系统实现的文件系统,它基于专门的硬件芯片FPGA。

存储模块体现实现面向对象概念、

支持pNFS协议

Compellent

2002年成立,2011年被Dell收购

中端市场 SAN集群、

同3PAR有近似,但性能不及,且只能允许两个SAN聚合,而3PAR能够实现8个SAN聚合。

中大型企业

以GPFS为核心,以X86平台为硬件基础,推出的集群NAS产品

IBM

SONAS

2010年推出的产品

2011年4月升级:改进的信息生命周期管理 (ILM)、层次化存储管理

(HSM) 以及简便的部署和防病毒集成

硬件加速文件管理器供应商,

主要生产用于场内可编程门阵列(FPGA)的硬件加速文件管理器,加快文件管理器的运行速度

采用通用服务器做为存储与元数据节点,

整体性价比高

YeeStor文件系统+X86服务器,性价比高;

具有集群结构、数据备份、元数据快照等多项高可用机制;Web UI可用性好

BlueArc 1998成立2011被HDS购

年,年收中高端存储,HDS自2006年一直OEM其产品

文件级集群、

一个是高端Titan系列,一个是入门级Mercury系列

龙存 起步较早,在国内市场有一定知名度

基础研究非常早,2010年正式成立公司

高性能计算、互联网

集群存储产品

达沃时代YeeStor

集群存储(包括高性能计算)、虚拟化(包括虚拟服务器、虚拟桌面)、云存储

集群文件系统、面向对象存储

已有教育台“学习超市”、CNGI国家科学数据共享平台等多个成功案例

中科蓝鲸 研究比较早,2007年正式成立

美地森 2007年成立

网络存储产品和解决方案供应商

集群存储系统软硬件服务提供商

数据存储解决方案提供商和海量信息存储专家

SAN文件系统 同时支持FC在数字媒体、视频(4Gb、8Gb)、以监控等方面有一些太网(1Gb、10Gb)案例

接入

YFS和Isilon的美地森也推出了OneFS功能近似,WSS云存储、WHS云集合了文件系统、主机。

卷管理和RAID。

UIT参加展销会比较多,所有宣传稿也较多。主要展示其云监控、云媒资、办公云、IPTV等多个行业的云解决方案,以及SV5000G2等自主创新产品;

另外面向个人、家庭用户也有应用产品。

USS集群存储系统

创新科UIT

2001年成立,2009年,与Intel进行了战略研发合作,2011年获得Intel注资。

做IP SAN起家,大量的通用服务再做NAS,后面通器,元数据和存储过收购获得FC 数据分离

SAN技术,目前推行统一存储,另外在云存储概念上推出了几款产品。

从近两年的各种收购事件来看,集群存储市场已经从小的独立厂商时代转向了大厂商竞争时代,IBM、HP、Dell等大型综合存储方案厂商的加入,一方面是看到了非结构化数据爆炸式增长带来的市场规模扩张,另一方面,也使得集群存储领域的竞争进一步加剧。

 IBM:作为综合存储方案供应商,IBM在集群存储方面同样有自己的策略。在SAN集群方面,IBM收购了XIV,经过有效的整合后,XIV已经成为IBM高端存储产品线的有力补充,在针对非结构化数据的Scale out NAS市场,IBM则将一套由来已久的分布式文件系统方案GPFS重新包装,推出了NAS集群产品SoNAS。

在战略层面,IBM的公共云就采用了SONAS架构。

 HDS:收购BlueArc,它拥有数据分级的技术,它的产品可以在8节点群集中提供文件存储虚拟化功能,将群集容量提高到16PB。 运行在群集上的软件是SiliconFS文件系统,可以提供NFS和CIFS文件存取以及iSCSI SAN存取等功能。BlueArc主要生产硬件加速的Titan和Mercury产品,这些产品均运行有SiliconFS软件系统。7.0版本的SiliconFS把文件的元数据放在固态硬盘或SAS驱动器上,而将文件数据放置于运行速度较慢但是相对便宜的驱动器上,可提供文件访问速度。

EMC:与倡导统一存储的NetApp不同,EMC看上去仍像是多家公司的组合。EMC旗下曾经有过Avamar、Data Domain、DMX、Clariion、Celerra,以及Isilon等,还需要更好的融合和统一。EMC在7年里收购了53家公司,走大而全的路线。 战略上推行大数据解决方案,Isilon应该是其宣传侧重点。从Isilon被收购的两三年来看,确实是背靠大树好乘凉,EMC的多套方案中均有Isilon的身影,每次大会都有些宣传,相比其老对手Panasas,Isilon现在的发展势头很不错,应用范围越来越宽。

NetApp核心系统依赖于一个单一的操作系统,无论是SAN、NAS、高端、低端、主存储还是二级存储,都是基于核心的操作系统ONTAP,这是和其他厂商最大的区别。这也是其在并购方面考虑较多的原因。

但NetApp的集群NAS产品Data ONTAP GX并不给力。GX来源于NetApp收购的Spinaker,是一家做Single Namespace的文件系统的厂商,所以GX系列只是一个Single Path

Image模式的架构,类似于微软的DFS,将多个独立文件系统,从路径上加一次虚拟,多个文件系统(控制器机头)之间依然采用松耦合方式。GX并没有从骨子里表现为一个Single File system Image的集群或者分布式文件系统,所以市场认同度不高。

 HP:HP最近三年内收购了LeftHand(增强了其存储虚拟化和iSCSI能力)、Ibrix(横向扩展NAS和Fusion管理软件)、以及3PAR(中高端的SAN集群以及Thin概念的各种功能),包装推出了可恒星扩展的P4000G2和X9000,以及提供基于3PAR的统一云存储解决方案。

 Dell:2010年Dell在同HP竞购3Par大战中失败,Dell转为收购与3Par提供的技术相似的Compellent。另外,Dell在2007年收购的EqualLogic,主要是 IP SAN,同样属于Scale out架构,而Compellent在智能数据管理技术和FC SAN领域有优势。

目前戴尔存储产品领域主要分成了四大系列,有着各自清晰的分工和定位,分别针对不同的应用。其中,PowerVault MD系列主要满足入门级直连存储和iSCSI SAN,基于磁盘备份,提供重复数据删除支持,并提供磁带存储,满足长期、离线备份的要求;DX对象存储则实现把静态数据移出主要存储,提供归档解决方案和存储固定及非结构化数据;EqualLogic PS包含了虚拟化与整合、业务级应用、中等规模解决方案,并用来替换各种专有解决方案;Compellent Series 主要用来帮助企业实现虚拟化和整合,满足企业级应用和大规模的企业解决方案。

 Panasas是业界最早的基于对象技术的高性能存储系统。和所有基于对象存储的并行存储系统一样,Panasas也由client端、管理节点、数据节点(对象存储节点)组成。但和其它系统不同的是,Panasas是包括定制硬件设计的性能优越、功能完善、成熟的商业产品。

Panasas系统的突出特征在于支持文件级的RAID,提高了数据安全性。Panasas已将自己的客户端技术公开,成为目前pNFS(NFSv4.1)标准的基础。


本文标签: 数据 集群 文件 节点 提供