云存储技术及应用

云存储技术及应用

[摘要]：云计算是近年来互联网行业迅速发展的一个方向，云

存储作为云计算技术的一部分，是指通过集群应用、网格技术或分

布式文件系统等功能，将网络中大量不同类型的存储设备通过应用

软件集合起来协同工作，共同对外提供数据存储和业务访问功能的

一个系统。本文分析了主流云存储的实现技术及其应用。

[关键词]：云计算 云存储 技术 应用

中图分类号：c819 文献标识码：c

文章编号：1009-914x（2012）32- 0575-01

一、背景介绍

当前的it产业中，“云”几乎成了时下最时髦的it名词，软硬

件厂商开始将旗下产品逐渐转移到云计算，或提出各自在云架构中

的发展方向。云存储，简单说，就是将存储资源放到网络上供人存

取的一种新兴方案。通过接入云存储，用户可以在任何时间、任何

地点，使用任何可连网的装置方便地存取数据。相比传统存储，云

存储具有以下优势：支持规模的无限扩展、支持异地分布式存储、

具有容易管理的特性、具有绿色节能、支持海量并发访问、支持业

务的多样性等。

另外，随着个人电脑性能的不断提升，互联网应用的不断普及，

电脑、手机、电视等多终端应用的融合，以及随着“光网”业务的

推进，个人用户和企业用户对存储服务的可靠性、有效性及便捷性

要求不断提高。在宽带应用、移动互联网应用大规模发展的同时，

也面临着诸多问题，包括终端的快速更新换代带来的扩展性及维护

问题、以及软件应用选择和更新、资料的有效保存、备份、信息安

全等问题。

为了有效解决以上所面临的各类问题，包括中国电信在内的各

大运营商和互联网公司正构建面向个人和中小型企业用户，针对pc

机和移动终端的云存储服务平台，通过建立应用商店及可扩展应用

执行环境，集成云存储的各项应用。

二、云存储技术

云存储是指云计算架构中的储存部分，从iaas、paas到saas

都可以看到其身影，其中尤以iaas存储资源的网络服务化最为重

要。事实上，云存储既可以看做云计算架构中的重要组成份子，也

可以个别拉出成为独立的web服务。就像云计算的组成架构一样，

一个完备的云存储也有许多分层架构，虽然划分方式及名称不同，

但与前者云计算分层架构仍有许多相似之处。

1.云存储主要优势

相对于传统的nas和san存储，云存储具体自身独有的优势，

主要包括以下3点：

管理方便

这一优势也可以归纳为成本上的优势。因为将大部分数据迁移

到云存储上去后，所有的升级维护任务都是由云存储服务提供商来

完成，节约了企业存储系统管理员上的成本压力。当企业用户发展

壮大后，突然发现自己先前的存储空间不足，云存储服务可以很方

便的在原有基础上扩展服务空间，满足需求。

成本降低

就目前来说，企业在数据存储上所付出的成本是相当大的，而

且这个成本还在随着数据的暴增而不断增加。为了减少这一成本压

力，许多企业将大部分数据转移到云存储上，让云存储服务提供商

来为他们解决数据存储的问题，这样就能花很少的价钱获得最优的

数据存储服务。

量身定制

云存储服务提供商专门为单一的企业客户提供一个量身定制的

云存储服务方案，或者可以是企业自己的it机构来部署一套私有

云服务架构。私有云不但能为企业用户提供最优质的贴身服务，而

且还能在一定程度上降低安全风险。而通过公有云，企业也能通过

云存储服务提供商提供的接口直接接入云存储资源池，并在其上开

发和定制属于自己的业务产品，减少对基础设施的投资。

2.云存储系统分层模型

云存储系统的结构模型主要由四层组成，这也是目前较为公认

的云存储系统结构模型。

存储层：存储层是云存储最基础的部分。存储设备可以是fc光

纤通道存储设备，可以是nas和 iscsi等ip存储设备，也可以是

scsi或sas等 das存储设备。云存储中的存储设备往往数量庞大

且可以分布在多个不同区域，彼此之间通过广域网、专线或者fc

光纤通道网络连接在一起。存储设备之上是一个统一存储设备管理

系统，可以实现存储设备的逻辑虚拟化管理、多链路冗余管理，以

及硬件设备的状态监控和故障维护。

基础管理层：基础管理层是云存储最核心的部分，也是云存储

中最难以实现的部分。基础管理层通过集群、分布式文件系统和网

格计算等技术，实现云存储中多个存储设备之间的协同工作，使多

个存储设备可以对外提供同一服务，并提供更大更强更好的数据访

问性能。同时，数据加密技术的使用，也保证了云存储中的数据不

会被未授权的用户所访问。

应用接口层：应用接口层是云存储最灵活多变的部分。不同的

云存储运营单位可以根据实际业务类型，开发不同的应用服务接

口，提供不同的应用服务。比如视频监控应用平台、iptv和视频点

播应用平台、网络硬盘应用平台、远程数据备份应用平台等。

访问层：任何一个授权用户都可以通过标准的公用应用接口来

接入云存储系统，使用云存储资源、享受云存储服务。云存储运营

单位不同，云存储提供的访问类型和访问手段也可以各不相同。

3.云存储系统架构

通常来说，云存储主要由以下各子系统组成：

客户代理子系统ca是用户访问云存储的门户，可以进行文件和

目录的读、写、修改等操作，支持基于文件系统的应用，支持

cifs/nfs。

元数据子系统mds是用来管理整个云存储的所有元数据、进行

对象条带化和布局分配。元数据管理包括元数据的创建、删除、修

改、查找、设置访问权限、设置条带信息等等。

对象存储子系统osn是来存储和管理用户数据。用户数据以对

象的方式在osn上进行存储和读写。当硬盘或节点出现故障，osn

可以进行数据的恢复和数据迁移。

对象管理子系统oms是云存储的对象管理子系统，提供磁盘布

局、对象和对象集的操作、系统日志等。

集群管理子系统cms是用于管理整个云存储，收集系统资源情

况，监控设备状态。

4.云存储系统关键特性

4.1 高可靠性

云存储系统提供磁盘级的数据保护方案，一个存储节点有多个

磁盘，磁盘之间可实现多种raid功能，包括raid 5或raid 6，单

个磁盘的故障不会导致数据丢失。

通常情况下，任何一个文件在不同osn上同时存在2个或3个

副本，单个节点的故障，不会影响文件的读写功能。另外，可通过

节点间的冗余，在单组内2个osn故障的情况下，依然保证数据正

常读取。

域级的数据可靠性：提供域级的数据可靠性方案，对于非常重

要的数据，提供本地域间或异地灾备。本地数据同时也可在其它域

进行备份。当本地某域出现故障，可由本地其他域或远程域进行数

据恢复，确保数据高安全性。

4.2 高性能

通过切片算法，将存储内的文件划分为各种大小的条带存储片，

对于小文件则不再分片，直接找到容量最接近的存储空间，自动调

整不同大小的存储片来满足存放不同数据需求。将大文件按一定的

规则切成小块进行存储，但用户需要访问时，再调取小文件拼凑起

来还原，大大提高了大文件存储的效率。

4.3 易扩展性

易扩展性可支持云存储节点的增加和删除。节点的增加：当系

统存储容量不足，可以通过增加存储节点。系统识别存储节点所属

的mds，然后自动地迁移数据到新节点上。节点的删除：当存储节

点过多，系统可以方便地删除节点。首先自动地将数据迁移到其他

节点，然后从系统中删除该节点的相关信息并物理上移除该节点。

4.4 其他特性

4.4.1负载均衡

通过权重轮循均衡方式，mds根据osn处理能力和负荷的不同，

动态给每个osn分配不同的权值，使其能够接受相应权值数的服务

请求。这种均衡算法能确保高性能osn得到更多的使用率，避免低

性能osn负载过重。

4.4.2热点消除

云存储系统的具有热点消除特性，同时可提供基于数据复制的

热点消除方法。mds首先定位osn中热点文件，然后将热点文件复

制到其他osn上，从而实现热点消除。

三、云存储应用

1.个人用户应用

1.1 网盘

网盘，又称网络u盘、网络硬盘，是典型的在线存储服务。网

盘服务同时也是云存储的重要应用之一，通过向用户提供文件存

储、访问、备份、共享等文件管理功能，使得用户可以随时随地通

过网络获取保存在网盘内的资料，并可以进行在线编辑、分享等功

能，在方便使用的同时，也能确保数据存储的安全可靠性。

1.2 在线文档编辑

相比较传统的文档编辑软件，在线文档编辑的出现将会使我们

的使用方式和使用习惯发生巨大转变，今后我们将再不需要在个人

pc上安装office等软件，只需要打开在线文档编辑网页，通过它

就可以直接进行文档编辑和修改，并且将编辑完成的文档保存在服

务提供商的个人存储空间中。无论我们身处何方，只能再次登录就

能访问之前保存过的文档。

1.3 在线大型网络游戏

通过云计算和云存储技术来构建一个庞大的，超能的游戏服务

器群，实现让所有玩家集中到一起的目的，让游戏变得更加激烈。

同时，玩家也免去了下载大型客户端，频繁更新客户端的麻烦。

1.4 多屏互动

随着电子产品功能的日益完善，除了传统了pc机外，近几年又

不断衍生出了各种智能终端设备，包括智能手机、平台电脑等，各

种智能化终端，如何让数据进行有效分享，是一个大家都在考虑的

课题。apple公司通过推出icloud就是一个类似的功能，通过

icloud，可实现在苹果设备之间的数据共享，用户只要将数据定期

同步到icloud所提供的云存储中，就可在不同的终端上浏览和编

辑相同的内容。

2. 企业级用户应用

2.1 企业空间租赁服务

现在很多中小企业没有资金购买独立的、私有的存储设备，更

没有存储技术工程师可以有效的完成存储设备的管理和维护。通过

高性能，大容量的云存储系统，数据业务运营商和idc数据中心可

以为无法单独购买大容量存储设备的企事业单位提供方便快捷的

空间租赁服务。同时，云存储能保证数据的安全稳定性。

2.2 企业级数据备份和容灾

当本地发生重大灾难时候，企业需要通过远程备份或远程容灾

系统进行快速恢复。高性能，大容量的云存储系统和远程数据备份

软件，可以满足所有需要远程数据备份和容灾的企事业单位的数据

备份需求，降低灾难带来的损失。

四、云存储未来展望

在信息大爆炸的今天，对信息存储的渴求将是今后个人及企业

急需考虑的问题，苹果、谷歌、百度、腾讯、金山等互联网公司都

在不断推出基于云计算的业务，对他们来说，差异化的竞争显得尤

为重要，众多互联网公司集中进入这个市场，说明了业界对该领域

的普遍关注和看好。

在今后，云存储就好比今天的水和电一样，可以方便获取、按

需使用和付费，而存储作为一种基础资源，在上层可以开发各种各

样的应用，可以提供给各类公司和人员使用，除了个人数据存储备

份、企业数据灾备等常规业务外，还能像如上所述那样开发出各类

新型应用，满足不同需求。

参考文献：

[1] 陆小铭，曹维华，余勇昌. 电信运营商发展云存储业务的

网络问题探讨[j]电信科学， 2010，（06） .

[2] 胡冰松； 刘文超； 万象； 谢明. 城市光网环境下的家庭

网络云存储应用系统的设计与实现[j]电信科学， 2011，（05） .

[3] 刘贝； 汤斌. 云存储原理及发展趋势 [j]科技信息，

2011，（05） .

作者简介：

陈成，男，籍贯上海，学士学位，就职于中国电信股份有限公

司上海互联网部，应用主任工程师，当前主要研究云计算、虚拟化

相关技术的理论、实践及运行维护。