admin 管理员组

文章数量: 887021


2024年3月9日发(作者:谷歌浏览器安装js插件)

云存储及应用特点

1、云存储

云存储是指通过集群应用、网络技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来工作,共同对外提供数据存储和业务访问功能的一个系统。

云存储不同于传统存储,不是某一个存储设备,而是使用整个云存储系统带来的一种数据访问服务,云存储系统的结构模型由四层组成。具体模型如图1所示。

图1 云存储模型图

(1)存储层:是云存储最基础的底层。存储设备可以使FC-SAN,也可以是NAS或IP-SAN,也可以是SCSI或SAS等DAS存储设备。存储设备上是一个统一存储设备管理系统,可以实现存储设备的逻辑虚拟化管理、多冗余管理,以及设备的状态监控和维护。

(2)基础层:是云存储最核心的部分,通过集群、分布式文件系统和网格计算等技术,实现云存储中多个存储设备之间的协同,使多个存储设备可以对外提供同一种服务,并提供强大的数据访问性能。CDN内容分发、数据加密技术保证数据不会被非法访问,同时,数据备份和容灾技术可以保证数据的安全,防止丢失。

(3)接口层:具有多种协议接口,能够根据系统灵活适配,开放不同的服务接口,提供不同的应用服务。

(4)用户访问层:任何授权用户都可以通过标准的登录页面进行访问,享受服务。云存储根据访问对象的不同,提供的访问类型和访问手段也不同。

在云存储实现过程中,为了保证存储系统的可靠性,需要将数据复制多份进行灾备,在数据规模急剧增长时,需要对传统的数据库进行分库拆分,进行线性扩展,保证数据的安全。云存储具有以下特点:

(1)高可扩展性:云存储支持海量数据存储,资源可以实现按需扩展;

(2)低成本:相比较传统磁盘阵列,云存储更多使用PC服务器,具有更高的性价比;

(3)软硬件分离:相比传统存储,云存储强调用户存储的灵活支持,以多种存储方式存储数据,支持外部随时访问。

2、存储方式

云存储根据技术分类主要包括:文件存储、块存储和对象存储。

(1)文件存储

文件存储是提供文件接口(如POSIX协议)的云存储系统,以标准文件系统接口形式向应用系统提供海量非结构化数据存储空间。文件存储解决存储大量数据的问题以及多用户之间的资源共享问题。

文件存储具有以下的优点:相比于块存储,造价较低,只需要普通以外网就可以实现,不需要专用的SAN网络;文件共享程度高。

文件存储的主要缺点是读写速度低,传输速率慢。相比块存储,协议开销较高,响应延迟较长。文件存储一般用来存储大量的静态或动态数据,支持文件的在线编辑,支持多用户的同时并发读写,适用应用系统和存储系统耦合程度中等的情况,如桌面云等系统。

(2)块存储

块存储是提供接口(如ISCSI协议)的云存储系统,向应用的数据库或文件系统提供原始块存储空间。将大量磁盘设备通过SCSI/SAS或FC SAN与存储服务器连接,服务器直接通过SCSI/SAS或FC协议控制和访问数据。

近几年,云存储技术快速发展,块存储逐步向分布式发展,在保证性能的前提下,降低了成本。DAS和SAN是两种典型的传统块存储,分布式块存储代表有EMC ScaleIO和中国移动的BC-EBS存储。传统块存储和分布式块存储对比如表1所示。

表1 传统与分布式块存储比较表

类别 优点 缺点

采用Raid方式,对数据提供保护,数据安全性高 采用SAN组网时,网络必须配置光纤交换机,提升造价

I/O性能高,读写速度快

传统块存储

专门的传输协议及数据封装协议,准确的数据传数据共享性差

存储动态扩展和删除节点

高I/O并发性能,全对称的存储节点集群

分布式块存储

数据多份冗余(一般3份),支持快照能力,数据X86稳定性相对传统高端磁盘阵列差

安全

低成本的X86服务器,造价低 分布式管理软件功能不完善

需要专业的存储软件

技术发展不成熟,对于数据库强一致性保障差(如计费)

磁盘阵列扩展性差

目前,分布式块存储刚刚起步,技术还不成熟,支持的厂家较少,目前主流产品如EMC的ScaleIO、苏州研究院的弹性存储BC-EBS,由于产品较少,造成分布式块存储应用不够广泛,存储灵活扩展的特性还不能充分发挥。

块存储适用于应用系统跟存储系统耦合程度紧密的情况,如计费维护库可采用分布式块存储,计费数据库、经分数据库、CRM数据库等。

(3)对象存储

对象存储提供对象接口(如HTTP协议)的云存储系统,向应用系统提供海量非结构化数据存储空间。对象存储系统目标是提供面向Internet的简单存储服务,访问接口简单。

对象存储主要是将多台服务器内置大容量硬盘,再装上对象存储管理软件,管理其它服务器并提供读写访问的功能。对象存储的核心是将数据通路和控制通路分离,并且基于对象存储设备构建存储系统,每个对象存储设备具有一定的智能,能够自动管理其上的数据分布。

对象存储兼顾了块存储的高读写特性和文件存储的共享性,协议开销高,响应延迟文件存储长,但访问的范围更广,一般用来存储长期的静态数据,对象数据不支持在线修改和扩展,多为非结构化数据,应用系统与存储系统耦合程度也比较松散。对象存储目前多应用于公有云的视频类业务。

3、具体应用

目前,在某省业务系统云化过程中,以上几种存储方式建议应用场景如表2所示。

表2 云存储应用场景表

存储方式 应用场景

1、某省BOSS计费库仍采用FC-SAN方式,不云化

传统块存储 2、某省CRM数据库仍采用FC-SAN方式,不运化

3、某省专业网管数据库暂不云化,保留现有FC-SAN架构

某省存BOSS云化过程中将计费库拆分为用户库和维护库,维护库采用分布式架构(采用分布式块存储

InfiniBand交换机+ScaleIO)

文件存储

对象存储

大数据HADOOP

CDN、Cache在试点

目前,某省BOSS系统云化改造已经完成,计费维护库采用分布式架构,业务已经上线,运行稳定。综述,在系统数据库仍为关系型时,存储方式基本采用块存储进行存储,针对某些数据强一致性要求较低的情况,可以考虑分布式块存储。随着数据库技术的发展,对象存储和文件存储将应用越来越广泛。

4、结论

随着云存储技术的成熟和应用的广泛,云存储将会变得更加安全和可靠,成本将会降低,对比传统存储具有很大的优势,后续还需要加强对数据研究,采用“冷-温-热”策略进行数据分级,研究混合存储应用场景。


本文标签: 数据 应用 提供 系统 访问