存储远程镜像的模式

超越存储管理，化解数据难题 （二）

存储虚拟化

随着惠普收购3Par之后对存储产品线的整合，以前我们就不是太看好的EVA集群在推出半年之后就被放弃了。作为EVA集群的重要组成部分，HP从LSI OEM而来的SVSP（存储虚拟化服务平台）以及它的原型——SVM也没有了继续存在的必要。如果再加上一直发展不利的EMC Invista，基于存储网络层面的带外存储虚拟化产品几乎遭遇了“灭顶之灾”，然而这并不影响整个存储虚拟化市场的发展。

带内（左）和带外（右）两种存储虚拟化示意图

因为当前主流的存储虚拟化设备是另外2种实现方式：基于存储网络的带内虚拟化、通过磁盘阵列控制器来连接外部存储系统的虚拟化功能。前者的代表产品为IBM SVC、EMC去年推出的VPLEX；后者包括HDS（日立存储系统）公司的USP V/VM、最新发布的VSP以及IBM Storwize V7000等。

而以上两种类型之间并没有明显的界限，比如IBM V7000使用的就是SVC存储虚拟化软件，在某种意义上可以看成是为SVC增加了本地存储。也就是说USP

V、VSP和Storwize V7000的虚拟化相当于存储系统提供的一个附加功能，USP VM就是把这部分功能独立出来，有点类似于SVC了。

我们曾经在“用户眼中的SVC：盛大在线CTO朱敬谈存储虚拟化”这篇采访中讨论过存储虚拟化为用户带来的价值，以及上海盛大在线选择IBM SVC的原因。总的来说，存储虚拟化设备是介于存储网络中间的一层，将后端连接的存储系统虚拟化整合起来、集中管理，并可以在上面统一执行自动精简配置、快照/复制/镜像保护，还有分层存储等功能。

部署存储虚拟化会涉及到对原有存储网络的改变，比如光纤通道交换机的端口分配和连接，如果规划不合理有可能会在ISL（交换机间互连）等处形成新的瓶颈。当然，这些也属于本文下一个部分的话题了。

IBM的SVC市场经理Chris Saul建议用户在部署SVC前首先进行系统规划练习。因为IBM已经遇到过一些系统拥堵的情况，如果用户选择在现有的FC SAN中直接加入SVC设备，但是又无法把那些造成系统拥堵的设备（如磁带机）从SVC系统中剥离出来的话，就会发生拥堵。一些情形下，SVC加入的是一个“核心→边缘”设计理念的架构，这时会对内部的交换机链路（ISL）增加极大的系统压力，从而可能会如Saul所说：“增加了ISL链路拥堵的风险。”

由存储虚拟化带来的工作量和人员时间投入也是不少的。比如：盛大在线从去年4月采购IBM SVC之后，近期还是更多的用在日志系统，或者是一些非核心的数据库。“现在我们还没有把核心数据库的存储挂在SVC上面，这部分还需要一定时间才能够确保我们已经非常熟悉SVC的使用。” 盛大在线首席技术官朱敬如是说。

存储虚拟化设备通常还能提供容灾方面的功能，盛大在线首批采购了4个节点的IBM SVC，在2个数据中心之间互相备份，这些就是我们接下来要谈的部分。

快照、复制和镜像

如今，快照、复制和镜像这些基本的数据保护功能几乎已经成了高、中、低端企业级存储系统的标配——譬如IBM去年发布的入门级SAN阵列System

Storage DS3500。

快照的概念想必大家都不陌生了，这里我们再简单介绍一下。它就相当于对某一时刻存储设备上的数据生成一个“卷影副本”，并不是立即占用相同容量的存储空间，而是将之后写入的数据重新定位以保持“快照”内的数据不被覆盖。

快照是一种简单的本地数据保护方式，主要用来应对一段时间（比如几分钟～一个月）之内的逻辑错误。它不等同于备份，因为被保护的数据内容仍然在这台存储设备上面，在需要的时候我们可以切回到某一时间的快照点，或者删除不再需要的快照来释放磁盘空间。

由阵列提供的快照功能与飞康等公司的CDP（持续数据保护）软件不同点在于：CDP软件的工作原理是先对文件系统中的改变进行跟踪，不过“快照”之后目的是将变化的内容（数据块）复制到本地备份存储或者远程容灾站点。有些厂商的存储系统，比如Compellent也能提供基于阵列的CDP功能。可以说，CDP是传统备份软件的一种改良方式，这个话题似乎又涉及到下面我们要谈的第三部分了。

快照还可以作为磁盘阵列之间的复制的基础，比如像IBM存储系统可选的FlashCopy（闪速拷贝），就可将FlashCopy快照与Tivoli Storage Manager备份软件的功能结合使用。另外，戴尔EqualLogic iSCSI阵列的快照也可以配合CommVault公司功能强大的Simpana数据管理软件。这种软硬件密切协作的工作模式，建立在“硬件提供的快照功能其实也是运行在控制器上的软件”的基础上，比如EqualLogic的快照很可能就是CommVault提供的代码支持。

IBM DS3500低端存储系统就已经具备了三种远程镜像的模式

所谓同步镜像，就是2台存储上保存的内容完全一致。如果说本地镜像的目的是进一步避免单点故障（尽管存储系统的控制器、驱动器和电源等组件已经带有冗余了），那么远程镜像就是为了容灾，或者是像EMC VPLEX和IBM SVC那样的长距离VMware服务器虚拟机实时迁移。

镜像功能对存储网络的带宽和延迟的要求很高，如果达不到就会严重拖慢被保护系统的读写性能。因此镜像通常都需要使用FC（光纤通道）连接，现在的主流是4Gb/s和8Gb/s，最长连接距离一般是100～300公里。当需要经过IP网络时，我们可以使用Cisco MDS 9513多层导向器这样的设备将FC转换为FCIP隧道通信协议来传输。如果2个数据中心之间的距离更远，由于电子速度（光速）产生的延迟增加已经无法再做到同步镜像，于是EMC进一步提出了VPLEX Geo和VPLEX Global两种异步传输的工作模式。这些建立在分布式缓存一致性技术的基础上。

在可用网络带宽有限的情况下，我们还可以通过异步复制来保护数据。比如惠普StorageWorks P2000有一款带有2个8Gb/s光纤通道和2个iSCSI接口（每

控制器）的型号，就支持这种功能。iSCSI用于复制还有一个好处就是它将数据封装在TCP/IP协议中，因此可以方便的路由到广域网进行传输。

二、存储网络相关的管理：主要是FC交换机及其连接，有时也会涉及到以太网交换机，特别是支持FCoE的10GbE融合网络交换机。这部分还应包括大型机（Main Frame）环境中的存储网络，但不是本文的重点。

光纤通道SAN

光纤通道交换机是用于FC SAN存储网络中的互连设备。博科（Brocade）在这个市场中占据了大约60%的市场份额，当然也包括OEM贴牌给其他厂商的产品，另外思科和QLogic（少量）也分别在相对高端和低端的市场上拥有一定的用户群。

在大型的光纤通道SAN部署中，除了最基本的架顶式（或称为边缘）交换机之外，还会有导向器甚至核心交换机。有些情况下专用的存储网络也会相当复杂，这时我们需要对它进行分区（Zone），适当的在物理或者逻辑上隔离以保证安全性和性能。于是对设计、重新规划和管理提出了更高的要求。

Storwize V7000的控制器上，分别连接了光纤、以太网线缆的FC和iSCSI SAN主机接口

iSCSI（IP SAN）

谈到以太网交换机，人们通常会认为这部分应该是网络管理员/工程师来负责。不过随着NAS和iSCSI应用的发展，运行在以太网上的存储协议流量也在不断增加。为了保证iSCSI存储系统的连接性能，我们最好应该使用针对iSCSI进行优化的企业级千兆或者万兆以太网交换机。将传统网卡发送/接收的IP数据流量与iSCSI流量尽量隔离开，比如在一台交换机上划分VLAN或者用单独的交换机来承载存储通信。

当单个以太网端口的性能达不到要求（主要是1GbE）的时候，我们可以使用多个连接聚合（如MPIO）的方式来增加带宽或者IOPS吞吐能力，无论是iSCSI还是（集群）NAS，这时都需要占用交换机上更多的端口并对它们的线速性能提出一定的挑战。为了实现冗余容错的网络连接，我们也需要增加交换机和连接线缆的数量。无论网络还是存储管理员在遇到这方面的工作时，不可避免的要投入一些时间来学习研究。

光纤通道存储网络中也会遇到许多需要多路径或者故障切换的部署，每一家中高端存储厂商几乎都提供了自己的SAN路径管理软件，比如EMC的PowerPath或者IBM的Subsystem Device Driver（SDD）。因此我们要在使用相关产品时对它们有所了解。

FCoE（以太网光纤通道）

近年来，建立在10Gb以太网基础上的融合网络，以及运行在上面的FCoE（以太网光纤通道）存储协议成为了人们关注的热点。FCoE涉及到将传统SAN和LAN网络的流量聚合到一起，减少线缆的数量并提高数据中心的通信效率。FCoE的发展是一个渐进的过程，8Gb/s FC和它的下一代16Gb/s FC还会在存储网络市场中存在相当长的时间，读者可以参考“解读FCoE应用曲线”、“FCoE：虚而不实 任重道远”2篇文章。

FCoE应用曲线

由FCoE带来的工作量不仅仅是除了FC HBA我们还要了解CNA（融合网络适配器）那么简单。第一代的FC交换机，比如Brocade 8000和Cisco Nexus 5000系列中的部分型号还带有传统光纤通道的下行端口，用来连接现有的FC SAN存储并通过FCoE上行连接到服务器，可以说是一种过渡形式的产品。近期发布的HDS VSP、NetApp FAS 6200/3200系列、EMC VNX等中高端磁盘阵列都已经加入了标配或者可选的FCoE主机接口，而戴尔EqualLogic仍坚持在iSCSI阵营，当然他们也在推荐CEE/DCB标准的万兆以太网。

去年IBM收购了BLADE Network，后者的主打产品——用于刀片式服务器的交换机也提供对iSCSI和FCoE的支持，在刀片环境中减少线缆连接数量的意义更加明显，因为密度更高空间更加有限。我们有理由相信，IBM、惠普等公司推出带有FCoE端口的存储产品只是时间早晚的问题。

在传统数据中心环境中，通常是存储小组负责维护FC SAN，网络小组负责维护以太网LAN，这两个组是彼此独立的，引入FCoE后可能会给IT运营分工带来一些变化。

数据中心的文化、政治、组织结构和现有配置都可能会给推行FCoE带来阻力，有时必须引入新的业务流程和程序，确保适当的控制机制，才能保证FCoE的成功部署和运营，采购模式也可能发生变化，传统以太网网络的可靠性也需要增强。

随着FC和以太网网络的融合，传统上相互独立的两个网络运维小组也需要融合，但实施FCoE并不需要特殊的IT培训，运维人员可以充分利用已掌握的技能，存储小组继续负责维护SAN，网络小组继续负责数据网络的运维。