【存储入门必读】存储基础知识

第1章 网络存储主要技术

NAS简介

在20世纪80年代初，英国纽卡斯尔大学布赖恩.兰德尔教授 ( BRIAN RANDELL)和同事通过“纽卡斯尔连接”成功示范和开发了在整套UNIX机器上的远程文件访问。继“纽卡斯尔连接”之后， 1984 年SUN公司发布了NFS协议，允许网络服务器与网络客户分享他们的存储空间。90年代初AUSPEX工程师创建了集成的NETAPP文件管理器，它支持WINDOWS CIFS和UNIX NFS协议，并有卓越的可扩展性和易于部署，从此市场有了专用NAS设备。在短短几年中，NAS凭借简便高效应用的中心思想，逐渐成为网络数据存储方案的主打设备之一。目前EMC公司 CELERRA产品拥有优异的性能及多功能性，在全球NAS市场处于领导地位。

NAS概念

NAS（NETWORK-ATTACHED STORAGE，网络附加存储）是指连接到计算机网络的文件级别计算机数据存储，可以为不同客户端提供数据存取。

NAS被定义为一种特殊的专用数据存储服务器，包括存储器件（一个或多个硬盘驱动器的网络设备，这些硬盘驱动器通常安排为逻辑的、冗余的存储容器或者RAID阵列）和内嵌系统软件，可提供跨平台文件共享功能。NAS通常在一个LAN上占有自己的节点，无需应用服务器的干预，允许用户在网络上存取数据，在这种配置中，NAS集中管理和处理网络上的所有数据，将负载从应用或企业服务器上卸载下来，有效降低总拥有成本，保护用户投资。

NAS本身能够支持多种协议（如NFS、CIFS、FTP、HTTP等），而且能够支持各种操作系统。NAS是真正即插即用的产品，并且物理位置灵活，可放置在工作组内，也可放在混合环境中，如混合了UNIX/WINDOWS局域网的环境中，而无需对网络环境进行任何的修改。NAS产品直接通过网络接口连接到网络上，只需简单地配置一下IP地址，就可以被网络上的用户所共享。

NAS特点

与采用存储区域网络(SAN-STORAGE AREA NETWORK)的方案比较，采用网络附加存储(NAS-NETWORK-ATTACHED STORAGE)结构的方案具有以下特点:

1. 以网络为中心，开放的标准协议支持

区别于存储区域网络(SAN)的设计方案，网络接入存储(NAS)的模式以网络为中心。该方案利用现有的以太网网络资源来接入专用的网络存储设备，而不是另外再部署昂贵的光纤交换机网络来连接传统的存储设备，这样保护了用户对以太网的投资。

近年来，千兆以太网的传输带宽(1000MBPS，为125MB/S)已经得到普及，并且有望朝万兆以太网发展。届时，以太网的传输带宽将会是10倍于SAN赖以生存的各种SCSI和 FIBER CHANNEL协议的传输带宽。EMC公司CELERRA产品支持目前最流行的TCP/IP网络协议，而使用的NFS和CIFS文件服务协议也是业界标准协议，充分做到设备的兼容性。

2. 独立的操作系统

CELERRA的DART操作系统具备自主知识产权，专注于文件系统的传输。该操作系统功能强大，性能优越，保证了文件系统高速可靠的传输。 CELERRA后端通过SAN网络连接后端存储设备，拥有多条链路冗余，避免单点故障，保障了数据安全性。用户的数据只要保存一个拷贝，即可被前端的各种类型的主机所使用，因此，具备主机无关性。CELERRA的DART操作系统对于不同操作系统UNIX和WINDOWS同样保证了数据共享，并且各自的访问权限亦可得到相应的保证。

3. 安装及管理简便

NAS无需服务器直接上网，而是采用面向用户设计的、专门用于数据存储的简化操作系统，内置了与网络连接所需的协议，整个系统的管理和设置较为简单。CELERRA只要现有的网络具有空闲的网口，在无需关机的情况下，即可提供给前端不同类型主机进行访问，无需在主机上安装任何的软硬件。

4. NAS底层协议

NAS采用了NFS（SUN）沟通UNIX阵营和CIFS沟通NT阵营，这也反映了NAS是基于操作系统的“文件级”读写操作，访问请求是根据“文件句柄+偏移量”得出。

由于NAS以上诸多优点及良好的兼容性，笔者相信NAS未来将会得到更加广泛的应用。

SAN协议

SAN(STORAGE AREA NETWORK的简称)直译过来就是存储区域网络，它采用光纤通道(FIBRE CHANNEL)技术，通过光纤通道交换机连接存储阵列和服务器主机，建立专用于数据存储的区域网络。SAN网络存储是一种高速网络或子网络，SAN存储系统提供在计算机与存储系统之间的数据传输。一个SAN网络由负责网络连接的通信结构、负责组织连接的管理层、存储部件以及计算机系统构成，从而使SAN技术保证数据传输的安全性和力度。SAN具有以下几点优势：

的可扩展性意味着你有少数的磁盘不受连接到系统上的限制。SAN可以增长到数百个磁盘，但是普通物理服务器的极限只有十几个。

的性能不会受到以太网流量或本地磁盘访问量的制约。数据通过SAN从自己的私有网络传送，隔开用户流量、备份流量和其他SAN流量。

3.在正确的配置环境下，SAN数据被区域划分。用户保存数据的分区和其他人处在同样的区域隔离就如同将UNIX服务器和WINDOWS服务器连接到相同的SAN上，但这两种服务器上的数据访问是不同的，事实上，WINDOWS系统不能“看到”UNIX的数据，反之亦然。

系统不需要重新启动就能添加新的磁盘，更换磁盘或配置RAID组。数据流完全避开服务器系统，SAN同样增加了数据备份和恢复性能。

5.分区也可以在SAN上将你的工作负载分离。不仅是将你的数据分离保护，而且对那些影响应用程序性能的不相关的工作负载采取屏蔽。在适当的区域应用SAN共享从性能上讲不是问题。

有个无可比拟的优势，就是存储连接距离为10公里距离(约6英里)。不是说你一定会用到这个优势，但当你需要的时候，它就能显现出来。具有距离优势，可以将数据存储到一个独立的位置，从系统服务中脱离出来。

7.在如SAN这样的存储网络上的自动精简配置的空间利用效率，要比本地存储的来得高。当一个系统需要更多的存储资源时，SAN将动态分配资源。这意味着物理系统可以享受自动精简配置，就像虚拟化那样。

SCSI访问控制原理介绍

本文为大家介绍SCSI-2和SCSI-3访问控制原理。主要内容包括：SCSI-2

RESERVE/RELEASE/RESET和SCSI-3 PERSISTENT RESERVE IN/ PERSISTENT

RESERVE OUT/ PREEMPT以及SCSI访问控制常见场景。

SCSI-2 RESERVE(预留)/RELEASE(释放)/RESET（重置）

SCSI-2协议中客户端访问LUN过程如下：

1、客户端向LUN发起预留操作

2、预留操作成功后，客户端获得LUN操作权限；预留失败，提示预留冲突，会继续尝试，直到预留成功。

3、客户端操作完毕后，执行释放操作，其他客户端可以预留。

SCSI-2访问控制主要缺点有：

1、预留操作基于路径。预留和释放必须由相同的客户端完成，一台主机不能释放另外一台主机的预留，同一主机HBA卡不能取消相同主机另外一块HBA的预留。

2、预留无法长久保留。主机重启将会丢失预留信息。

3、如果LUN已经被预留，其他主机无法再预留。如果其他主机要想获得LUN操作权限，必须对LUN进行重置，重置操作可能会导致数据丢失。重置后释放掉LUN现有的预留，重置操作由LUN主动发起，原来预留主机并不知晓。

SCSI-3 PERSISTENT RESERVE (PR)/ PREEMPT（抢占）

SCSI-3协议引入PGR（PERSISTENT GROUP RESERVATION）功能。在访问LUN之前，客户端首先向LUN注册（REGISTRATION）一个预留密钥(RESERVATION KEY)，注册成功后客户端可以尝试进行永久预留（RESERVE），永久预留成功后就可以获得LUN操作权限。预留密钥是一串16进制的ASCII码，最长8个字节。永久预留一共6种类型，

由1、3、5、6、7、8数字表示。包括两种操作类型和三种客户类型，操作类型包括写排它和所有访问排他，客户类型包括所有客户端、已注册客户端和所属客户端。数字与永久预留类型对应关系如下：

1-> WRITE EXCLUSIVE

3-> EXCLUSIVE ACCESS

5-> WRITE EXCLUSIVE - REGISTRANTS ONLY

6-> EXCLUSIVE ACCESS - REGISTRANTS ONLY

7-> WRITE EXCLUSIVE - ALL REGISTRANTS

8-> EXCLUSIVE ACCESS - ALL REGISTRANTS.

不同注册类型对应不同访问权限。与SCSI-2不同，SCSI-3释放操作根据预留密钥。不同客户端可以使用相同密钥或是不同密钥进行预留，具体可以结合永久预留类型决定。客户端可以通过抢占来获取已被永久预留的LUN访问权限。SCSI-3抢占和SCSI-2重置不一样，抢占不会造成数据丢失。

SCSI-3关于PGR相关操作命令分为两大类：分别是PRIN和PROUT。PRIN主要用于查询，PROUT用于修改。SCSI命令执行过程中，需要明确该命令是哪种类型。

常见使用场景

1、 集群I/O FENCING

为了防止集群故障发生“脑裂”现象，2-节点集群可以通过SCSI-2 RESEVE/RELEASE触发I/O FENCING来保证整个集群正常运行，是SCSI-2不适用于多-节点集群，多-节点集群可以使用SCSI-3 PGR。主流厂商集群套件都已经支持SCSI-3 PGR，比如：VCS、HACAMP、RHCS等。

2、 集群文件系统

集群文件系统需要保证多节点同时访问存储时的数据一致性，SCSI-2/SCSI-3都可以满足，当一个节点尝试访问一个已经被预留的存储就会产生访问权限冲突。SCSI-3 PGR相比SCSI-2 RESERVE/RELEASE更能够减少访问权限冲突。

小结：

SCSI-2具体基本访问控制能力，但是无法满足ACTIVE/ACTIVE多路径环境和集群多节点访问存储的需求。SCSI-3通过引入客户端注册和操作权限分类概念，强化并行访问权限控制，弥补SCSI-2的不足。

NAS实现类型对比：统一式、网关式和横向扩展式（SCALE-OUT）

介绍

NAS主要有三种类型的实现：统一式、网关式和横向扩展式（SCALE-OUT）。统一NAS使用统一的存储平台将基于NAS和基于SAN的数据访问合并，提供了可以同时管理二种环境的统一管理界面。网关NAS使用外部存储来存取数据，网关NAS和存储的管理操作是分开的。横向扩展式（SCALE-OUT）NAS可组合多个节点，形成一个集群NAS系统。本文将对比三种不同NAS实现类型。

统一NAS

统一NAS提供文件服务，同时负责存储文件数据，并提供块数据访问。它支持用于文件访问的CIFS和NFS协议，以及用于块级访问的SCSI和FC协议。因为基于NAS和基

于SAN的访问合并到同一个存储平台，统一NAS降低了企业的基础设施成本和管理成本。

统一NAS的一个系统中包括了一个或多个NAS头及存储。NAS头与存储控制器连接，提供到存储的访问。存储控制器提供了与ISCSI和FC主机的连接。存储可使用不同的磁盘类型（例如SAS、ATA、FC和闪存盘），以满足不同的负载需求。下图显示的是一个统一NAS连接的例子。

网关式NAS

网关式NAS设备包含一个或多个NAS头，使用外部存储或者独立管理的存储。与统一NAS相似，存储是与其他使用块级I/O的应用共享的。这种解决方案的管理功能比统一存储复杂，因为NAS头和存储器的管理任务是分开的。网关式解决方案可以利用FC基础设施，例如：交换机等，访问SAN存储阵列或直连式存储阵列。

网关式NAS的扩展性比统一NAS好，因为NAS头和存储阵列可以独立地根据需求进行扩展升级。例如：可以通过增加NAS头的方式提升NAS设备的性能。当存储容量达到上限时，网关NAS设备可以独立于NAS头对SAN进行扩展，增加存储容量。网关式NAS通过在SAN环境中进行存储共享，提高了存储资源的利用率。下图显示的是一个网关式NAS连接的例子。

横向扩展式（SCALE-OUT）NAS

统一NAS和网关NAS实现都提供了一定的扩展性能，可以在数据增长和性能需求提高时对资源进行扩展。对NAS设备进行扩展主要涉及增加CPU、内存和存储容量。扩展性受制于NAS设备对后续增加NAS头和存储容量的支持能力。形成集群系统拥有更好的

总体性能和可用性。它还有易使用、成本低以及理论上可无限扩展的优势。

横向扩展式（SCALE-OUT）NAS在集群中的所有节点上创建了一个单一文件系统。节点的所有信息都可以彼此共享，因此连接到任何节点的客户端都可以访问整个文件系统。集群NAS将数据在所有节点间分条，同时使用镜像或效验方式进行数据保护。数据从客户端发送到集群时，数据被分割，并行分配给不同节点。当客户端发送文件读取请求时，集群NAS从多个节点获取相应的块，将他们组合成文件，然后将文件发给客户端。随着节点的增加，文件系统实现动态扩展，数据在节点之间均衡分布。每个增加的节点都增加了整个集群的存储、内存、CPU和网络能力。因此，整个集群的性能都得到提升。

横向扩展式（SCALE-OUT）NAS适合解决企业和客户当前面临的大数据问题。它统一管理和存储高速增长的数据，同时又十分灵活，能满足各种性能需求。下图显示的是一个横向扩展式（SCALE-OUT）NAS连接的例子。

SAN网络性能问题排错指南

介绍

主机和FC阵列间出现了性能问题，应该如何排错？快来看看下面的建议，也许可以让你少走不少弯路。

更多信息

1. 由于性能问题通常难以定位（特别当工程师在以远程的方式提供服务），事先收集足够详细和明确的信息可以节省后续大量的时间和精力

O 问题的详细描述

O 问题第一次出现是什么时候？是怎么发现的？

O 问题再次出现是什么时候？

O 问题最严重的时刻是何时？

O 出现了哪些症状？

O 主机上出现了哪些错误？

O 哪些设备（主机的LUN，大型机的UCB）受到影响？

2. 你是如何测量性能问题的？

O 曲线图

O 图表

O 使用的工具和监控协议（如SNMP）采样时间间隔

3. 最近针对SAN网络有什么变动？提供这些变动的细节

O SAN网络中增加或移除的设备，包括主机、存储阵列、远程复制设备和交换机

O 存放或备份的数据量的变化

O 整个网络带宽（SAN、LAN或WAN）的变化

O 任何其他会影响到性能的变化

4. 物理层是否已经都检查过了？

O 参考以下步骤排错光纤交换机端口通讯问题

I. 确认涉及通讯故障的节点和交换机端口

II. 确认交换机端口状态是” ADMINISTRATIVELY UP”

III. 将SFP模块连同光纤线缆换到同一台交换机的其它插槽

IV. 如果问题依旧，则交换机有问题。如果问题解决了，则可能是SFP模块、光纤线或节点HBA有问题

V. 如果SFP模块、光纤线的问题都排除了，则继续检查主机端的HBA

O 如果需要，EMC工程师会帮忙开单并派遣现场工程师上门检查物理层设备

O 确认所有链路连通性节点（主机到交换机、远端阵列到交换机、光纤跳线板等）已尝试过物理复位（重插拔）

5. 提供出现性能问题的数据路径上端到端的设备信息

O 是否有同一数据链路上的其他设备也遇到了性能问题？

O 后端设备的型号是？

O 主机类型和版本是？

O HBA类型和版本是？

O 主机上安装的EMC软件和版本（比如POWERPATH）

O 哪些应用受影响？

O 提供HBA的PWWN和目标阵列（FA/SP等）的PWWN

O 提供交换机物理接口信息

O 提供主机INITIATOR连入的交换机日志

O 提供目标阵列连入的交换机日志

O 提供光纤网络逻辑图（VISIO、网络管理软件、网络快照等）

EMC CONNECTIVITY售后团队会尽最大努力帮助客户分析并纠正性能问题。但售后团队主要的工作内容是故障修复（BREAK/FIX），如果这一问题最终被确认为不是因为故障而引起的性能问题，那我们会将问题移交给EMC PROFESSIONAL SERVICE部门的性能分析团队来处理。如果您确实需要这一服务的话，EMC售后团队会帮您联络必要的资源。

存储性能瓶颈的成因、定位与排查

介绍

企业数据存储性能瓶颈常常会发生在端口，控制器和磁盘，难点在于找出引起拥塞的单元，往往需要应用多重工具以及丰富的经验来查找并解决。

本文详细阐述存储瓶颈发生最常见的四种情况，可能发生的拥塞点，需要监控的参数指标，以及部署存储系统的最佳实践。

数据存储瓶颈的四个常见场景：

以下是储瓶颈发生最常见的四种典型情况：

1.当多个用户同时访问某一业务应用，无论是邮件服务器，企业资源规划（ERP）系统或数据库，数据请求会累积在队列中。单个I/O的响应时间开始增长，短暂延时开始转变成为漫长的等待。

这类响应时间敏感型应用的特征是，很多随机请求，读取比写入更多，I/O较小。最好的方法是：将负载分布在多块磁盘上，否则可能造成性能瓶颈。

如果应用增加了更多用户，或应用IOPS请求增加，则可能需要在RAID组中添加更多磁盘，或数据可能需要跨越更多磁盘，在更多层级做条带化。

存储在这样的情况下往往首先被怀疑，但大多数情况下并非存储引发，原因可能在于网络、应用或服务器。

2.带宽敏感型应用——如数据备份，视频流或安全登录，这类应用当多个用户同时访问大型文件或数据流时可能造成瓶颈。

定位这一问题存储管理员应当从备份服务器开始一路向下检查至磁盘，原因可能存在于这一通路的任何地方。

问题不一定发生在存储，可能是由于备份应用创建的方式或是磁带系统的工作方式引

起的。如果瓶颈定位于存储，那么可能是由于服务I/O的磁盘数量不足，在控制器造成争用，或是阵列前端口带宽不足。

性能调优需要针对不同应用程序负载来完成。针对大型文件和流数据的调优并不适合于小型文件，反之亦然。这也就是为什么在大多数存储系统中往往做一个平衡，需要用户尝试并找出系统的折中。用户通常需要优化吞吐量或IOPS，但并不需要对两者同时优化。

组中的磁盘故障。特别是在RAID 5中会造成性能的下降，因为系统需要重建校验数据。相比数据读写操作，重建会对性能造成更大影响。

即便坏盘是造成故障的根源，但控制器还是可能成为瓶颈，因为在重建过程中它需要不停地服务数据。当重建完成时，性能才会恢复正常。

4.部署了一种新的应用，而卷存在于处理繁忙邮件系统的同一磁盘。如果新的应用变得繁忙，邮件系统性能将会遭受影响。额外的流量最终会将磁盘完全覆盖。

存储瓶颈常发区域:

存储区域网络（STORAGE-AREA NETWORK, SAN）/阵列前端口

存储部署于集中化SAN环境时，需考虑服务器和SAN之间的潜在网络瓶颈。例如，运行多部虚拟机的整合服务器可能不具备支持工作负载要求的足够网络端口。添加网络端口或转移网络密集型工作负载至其他服务器可解决这一问题。如前所述，对于带宽集中型应用，需考虑NFS有多少FIBER CHANNEL 端口, OR ISCSI 端口 OR ETHERNET 端口，需要用户站在带宽的角度来考量整个架构。

可能发生的问题包括：











如果阵列中端口数量不够，就会发生过饱和/过度使用。

虚拟服务器环境下的过量预定

端口间负载不均衡

交换机间链路争用/流量负荷过重

如某一HBA端口负载过重将导致HBA拥塞。使用虚拟机会导致问题更加严重。

存储控制器

一个标准的主动——被动或主动——主动控制器都有一个性能极限。接近这条上限取决于用户有多少块磁盘，因为每块磁盘的IOPS和吞吐量是固定的。

可能出现的问题包括：









控制器I/O过饱和，使得从缓存到阵列能够处理的IOPS受到限制

吞吐量“淹没“处理器

CPU过载/处理器功率不足

性能无法跟上SSD

CACHE

由于服务器内存和CPU远比机械磁盘快得多，需为磁盘添加高速内存以缓存读写数据。例如，写入磁盘的数据存储在缓存中直到磁盘能够跟上，同时磁盘中的读数据放入缓存中直到能被主机读取。CACHE比磁盘快1000倍，因此将数据写入和读出CACHE对性能影

响巨大。智能缓存算法能够预测你需要查找的数据，你是否会对此数据频繁访问，甚至是将访问频繁的随机数据放在缓存中。

可能发生的问题包括：









CACHE MEMORY不足

CACHE写入过载，引起性能降低

频繁访问顺序性数据引起CACHE超负荷

CACHE中需要持续不断地写入新数据，因此如果CACHE总是在REFILL，将无法从CACHE获益。

磁盘

磁盘瓶颈与磁盘转速有关, 慢速磁盘会引入较多延时。存储性能问题的排查首先考虑的因素就是磁盘速度，同时有多少块磁盘可进行并发读写。而另一因素是磁盘接口。采用更快的接口能够缓解磁盘瓶颈，但更重要的是在快速接口与相应更大的缓存大小以及转速之间取得平衡。同样，应避免将快速和慢速磁盘混入同一接口，因为慢速磁盘将会造成快速接口与快速磁盘的性能浪费。

可能引发的问题包括：









过多应用命中磁盘

磁盘数量不足以满足应用所需的IOPS或吞吐量

磁盘速度过慢无法满足性能需求及支持繁重工作负荷

DISK GROUP往往是CLASSIC存储架构的潜在性能瓶颈，这种结构下RAID最多配置在16块磁盘。THIN结构通常每个LUN拥有更多磁盘，从而数据分布于更多SPINDLE，因增加的并发性而减少了成为瓶颈的可能。

需要监控的指标：

曾经一度存储厂商们强调的是IOPS和吞吐量，但现在重点逐渐转变成为响应时间。也就是说，不是数据移动的速度有多快，而在于对请求的响应速度有多快。

正常情况下，15,000 RPM FIBRE CHANNEL磁盘响应时间为4MS，SAS磁盘响应时间约为5MS至6MS，SATA为10MS，而SSD少于1MS。如果发现FIBRE CHANNEL磁盘响应时间为12MS，或SSD响应时间变成5MS，那么就说明可能产生了争用，可能芯片发生了故障。

除了响应时间，其他需要监控的指标包括：













队列长度，队列中一次积累的请求数量，平均磁盘队列长度；

平均I/O大小千字节数；

IOPS （读和写，随机和顺序，整体平均IOPS）；

每秒百万字节吞吐量；

读写所占比例；

容量（空闲，使用和保留）。

数据存储性能最佳实践：

性能调优和改进的方式有很多种，用户当然可以通过添加磁盘，端口，多核处理器，内存来改善，但问题是：性价比，以及对业务是否实用。本文建议的方式是在预算范围内

找寻性能最大化的解决方案。另外一个需要考虑的方面是环境并非一尘不变，系统部署方案要能够适应环境的改变需求。

首先需要考虑刷数据的性能特征，需要了解IO工作情况是怎样的。是否是CACHE友好型？是否是CPU集中型？业务数据很大数量很少，还是很小但数量很多？另外一方面就是构成存储环境的组件。包括应用，存储系统本身，网络。。。瓶颈可能在哪里，改善哪里最有效？

以下是一些常规建议：

1. 不要仅仅根据空闲空间来分配存储，而需要结合考虑性能需求，确保为吞吐量或IOPS分配足够多的磁盘。

2. 在磁盘间均衡分布应用负载，以减少热点地区的产生。

3. 理解应用负载类型，并针对负载选择匹配的RAID类型。例如，写密集型应用建议使用RAID 1而不是RAID 5。因为当写入RAID 5时，需要计算校验位，需耗费较多时间。而RAID 1，写入两块磁盘速度快得多，无需计算。

4. 磁盘类型（FIBRE CHANNEL, SAS, SATA）与期望性能相匹配。对于关键业务应用部署高性能磁盘，例如15,000 RPM FIBRE CHANNEL。

5. 对于I/O密集型应用考虑采用SSD，但并不适用于写性能重要型应用。只要没有达到控制器瓶颈，SSD对读性能提升显著，但对写性能提升并没有明显效果。

6. 采用端对端的监控工具，特别是虚拟服务器环境。虚拟端与物理端之间有一道防火墙，所以，需要穿透防火墙进行端到端的监控。

7. 有些性能分析工具涵盖从应用到磁盘，有些仅局限于存储系统本身。由于性能是一个连锁反应包含很多变量，所以需要全面地分析数据。

8. 以数据仅写入磁盘外部扇区的方式格式化磁盘。因减少数据定位时间而在高I/O环境下提升性能。负面作用是相当一部分磁盘容量未能得以使用。

什么是ZONE？如何做ZONE？如何做好ZONE？

一．什么是ZONE

ZONE是FC-SAN交换机上的一种独有的逻辑配置，通过配置特定的设备加入ZONE，从而允许设备之间互相通信。当交换机上配置了ZONE时，同在一个ZONE里的设备之间可以互相通信，没有加入任何ZONE的设备不能与其他设备通信。

早期交换机厂商根据ZONE的实现方式，把ZONE分为HARD ZONE和SOFT ZONE，区别在于前者通过硬件芯片来实现，后者通过软件来实现。后来大家把基于DOMAIN ID/端口号的ZONE叫做HARD ZONE，基于WWN的ZONE为SOFT ZONE。现在这两种类型的ZONE都是基于硬件芯片实现。

ZONE的类型：

1. 基于DOMAIN ID/端口号(D,P)的普通ZONE模式

这种ZONE允许接在某几个端口上的设备互相通信，即使端口上的设备改变也不会影响ZONE的使用，在更换主机HBA卡时不需要进行任何ZONE配置的更改。

2. 基于WWPN/WWNN的普通ZONE模式

这种ZONE允许拥有特定WWN的设备之间互相通信，不关心设备接在交换机的哪个口上。当某个设备从一个端口移到另一个端口时，不需要进行任何ZONE配置的更改。但更换主机HBA卡时，需要根据新HBA卡的WWN更改ZONE配置。注意如果交换机上接有NPIV模式的刀片交换机或主机集群时，必须使用基于WWN的ZONE。

3. 混合ZONE(SESSION BASED HARD ZONING)

当一台设备在两个或多个ZONE里分别使用D,P和WWN模式的ZONE，这台设备会进入混合ZONE模式。在混合ZONE模式里的设备在跟其他设备通信时需要通过交换机CPU进行软件验证。

4. LSAN ZONE

LSAN ZONE只有在启用了FCR时才会被应用到，它能允许在不同的FABRIC中的设备通过FC ROUTER进行通信。需要在交换机上安装INTEGRATED ROUTING LICENSE后才能打开FCR功能。

5. TI ZONE(TRAFFIC ISOLATION ZONE)

TI ZONE可以把一根或者多根ISL设置成某个ZONE的专用ISL，不需要LICENSE。

6. QOS ZONE

QOS ZONE在网络中出现拥堵时可以允许高QOS的ZONE成员优先通信，需要在交换机上安装ADAPTIVE NETWORKING LICENSE。

ZONESET是ZONE的集合。一台交换机同时只能启用一个ZONESET，同一个SAN网络中交换机的ACTIVE ZONESET必须保持一致，不然会造成网络分裂(FABRIC

SEGMENT)。

ALIAS，或叫做别名，是使配置ZONE更简便的一个功能。对于每台设备，可以预先设置好ALIAS，之后在配置ZONE时使用ALIAS来代替D,P或WWN。

DEFAULT ZONE：思科与博科交换机都有DEFAULT ZONE，它的功能是在没有任何ZONE配置时允许所有连接在交换机上的设备互相通信。

二．如何做ZONE

1. 1. 博科交换机CLI命令行：

首先对每个需要做ZONE的设备创建ALIAS，然后创建ZONE并把ALIAS加入，创建CFG(ZONESET)并把需要的ZONE加入，最后启用CFG。

帮助命令： ZONEHELP

显示现有配置：CFGSHOW

创建/增加成员/移除成员/删除ALIAS：

ALICREATE "ALINAME","MEMBER[; ]"

ALIADD "ALINAME","MEMBER[; ]"

ALIREMOVE "ALINAME","MEMBER[; ]"

ALIDELETE "ALINAME"

创建/增加成员/移除成员/删除ZONE:

ZONECREATE "ZONENAME", "MEMBER[;]"

ZONEADD "ZONENAME", "MEMBER[;]"

ZONEREMOVE "ZONENAME", "MEMBER[;]"

ZONEDELETE "ZONENAME"

注意：根据ZONE的最佳实践，EMC推荐每个ZONE里只放一个INITIATOR(主机，VPLEX的BE口等)。多个INITIATOR互相ZONE在一起会导致很多反常现象。

创建/增加成员/移除成员/删除CFG：

CFGCREATE "CFGNAME", "MEMBER[;]"

CFGADD "CFGNAME", "MEMBER[;]"

CFGREMOVE "CFGNAME", "MEMBER[;]"

CFGDELETE "CFGNAME", "MEMBER[;]"

保存/启用CFG：

CFGSAVE

CFGENABLE "CFGNAME"

注意：激活某个CFG会使其他正被使用CFG停止工作，一个FABRIC里同时只能有一个CFG处于工作状态。

更改DEFAULT ZONE配置：

DEFZONE [--NOACCESS | --ALLACCESS | --SHOW]

1. 2. 博科交换机GUI界面：

进入WEBTOOLS后点击ZONE ADMIN，进入ZONE配置界面。

V6.X.X界面：

V7.X.X界面：

进入ZONE ADMIN后V6.X.X与V7.X.X版本的界面基本一致。

创建ALIAS：

点击NEW键或右边的NEW ALIAS键，输入ALIAS名字，注意只能输入数字字母或下划线。

点击OK后注意 栏内已经显示刚才输入的ALIAS名字，然后从左边的列表里选中相应的WWN或交换机端口，点击ADD MEMBER键加入右边的ALIAS MEMBERS里。

创建ZONE并添加成员：

选中标签页中的ZONE标签，点击NEW按键，输入ZONE名字并点击OK。

然后从左边列表里选中相应的WWN，交换机端口或之前设置好的ALIAS，点击ADD

MEMBER键加入右边的ZONE MEMBERS里。

注意：根据ZONE的最佳实践，EMC推荐每个ZONE里只放一个INITIATOR(主机，VPLEX的BE口等)。多个INITIATOR互相ZONE在一起会导致很多反常现象。

创建CFG并添加成员：

选中标签页中的ZONE CONFIG标签，点击NEW键，输入CFG的名字并点击OK。

然后从左边列表里选中相应的ZONE，点击ADD MEMBER键加入到右边的ZONE

CONFIG MEMBERS里。

保存并激活CFG：

选中标签页中的ZONE CONFIG标签，查看NAME右边下拉菜单，确认当前的CFG是需要激活的CFG。

点击SAVE CONFIG按钮，保存之前更改好的CFG。

点击ENABLE CONFIG按钮，激活当前选中的CFG。

注意：激活某个CFG会使其他正被使用CFG停止工作，一个FABRIC里同时只能有一个CFG处于工作状态。

更改DEFAULT ZONE配置：

点选ZONING ACTIONS菜单，选中SET DEFAULT MODE里的NO ACCESS或ALL

ACCESS。

3. 思科交换机CLI命令行：

思科交换机与博科交换机最大的不同就是VSAN，每个VSAN都拥有自己独立的ZONE和ZONESET。

其次还有ENHANCED ZONING与BASIC ZONING的区别。

ENHANCED ZONING会在用户试图更改ZONE配置时创建一个SESSION，防止其他用户同时更改配置造成配置丢失。开启了ENHANCED ZONING功能的交换机在做完ZONE配置更改之后需要COMMIT以使配置生效并关闭SESSION。

另外需要注意的是ENHANCED ZONING会自动开启广播ZONE，而MDS9500系列在升级到第四代端口板的时候需要禁用广播ZONE才能是第四代端口板生效。

显示命令：

# SHOW FCALIAS VSAN X

# SHOW ZONESET VSAN X

# SHOW ACTIVE ZONESET VSAN X

# SHOW ZONE STATUS VSAN X

启用ENHANCED ZONING：

# CONFIGURE TERMINAL

(CONFIG)# ZONE MODE ENHANCED VSAN X

更改ALIAS：

(CONFIG)# FCALIAS NAME A123 VSAN X

(CONFIG-FCALIAS)# MEMBER PWWN 10:00:00:00:00:00:00:00

(CONFIG-FCALIAS)# EXIT

(CONFIG)# ZONE COMMIT VSAN X

更改ZONE：

(CONFIG)# ZONE NAME ZONE123 VSAN X

(CONFIG-ZONE)# MEMBER INTERFACE FC1/1

(CONFIG-ZONE)# MEMBER PWWN 20:00:00:00:00:00:00:00

(CONFIG-ZONE)# MEMBER FCALIAS A123

(CONFIG-ZONE)# EXIT

(CONFIG)# ZONE COMMIT VSAN X

更改ZONESET：

(CONFIG)# ZONESET NAME ZONESET123 VSAN X

(CONFIG-ZONESET)# MEMBER ZONE123

(CONFIG-ZONESET)# EXIT

(CONFIG)# ZONE COMMIT VSAN X

激活ZONESET(只在BASIC ZONE模式下有效)：

(CONFIG)# ZONESET ACTIVATE NAME ZONESET123 VSAN 1

禁用广播ZONE：

(CONFIG)# NO ZONE BROADCAST ENABLE VSAN X

4. 思科交换机GUI界面(DCNM与DCFM基本一致)：

点击DCNM界面ZONE菜单中的EDIT LOCAL FULL ZONE DATABASE…

编辑ZONE的界面如下：

编辑FCALIAS：

首先在左下角找到FC-ALIAS，右键点击INSERT并输入ALIAS名和WWN：

点击OK后创建ALIAS的窗口并不会立刻关闭，可以更改ALIAS名和WWN，再点击OK来连续创建其他ALIAS。

编辑ZONE：

点击左下角的ZONES，右击并选中INSERT，可以创建ZONE。

点击OK后会看到新创的ZONE显示在列表里，在左下角点开ZONES前的加号，选中新增的ZONE来编辑其成员。

在右下角的列表里找到相应的WWN或DEVICE ALIAS，点击ADD TO ZONE加入到ZONE里，或在左下角把FCALIAS拖进相应的ZONE里。

编辑ZONESET：

把之前编辑好的ZONE从左下角拖进左上角的ZONESET即可。

确认编辑/激活ZONESET：

点击右下角的COMMIT CHANGES按钮，会把对该VSAN做的更改发布到整个SAN网络里。

选中某个ZONESET，点击右下角的ACTIVATE按钮，会显示之前对这个ZONESET做过的更改。

点击CLOSE之后显示保存RUNNING-CONFIG到STARTUP-CONFIG的对话框，如果确实要执行该操作，打上选项前的勾并点击CONTINUE ACTIVATION。

显示SUCCESS了就说明激活ZONESET并保存配置成功了。

三．如何做好ZONE

做一个ZONE很简单，但是如何做好ZONE，却要考虑到方方面面的问题。

1. 推荐使用WWN ZONE(客户有特殊要求或FICON环境除外)，原因如下：

1) PORT ZONE只能通过物理隔离来保证ZONE安全，而WWN ZONE能限制只有指定设备才能访问ZONE。

2) NPIV和AG环境中，只能使用WWN ZONE来划分ZONE给CLUSTER上的主机或虚机。

3) IVR/FCR和磁带加速技术只能使用WWN ZONE。

2. LUN MASKING和ZONE同时使用

ZONE和LUN MASKING都可以隔离主机和存储之间的通信，但是这两者作用在不同的层面。ZONE在交换机上面生效，LUN MASKING在存储端口生效，两者无法做相互取代。

3. ALIAS命名应该清晰易懂，确保不会混淆。

4. 博科交换机尽量避免使用混合ZONE模式。博科交换机在6.4.3之前有一个BUG，会导致在混合ZONE里的主机自动登出存储。

5. 思科交换机使用ENHANCED ZONING，防止多个用户同时更改ZONE配置导致配置丢失。

6. 关闭DEFAULT ZONE，避免未经验证的设备登入网

CIFS安全协议之KERBEROS

大家都知道对于NAS的CIFS 来说，NTLM和KERBEROS是两个比较重要的验证方式。今天我们来讨论一下作为CIFS安全认证之一的KERBEROS协议。

KERBEROS 是一种依赖于验证技术共享密钥的协议，其基本概念很简单，如果一个秘密只有两个人知道，任何一个人都可以通过他们之间共享的秘密来确定对方的身份。用技术的语言来讲，就是对称加密，互相确认。

说到这里，可能有人会问，NTLM也是CIFS的安全认证啊，为什么KERBEROS会用的更广泛呢？他的优点又在哪呢？相信大家了解了KERBEROS的工作原理之后就会清楚了。

KERBEROS认证和我们看电影的过程差不多，主要分三个步骤：

第一步咨询：用户登陆DOMAIN

第二步买票：用户获得SERVICE票据

第三步来访：使用服务票据访问某服务



用户登陆DOMAIN (LOGGING INTO THE DOMAIN)

1. AUTHENTICATION SERVER REQUEST

AS_REQ，即上图步骤(1)

一个用户在一台CLIENT机上第一次登陆时，会有弾框提示输入用户名和密码。这时用户密码信息会通过HASH算法产生一个用户的LONG TERM KEY(LTK)，再和用户登陆CLIENT端时的时间戳一起进行加密，然后这个用户验证请求被发送给KERBEROS

DATA CENTER(KDC)，并要求KDC返回一个相应的TICKET GRANTING

TICKET(TGT)。

2. AUTHENTICATION SERVER RESPONSE

AS_REP，即上图步骤(2)

KDC在数据库中先找到该用户的密码，并用同样的HASH算法生成一个LTK。 然后KDC通过LTK从预认证信息PREAUTH包KRB_AR_REQ中解密出用户信息和时间戳， 如果用户信息无误，并且时间戳和目前信息相差在5分钟之内，KDC会认为该用户验证通过。KDC将生成一个TGT，并准备把TGT返回给CLIENT。

在生成TGT的同时，KDC生成一组随机数作为LOGON SESSION KEY，并让他和客户端传来的LTK再次进行加密，产生一个名叫ENC-PART的信息放在该KRB_AS_REP包中，KDC还会用生成的TGT与能被所有KDC识别的LTK进行加密，再次产生一个ENC-PART放在TGT的头中，这样就得到了一个只有KDC能解开的TGT，最后把这个TGT加入KRB_AS_REP包中并发送至CLIENT端。

3. TICKET CACHE

CLIENT端收到KRB_AS_REP后会用自己的LTK来解密KRB_AS_REP中的ENC-PART，这里我们默认会得到KDC选用的随机数LOGON SESSION KEY。这时候CLIENT端将会把得到的LOGON SESSION KEY和KRB_AS_REP中带有原始时间戳的TGT一起存入票据内存中准备给下面过程使用。

PS：这时候KDC为了减少自身负担，并没有吧LOGON SESSION KEY保存在自己这边，所有只有这个用户在CLIENT端的票据内存里面才有该记录了。



用户获得SERVICE票据(GETTING A SERVICE TICKET)

1. TICKET GRANTING SERVER REQUEST

TGS_REQ，即上图步骤(3)

CLIENT端接下来会拿着TGT去告诉KDC我要访问某服务，并让KDC给他访问该服务的票据(SERVICE TICKET)，以后他就可以拿着这张票据直接访问该服务了. CLIENT端用现在的时间戳和之前存在票据内存中的LOGON SESSION KEY进行加密生成AUTHENTICATOR，然后再把带有原始时间戳的TGT一起打包发送给KDC等待验证。

2. TICKET GRANTING SERVER RESPONSE

TGS_REP，即上图步骤(4)

KDC收到KRB_TGS_REQ后会用自己的LTK解密出TGT，然后看看TGT中的原始时间戳，如果来确定TGT现在还是处于有效的状态，KDC就会从TGT中读取LOGON

SESSION KEY，并用这个LOGON SESSION KEY解密AUTHENTICATOR来获得第二次记录的时间戳，如果该时间差在5分钟之内，KDC认为验证成功，并将生成一个SERVICE

TICKET。

PS：KERBEROS为了防止重演攻击，特别加入了对时间戳的验证。

接下来KDC又会生成一组叫做SERVICE SESSION KEY的随机数，并把这组随机数和SERVICE TICKET中记录的LOGON SESSION KEY进行加密，产生一个名叫ENC-PART的信息放在该KRB_TGS_REP包中，KDC还会用生成的SERVICE TICKET与能被所有KDC识别的LTK进行加密，再次产生一个ENC-PART放在TGS的头中，这样就得到了一个只有KDC能解开的SERVICE TICKET，最后把这个SERVICE TICKET加入KRB_AS_REP包中并发送至CLIENT端。

3. TICKET CACHE

CLIENT收到KRB_TGS_REP后，通过票据内存中的LOGON SESSION KEY解密ENC-PART，然后得到KDC生成的SERVICE SESSION KEY。最后把SERVICE SESSION

KEY和SERVICE TICKET一起作为访问目标服务器的CREDENTIAL存入票据内存中。



使用服务票据访问某服务(USING THE SERVICE TICKET)

1. APPLICATION SERVER REQUEST

AP_REQ，即上图步骤(5)

经过上面的两次验证，CLIENT现在就能拿着服务票据去访问该服务了。CLIENT记录下时间戳，并读取内存中的SERVICE SESSION KEY与他进行加密生成新的AUTHENTICATOR，同时用户还要标记好自己是否需要双向认证 (MUTUAL

AUTHENTICATION)，最后再加上之前的服务票据一起发送给该服务的SERVER(在NAS系统中相对应的服务就是CIFS，SERVER就是我们加入DOMAIN的CIFS SERVER)。

2. APPLICATION SERVER RESPONSE

AP_REP，即上图步骤(6)

NAS收到这个加密的KBR_AP_REQ之后，用自己的LTK进行解密。接着SERVER从SERVICE TICKET里面读出SERVICE SESSION KEY来解密AUTHENTICATOR中的时间戳。如果时间差小于5分钟，NAS就允许该用户对他进行访问了，并且为这个CLIENT上的这个用户创建一个SECURITY TOKEN。

KERBEROS优点：

虽然上面KERBEROS的工作原理稍微有点复杂，不过我们还是能从中看出KERBEROS的高效性，相互身份验证以及互操作性的优点。

I. 高效性：客户端不用每次访问NAS时都去DC验证，而通过查询CLIENT

CREDENTIALS就可以验证了。

II. 相互身份验证：CLIENT和SERVER可以互相验证。

互操作性：微软的KERBEROS V5实现是基于IETF的推荐标准规范。这样，WINDOWS

SERVER 2003的KERBEROS V5实现就为其他使用KERBEROS V5协议的网络的互操作打下了基。

第2章 主要协议和相关技术

FCIP基本概念

介绍

什么是FCIP？

FIBRE CHANNEL OVER IP PROTOCOL（FCIP）是一种隧道协议。将多个物理独立分步的光纤SAN环境，通过IP LAN/MAN/WAN连接起来。示意图如下：

FCIP使用IP层作为网络，TCP作为传输层，TCP头部的DF位设置为1.

备注：更多关于FCIP协议信息，请参考IETF标准关于IP存储章节HTTP://；或者参考光纤协议标准关于SWITCH BACKBONE

CONNECTION章节HTTP://（FC-BB-2）.

本系列一共5个章节： ：

CISCO MDS 9000系列FCIP配置文档 – FCIP基本概念

CISCO MDS 9000系列FCIP配置文档 – FCIP高可用方案

CISCO MDS 9000系列FCIP配置文档 – FCIP配置过程

CISCO MDS 9000系列FCIP配置文档-FCIP配置参数

CISCO MDS 9000系列配置文档-FCIP其他特性

本系列包含以下主要章节：

·CISCO MDS 9000系列FCIP配置文档 – FCIP基本概念

CISCO MDS 9000系列FCIP配置文档 – FCIP高可用方案

CISCO MDS 9000系列FCIP配置文档 – FCIP配置过程

CISCO MDS 9000系列FCIP配置文档-FCIP配置参数

CISCO MDS 9000系列配置文档-FCIP其他特性

FCIP基本概念：

FCIP功能支持可以通过CISCO IPS（IP STORAGE）模块或者MPS (MULTIPROTOCOL

SERVICE) 模块获得，FCIP基本概念如下。

· FCIP和VE_PORT

下图结合FIBRE CHANNEL ISL和CISCO EISL描述FCIP内部模型。

FCIP VIRTUAL E(VE) PORTS在逻辑上于标准FBIRE CHANNEL E PORTS一样，只是使用FCIP协议封装而不是FIBRE CHANNEL。FCIP协议要求链路两端都是VE PORTS。

虚拟ISL链路通过FCIP链路建立，并在之上传输FIBRE CHANNEL数据帧。虚拟ISL链路和FIBRE CHANNEL ISL一样，两端是E PORT或者TE PORT。

· FCIP链路

FCIP链路由两个FCIP终端之间的一个或者多个TCP连接组成。每个链路携带FCIP协议封装过的光纤帧。当FCIP链路启动，FCIP链路两端的VE端口会创建一个VIRTUAL

(E)ISL链路，并且初始化E端口协议拉起（E）ISL链路。

默认情况下，CISCO MDS 9000系列交换机会为每个FCIP链路创建两个TCP连接。

1. 一个连接用于数据帧传输

2. 另外一个连接用户FIBRE CHANNEL控制帧（所有F类型帧）。专门一个连接用于传输FIBRE CHANNEL控制帧是为了保证控制帧低延迟。

在IPS或者MPS模块上使用FCIP功能之前，首先需要配置FCIP INTERFACE和FCIP

PROFILE。

FCIP链路再两个节点之间建立成功只是，VE PORT初始化过程与E PORT一样。初始化过程与FCIP或者FIBRE CHANNEL无关，而是基于E PORT发现过程（ELP，ESC）。在FIBRE CHANNEL层，E PORT和VE PORT是一样的。

· FCIP PROFILE

FCIP PROFILE包含本地IP地址和TCP端口灯参数配置信息。FCIP PROFILE的本地IP地址具体FCIP链路使用哪个GIGABIT以太网口。

FCIP PROFILE与FCIP链路关系图如下：

· FCIP接口

FCIP接口是指FCIP链路本地以太网接口和VE PORT接口。所有FCIP和E PORT配置都是正对FCIP接口。

FCIP参数包含以下：

1. GIGABIT以太网口和TCP连接参数

2. 对端信息

3. FCIP链路TCP连接数量

4. E PORT参数（TRUNKING模式和TRUNK ALLOWED VSAN列表）

ISCSI, FC和FCOE的比较和适用场景?

ISCSI, FC和FCOE都是目前SAN网络上存储设备的主流连接方式（至少EMC的中端和高端存储设备都支持吧），请问下这三种协议各自间的优缺点哪位大侠能总结下，最好还能给下各自的适用场景。

FC是部署最多的SAN协议了，大家都很熟悉。ISCSI和FCOE都运行在以太网上，因此可以帮助企业节省IT架构的投入成本和复杂度。特别是ISCSI，可以直接沿用企业现有的IT架构，对很多中小型企业这是不可忽视的优势。

这三种协议工作在不同的网络层(见下图)。FCOE起步就是10GB以太网；而ISCSI可以工作在1GB或10GB以太网；FC则有2GB、4GB或8GB。另外ISCSI支持SOFTWARE

INITIATOR，普通台式机也可以接入存储。

网络虚拟化

• 网络虚拟化（一）：简介

• 网络虚拟化（二）：虚拟交换机

• 网络虚拟化（三）：VXLAN虚拟可扩展局域网（上）

• 网络虚拟化（四）：VXLAN虚拟可扩展局域网（下）

• 网络虚拟化（五）：通过划ZONE来提高虚拟网络的安全性

SMI-S协议简介

SMI-S（STORAGE MANAGEMENT INITIATIVE SPECIFICATION存储管理主动）是SNIA（全球网络存储工业协会）发起并主导，众多存储厂商共同参与开发的一种标准管理接口。其目标是在存储网络中的存储设备和管理软件之间提供标准化的通信方式，从而使存储管理实现厂商无关性，提高管理效率、降低管理成本，促进存储网络的发展。本文作