采用云计算技术搭建符合NGOD架构的高清交互后台支持系统

有线电视技术

歌华有线专栏

采用云计算技术

搭建符合

贺飞

NGOD

架构的高清交互后台支持系统

范新伟林霖

北京歌华有线电视网络股份有限公司

1前言

运维等诸多问题需要解决。笔者认为，服务器虚拟化

技术是很好的解决方案，并逐步实现基础架构即服务

（InfrastructureasaService，IaaS），将来逐渐过渡到企

业“私有云”平台。

随着有线电视网络运营商积极开展高清交互应

用，有线电视运营商发现高清交互用户数的不断增长

随

之带来的是点播业务大幅度增长

。举例而

的同时，

言，基于NGOD－CDN架构下建设的系统，按照传统

设计方案，当高清交互用户数达到260万时，仅

BackOffice（简称BO）系统建设就需要超过150台服

务器。如果按照每机柜10台服务器计算，至少需要

15个以上机柜，再考虑相应的网络安全等设备，仅

BO系统粗略估计机柜的需求数量将超过20个，会对

而且根据系统建设经

机房的基础设施带来巨大压力

。

验，如果部署采用分区方式，5RBO+1CBO（RBO是

RegionalBO，CBO是CentralBO）的建设周期至少需

要12周以上，还有如何保证各个分区的部署一致性

等一系列问题将随之而来。

如何快速部署系统且能节省优化资源配置，将成

为各有线电视运营商需要认真考虑的问题。在国内有

向

线电视运营商近几年正逐步由传统广播数字电视

，

高清交互数字电视发展，进而迈向“三网融合”的时

代。因此，有线电视运营商愈来愈依赖IT基础平台，

如何更好地发展双向“增值”业务，如何实现业务与资

源分离、资源池化共享、弹性的IT基础架构及专业化

2关于虚拟化及云计算概念的介绍

虚拟化是一个广义的术语，在计算机方面通常是

指计算元件在虚拟的基础上而不是真实的基础上运

行。虚拟化技术可以扩大硬件的容量，简化软件的重

新配置过程。CPU的虚拟化技术可以单CPU模拟多

允

许一个平台同时运行多个操作系统

，并

CPU并行，

且应用程序都可以在相互独立的空间内运行而互不

影响，从而显著提高计算机的工作效率。

笔者在本文中提及的虚拟化技术，主要是指服

务器虚拟化。服务器虚拟化技术是指通过运用虚拟

化的技术充分发挥服务器的硬件性能，能够在确保

企业投入成本的同时，提高运营效率，节约经济成本

和减少空间浪费

，

对于发展迅速、成长规模大的用户

来说，可以通过服务器虚拟化技术带来更多的经济

效益。

关于云计算的定义，目前尚未达成一致共识。从

技术发展趋势来看，云计算是并行计算、分布式计算

2012年第9期（

总第

273期

）

33

歌华有线专栏

有线电视技术

图1

和网格计算的发展，同时也是虚拟化、效用计算、基础

设施服务（IaaS）、平台即服务（PaaS）、软件即服务

（SaaS）等概念混合演进并跃升的结果。

云计算部署模式有公有云、私有云、混合云三种

部署模式

。

公有云，指为外部用户提供服务的云。公有云的

最大优点是程序、服务及相关数据都存放在公有云的

提供者处，用户无需做较大的投资建设，但是，公有云

部署模式的问题在于存在一定的安全风险。私有云，

指用户自行构建，为内部用户提供服务的云。相对于

公有云，私有云通常部署在企业或单位内部，可以在

一定程度上保证数据安全性和系统可用性，不过，构

建私有云的首次建设投资一般相对较大。混合云，指

提供给内部及外部用户共同使用的云，是公有云和私

有云的混合模式。

资源调度

云计算的快速发展得益于虚拟化技术

、

技术、容错技术、自动化技术等关键技术的发展与成

熟。

云计算是在电子、通信、计算机与网络技术的共

同作用下，从图灵计算逐渐向网络计算演化的一个必

然阶段，是信息技术和信息社会需求发展到一定阶段

的必然结果。

对网络、系统

有线电视运营商有其鲜明的特点

，

及内容的安全性要求非常高，因此笔者认为逐步在其

系统内建设企业“私有云”，不但符合目前IT技术的

主流，同时又符合广电系统及网络安全性的要求。而

服务器虚拟化可以为企业搭建“私有云”打下坚实的

基础。

3

3.1设计思路

设计思路及方案

市场上的服务器虚拟化解决方案主流的有几大

家：一是VMware的服务器虚拟化平台解决方案；二

是开源解决方案

，以

Redhat的KVM解决方案为代

表；三是CitrixXenServer服务器虚拟化平台解决方

34

2012年第9期（总第273期）

有线电视技术

案；四是微软的Hyper-V虚拟化技术解决方案；五是

其他虚拟化解决方案。本文选择了市场占有率及稳

定程度最高同时又较为熟悉的产品———VMware公

司的VSphere4产品作为本文的服务器虚拟化解决

方案。

服务器虚拟化软件平台选定后，又带来了新的问

题———服务器、存储、网络等的IT基础设施的技术及

产品选择。考虑到服务器虚拟化平台的建设，是各有

线电视运营商在高清交互核心业务平台上实施，本文

的设计方案首先进行VMwareCP（CapacityPlanner）

容量规划测试，从而评测出交互应用对CPU、MEM、

IO等各项关键指标的需求。最终服务器选择刀片服

务器解决方案，因为刀片服务器从性能上完全满足业

务需求，而且计算密度高，线缆部署清晰简洁，又可以

大量节省机房资源。存储选择FC（FiberChannel，光

纤通道

）、

IP-SAN（StorageAreaNetwork，存储局域网

络）、NAS（NetworkAttachedStorage，网络附属存储）

的全协议存储，同时具有一定的容灾特性，毕竟所有

（全部虚拟服务器）全部放在了一个篮子（共享

存储）之中了；系统通过FC方式进行可靠稳定的实

施，同时选择全协议统一存储又具备未来向IP化发

展的可迁移性。因此，服务器虚拟化平台的解决方案

是VMware+刀片服务器+FC-SAN。

3.2设计方案

系统主要由服务器子系统、网络子系统、存储子

系统和备份子系统组成。整体系统的部署拓扑图如图

1所示。

3.2.1服务器部署

物理服务器系统由3个刀片机箱、48个刀片服

务器和1台机架式服务器组成

。

48个刀片服务器主

要用于安装虚拟机软件，同时支撑1个CentralBO系

统、5个RegionalBO系统、管理和备份系统，1台机

架服务器连接存储和备份设备，提供数据备份处理工

作。每个刀箱配置两个虚拟连接模块，每个模块绑定

6条千兆链路并分别上联至服务器接入交换机。管理

服务器群中包括2个刀片服务器，用来部署vCenter

虚拟化管理中心）服务器，安全管理服务器和网络管

理服务器，以及各类管理类软件。其中在vCenter服务

器上启动DNS服务，提供BO系统中虚拟化平台基础

架构的域名解析服务。在每个刀片服务器机箱中，BO

系统分布式部署在部分刀片服务器上，预留1台服务

器资源作为热备份服务器。数据备份服务器主要用来

安装备份软件，并通过备份软件对系统备份进行管

2012年第9期（

总第

273期

）

歌华有线专栏

理。

3.2.2刀片机箱设置

配置刀片服务器以太网虚拟连接模块以配合

ESXServer虚拟环境的应用。

在每个刀片服务器中

，配置了

2块10GB集成网

卡：NIC1和NIC2，机箱上安装了2个Flex-10G以太

网虚拟连接模块，以Active-Active模式工作，每个模

块有16条10GB下行链路，使每块网卡带宽可以保

持在10GB，并且可以虚拟出4路通道，这种情况下，

每台服务器就拥有8块虚拟网卡。每个NIC上虚拟出

4块虚拟网卡，每块虚拟网卡可以配置不同的传输带

宽。每个刀片机箱配置了2个FC-VC（光纤虚拟连

接）模块，用来连通刀片服务器的HBA卡和刀片机箱

外部物理SAN环境。

3.2.3虚拟化软件设计

（1）vCenter配置和设计

①vCenter服务器软件版本：

vCenterServer4.1|13Jul2010|Build

259021

VMwarevCenterServerHeartbeat6.3|Build

4316

②vCenter服务器数据库

vCenter数据库与vCenter服务器安装在同一台

物理机上，每周使用SQLServer备份工具备份

vCenter数据库，利用备份软件对vCenter服务器做整

机备份，并在ESX主机本地内置磁盘上保留vCenter

服务器主、备机的完整克隆，做到多份冗余保护。

（2）VMwareESX主机设计

①ESX主机软件版本：

VMwareESX4.1|13Jul2010|Build260247

②主机时间同步

所有ESX主机将被配置与NTP源时间同步。虚

拟机可以通过操作系统与NTP源时间同步，或者通

过VMwareTools与所驻留的ESX主机进行时间同

步，两种方法二选一，不要同时使用。本方案中选择后

者，通过VMwareTools进行虚拟机时间同步。

（3）VMware虚拟机设计

虚拟站点是指能完整响应用户，并能全面响应一

个业务流程的所有虚拟服务器、辅助服务器及相关虚

拟资源的集合。对于交互应用系统而言，即现有所有

物理服务器的虚拟化实现。每一个虚拟站点

，都相当

于本期整个交互应用系统的一个分布式实现。

（4）虚拟网络设计

35

“鸡蛋”

（

歌华有线专栏

有线电视技术

图2主机光纤连接存储逻辑图

虚拟化网络架构采用标准虚拟交换机和分布式

虚拟交换机结合使用的方式。服务控制台（Service

Console）和VMotion（虚拟机迁移技术）网络使用标准

虚拟交换机；虚拟机业务网络使用分布式交换机。

网络设计还考虑了以下基本原则：

①物理交换机和网卡均冗余配置；

②虚拟交换机上配置负载均衡策略和故障切换

策略；

③物理交换机连接到ESX主机的端口设置为

Trunk访问模式，允许VLAN访问。

（5）存储设计

存储设备的高可用性非常重要，建议连接到共享

存储的每台ESX主机配备的两块HBA（HostBus

Adapter，主机总线适配器）卡上，并提供两台物理光纤

交换机，避免单点故障的发生。

主机光纤连接存储逻辑图如图2所示。

ESX主机安装后可以管理多个路径，对于配备了

两个控制器的存储，使用主动-主动控制器，路径策略

如

果通可以设置为“固定”，主要是便于后期运营维护

。

过将首选的路径分配到LUN（LogicalUnitNumber，逻

辑单元号），可以手工配置ESX主机以跨多个适配器

以平衡流量负载。否则，ESX主机将使用在系统引导

时间发现的第一个工作路径。如果ESX主机不能使

用首选路径，则它会选择随机替代可用路径。一旦首

选路径重新可用，ESX主机就会自动恢复到首选路

可能发生链路。

径，此处有一定的风险

，

“颠簸”

（6）集群设计

每个刀箱中的16台ESX主机组建为一个

VMwareHA（HighAvailability，高可用性）群集。虚拟

机文件放置在由光纤存储组成的共享存储上。ESX主

机产生故障时，虚拟机自动在群集内其他可用的ESX

主机上重新启动。VMwareHA为虚拟机中运行的应

用程序提供快速中断恢复和具有成本效益的高可用

性。

VMwareHA不需要在应用程序或虚拟机内安装

任何特殊软件。所有群集中的虚拟机均受VMware

HA保护。配置VMwareHA之后，在ESX主机计划外

宕机的情况下，它们会自动受到保护。VMwareHA要

求虚拟机必须驻留在共享存储上。

如果出现了ESX主机故障，则在该ESX主机上

运行的虚拟机将进行故障切换，即在备用ESX主机

上重新启动。

（7）vSphere监视与管理

借助事件监控和报警系统，在vSphere、vCenter中

将被配置以便监控所有核心虚拟架构的健康和性能内

容

，

包括ESX主机、群集

、

HA、虚拟机操作如VMotion

和vCenter自身的健康。

被监视事件主要包括主机内存使用情况、主机

CPU使用情况、磁盘上数据存储的使用情况、主机连

接和启动情况。有线电视运营商为以上监视事件设置

触发条件和阈值，当以上告警触发后，配置vCenter发

送SNMPtraps到网络管理软件；同时也将邮件发送

到相关负责人和所有vSphere企业管理组中

。

3.2.4存储子系统设计

36

2012年第9期（总第273期）

有线电视技术

存储子系统设计原则是保证数据传输带宽和冗

余性，采用ZONE划分，RAID划分，LUN划分（注：

LUN划分过程实际上是一个磁盘空间分配的过程，

LUN划分直接关系到系统安全与系统性能）和映射技

术实现

。

由于共享存储采用具有容灾特性的双控制器

的技术实现，两控制器为Active/Active模式，因此要

对存储控制器的负载均衡进行合理配置。

3.2.5备份子系统设计

由于对服务器进行了虚拟化，因此实现了系统的

文件化，如虚拟化操作系统中，硬盘是文件，配置是文

件等，给系统的备份带来了便利性。同时，由于本文中

的5个RBO是在一套模板上进行克隆部署的，因此，

仅需一套备份。CBO需要独立备份。

（1）备份内容和备份目标

需要对如下数据进行备份：1个RegionalBO系

统的所有虚拟机镜像文件的备份

；

CentralBO系统和

管理服务器群的所有虚拟机镜像文件的备份；“5+1”

个BO系统的数据库数据文件备份；log文件备份；安

装包备份。

（2）备份方式选择

备份方式采用LAN备份方式，主要从备份目标

及备份成本考虑，此方式在本系统中性价比较高。

LAN备份通过以太网发送数据

，文件以数据包形式

发送，主要应用于非结构化数据的文件备份，如备

份零散文件及系统文件等。备份是采用快照方式，

需要提供额外空间保存所备份的虚拟机的快照，所

以在磁盘阵列上创建一块公共空间，映射给所有的

主机，用来在备份时临时保存所备份虚拟机的快

照。

4系统建设及运行效果

系统建设的基本原则是按照前期在实验环境中

搭建的实验系统为依托，首先在测试系统中进行相

应测试仿真，然后部署虚拟机模板，最后将模板迁移

到运营平台中进行运营系统部署。同时充分利用虚

拟机的特点，通过克隆方式轻松实现不同分区部署

应用的一致性，极大地提高了应用安装部署效率。同

时最终让CPU、内存、磁盘、I/O等硬件变成可以动态

管理的“资源池”，从而提高了资源的利用率，同时简

化了系统管理，实现了服务器整合，让IT对业务的

变化更具适应力。在传统的IT架构中，很难对系统

资源进行合理优化，在服务器虚拟化架构中，可轻松

2012年第9期（

总第

273期

）

歌华有线专栏

实现CPU、内存、磁盘、I/O等资源动态调整。同时极

大地提高了应用系统的部署效率，从传统的IT基础

设施部署数月，缩短至数天乃至数小时，极大满足了

对业务变化的适应力。此虚拟化平台在有线电视运

营商的核心关键应用中，已经稳定可靠运行两年多

，

经过实践及时间证明，此部署方式是高效、科学、可

靠的。

5建设私有云（逻辑服务器）

的演进思路

服务器虚拟化平台搭建完成后，又有一个新问

题出现了，我们现网运行的虚拟化平台能满足未来

业务的快速发展吗，如何让IT基础设施更好地为业

务快速发展服务；已有替换下来的服务器如何处理

，

是否可以让虚拟机与物理服务器同时提供服务，而

又兼备服务器虚拟化后的诸多特性，同时又如何整

合整个有线电视运营商的计算资源？

笔者建议采用建设企业“私有云”解决上述问题，

企业内部建设IaaS（InfrastructureasaService）平台，

提供给企业内部用户（主要系指企业内部业务部门）

的服务是对所有IT基础设施的利用，包括处理、存

储、网络和其它基本的计算资源，用户能够部署和运

行任意软件，包括操作系统和应用程序。企业内部用

户不管理或控制任何云计算基础设施，但能控制操作

系统的选择、存储空间、

部署的应用，也有可能获

得有

限制的网络组件（例如，防火墙

、负载均衡器等）

的控

制。IT基础设施建设及运维部门，能够以最少的人工

干预方式，实现资源自动供应与管理，以及对异构计

算环境中的混合工作负载进行更有效的管理，并使IT

基础设施供应具有弹性和可伸缩性，为企业利用其原

有的IT基础设施建立“IaaS”模式的“私有云”，最终为

企业内部建立一个IT基础设施的“能力平台”。笔者

认为，就是将复杂的IT基础设施，用简单易用的UI

接口（通常是一种B/S架构），获取到相应的IT基础

设施服务，为企业IT管理者、业务需求部门等提供及

时便利的IT服务。

参考文献

[1]TimMather，SubraKumaraswamy，ecurityand

Privacy

[2]2011年云计算广电发展研究报告

[3]歌华有线.交互应用公共支撑网络扩容项目虚拟化系统深化设计

蒉

37