业务支撑系统云化基础架构设计

信息化研究　

业务支撑系统云化基础架构设计　

文ｌ杨敬巍，张立成，褚尧　

一

、

概述　

黑龙江移动早已在２０１０年．在业务支撑　

化集群，集群间的计算资源、存储资源无法实　

现共享。如集群内可以计算资源比较富余，但　

由于外置存储容量不足，而无法加载新的应用　

实例（虚拟机）．形成计算资源碎片。　

系统中引入服务器虚拟化技术　同时．将业务　

支撑系统逐步迁入云管理平台中进行管理。在　

传统的虚拟化方案中．云平台的高可用、稳定　

（二）虚拟化高可用　

在ＶＭＷａ　ｒｅ虚拟化集群中．采用了高可用　

机制．需要昂贵的外置存储资源。当一个服务　

器节点出故障，如系统崩溃、或宕机时，虚拟　

机恢复需要长达几分钟之久，这意味着业务也　

会中断相应的时间。　

性主要由基础架构决定，如高可用、系统在线　

迁移、资源动态调度等机制，都依赖于特定厂　

商的特定解决方案。　

虚拟化技术解决了传统的应用竖井架构所　

带来的资源利用率低等问题，但也又出现了　

新的瓶颈：在系统持续运行过程中，如何匹　

（三）虚拟化调度　

在ＶＭＷａ　ｒｅ虚拟化集群中　当服务器资源　

紧张时．传统的动态资源调度机制会迁移虚　

拟机至空闲服务器．会引起短暂的网络流量增　

配计算资源与存储资源．减少集群内的资源　

碎片化．需要设计、运维部门进行持续优化　

与调整。　

为解决上述问题，本文通过分析．提出了　

新的基础架构设计方案，谨供各运营商在业务　

加，导致资源争用。在手工迁移虚拟机时，或　

动态资源调度触发的迁移操作．对于业务量较　

大，读写频繁的虚拟机，在切换时会有长达几　

十秒钟的挂起时间　直接影响业务系统终端用　

支撑系统云化演进过程中参考。　

二、传统方案存在的问题　

（一）基础架构竖井　

业务支撑系统在实施虚拟化之前．各个子　

系统拥有单独计算、存储资源，是典型的竖井　

式架构，存在资源利用率低下的问题。　

在虚拟化过程中．普遍使用了ＶＭｗａ　ｒｅ　

户的使用满意度。　

三、业务云化对应用的要求　

为解决基础架构层虚拟化环境现存弊端．　

需要在业务层进行云化。业务层云化过程中，　

需要对应用系统进行改造。　

（一种虚拟化软件产品）虚拟化集群．事实　

上，形成新的集群竖井：资源调度边界为虚拟　

（一）分布式处理能力　

在基础架构层虚拟化改造后，每个子系统　

信息化研究一　

Ｉｎｆｏｒｍａｔｉｚａｔｉｏｎ—Ｒｅｓｅａｒｃｈ　

的计算能力仍依赖于虚拟机的ＣＰＵ（ＣｅｎｔｒａＩ　

Ｐｒｏｃｅｓｓ　Ｕｎｉｔ）／内存配置，计算能力的提升需　

要进行纵向扩展。分布式计算为应用系统提供　

了水平扩展能力：通过运行多个应用实例（虚　

拟机、虚拟化容量　或物理机）　并发处理业　

（Ｉｎｆｒａｓｔｒｕｃｔｕ　ｒｅ　ａｓ　ａ　Ｓｅｒｖｉｃｅ．基础架构即服　

务）层基础架构层设计方案。　

１．高可用及资源调度　

在云管理平台上．提供应用实例的弹性扩　

展与收缩能力，包括提供虚拟机、计算虚拟化　

容器、物理机的弹性扩展与收缩能力．在基础　

务需求。　

（二）应用与数据分离　

应用与数据分离的目的是实现应用实例的　

无状态化：对应用实例进行同质化改造．临时　

数据、持久化数据独立于应用实例进行保存．　

保持应用实例的最小化。　

如业务处理过程中的会话数据　独立　

于Ｗｅ　ｂ服务器、应用服务器，单独保存在　

架构层，不再提供高可用设计．高可用及资源　

调度。　

２．去集群化　

构建虚拟化集群的目的，是为了在基础架　

层实现虚拟机的高可用转移、动态资源调度　

上述功能已被云管理平台弹性资源调度代替　

因此．基础架构层应不再做集群化配置，减化　

系统设计复杂度与运维工作量。　

Ｍｅｍｃａｃｈｅｄ、Ｒｅｄｉｓ等分布式缓存系统：应　

用系统、操作系统日志汇集于集中的日志服务　

器，进行归档与分析。　

（二）计算资源架构　

１．资源池化　

在基础架构层　取代虚拟化集群的是计算　

（三）资源动态弹性伸缩　

在应用系统具备了分布式处理能力后，为　

资源池。系统分为物理机资源池、虚拟化资源　

池、容器资源池、大数据资源池四个在用资源　

提高资源利用率，引入资源弹性伸缩机制．根　

据应用对资源的需求进行动态匹配　实现系统　

动态扩容、闲置资源回收、隔离故障等功能。　

池．同时，系统中配置一个空闲资源池。在每　

个在用资源池中，服务器独立运行，对于每个　

子业务　由云管理平台在应用层进行管理．将　

应用集群部署于在用资源池中。　

（四）去厂家绑定化　

由云管理平台Ｐ　ａ　ａ　ｓ（Ｐ　Ｉ　ａｔｆ０　ｒｍ　ａ　ｓ　ａ　

Ｓｅ　ｒｖｉｃｅ．平台即服务）组件实现弹性调度机　

２．资源池弹性调度　

类似应用集群弹性调度．资源池也采用弹　

性调度机制，提供资源动态调整。当在用资源　

制，自动控制应用实例的部署、启动、停止、　

删除。应用系统的健壮性不再依赖于虚拟化平　

台的高可用、动态资源调度等特性．从而减少　

因购买虚拟化平台所产生的高额许可费用。　

池资源容量紧缺时，从空闲资源池获取服务器　

资源，加到本资源池；在用资源池使用率过低　

时，归集应用实例至少量物理服务器上，把服　

四、基础架构设计　

【一）基础架构层　

业务云化应用架构部分由云管理平台　

Ｐａａｓ组件实现　主要有应用集群的定义、资　

务器回收至空闲资源池。　

３．自动化部署与资源回收　

空闲服务器加入在用资源池时，云管理　

平台对服务器进行ＰＸＥ（Ｐ　ｒｅ—ｂｏｏｔ　Ｅｘｅｃｕｔｉ０ｎ　

源调度、弹性伸缩、健康监控、故障隔离等　

功能。为适应业务云化改造，本文提出Ｉａａｓ　

Ｅｎｖｉ　ｒｏｎｍｅｎｔ．预启动执行环境）安装，在交换　

机上启用服务器生产网络端１：３，加入相应在线　

信息化研究　

资源池ＶＬＡＮ（Ｖｉｒｔｕａｌ　Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ　虚　

２．ＳＤＮ架构　

拟局域网）。服务器从在用资源池回收至空闲　

资源池时．做一下反向的操作：禁用把服务器　

为实现资源池的弹性伸缩．动态调整计算　

资源的安全域．需要ＳＤＮ（ＳＯｆｔｗａ　ｒｅ　Ｄｅｆｉｎｅｄ　

连接交换机的生产端口，或移入空闲池ＶＬＡＮ。　

４存储本地化　

在资源池中．服务器独立使用，上面运行的　

应用实例不需要进行系统迁移．因此．服务器使　

Ｎｅｔｗｏ　ｒｋｉｎｇ，软件定义网络）技术实现对服务器　

的网络进行动态配置。　

在网络管理上．结合服务器虚拟化、虚拟化　

容器虚化技术．引入ＳＤＮ技术．根据不同的资源　

池，ＶＴＥＰ（Ｖｉｒｔｕａｌ　Ｔｕｎｎｅｌ　Ｅｎｄ　Ｐｏｉｎｔ，虚拟隧道　

用本地磁盘作为应用实例（即虚拟机，或虚拟化　

容器）的存储介质．不再使用共享存储。　

终结点）终结于不同的设备：对于大数据、物理　

机资源池．ＶＴＥＰ终结于边缘交换机：对于虚拟化　

资源池．ＶＴＥＰ终结于Ｈｙｐｅｒｖｉｓｏｒ（虚拟化管理程　

序）的虚拟交换机上：对于虚拟化容器资源池，　

ＶＴＥＰ终结于Ｌｉｎｕｘｆ］￣．务器的虚拟交换机上。　

应用实例做了无状态化改造，只保存操作　

系统及临时数据，一般情况下　本地存储足够　

支撑应用实例的存储容量要求。因此．因存储　

不足导致无法加载应用实例的情况．不会再次　

发生。　

ＳＤＮ技术有效地实现了网络虚拟化．实现了　

网络转发、控制流量的分离机制。通过ＳＤＮ技　

（三）网络资源架构　

１．大二层结构　

在同一个数据中心内部．每个资源池的服　

术，网络基础架构只实现管理网络、Ｕ　ｎｄｅ　ｒＩａＹ　

（承载）网络ＶＬＡＮ的透传，业务网络控制由ＳＤＮ　

务器完全对等，为保证应用实例可部署于任何　

服务器上，要求在网络层使用大二层结构。　

控制器动态架载至Ｏｖｅ　ｒｌａＹ（叠加）网络上。在增　

加业务系统网络变更时，无需在网络基础架构层进　

行变更．保证了基础架构的稳定性；同时，通过　

ＳＤＮ方案，隔离了业务租户的网络配配置．在业　

务开通时．解决了网络资源的快速供给问题。　

为实现容灾、多活等功能．保持生产数据　

中心、灾备数据中心可访问相同的业务地址网　

段．需要在数据中心间建设大二层网络。　

图１大二层网络　

信息化研究　

（四）存储资源架构　

１．非业务数据　

由于虚拟机或虚拟化容器是无状态的应用　

实例，由云管理平台调度动态生成或销毁．因　

此．无需共享存储永久保存。非业务数据包括　

虚拟机、虚拟化容器的操作系统．操作系统日　

志等．这一类数据可保存于服务器内置存储．　

或廉价的ＮＡＳ　或分布式存储上。　

４。分布式存储应用　

在本质上．分布式存储是安装了存储软件　

的ｘ８６集群构成．支持块存储、ＮＡＳ存储、对　

象存储等协议。具有容量大、价格低的特点．　

因此．历史数据可存放于分布式存储设备上。　

需要ＮＡＳ存储支持的非结构化数据等场　

景，也可以使用分布式存储方案。从成熟度上　

考虑．建议先从边缘应用开始使用分布式存　

储．逐渐过渡到核心应用数据。　

２．结构化数据　

在业务支撑系统中．结构化数据保存干数　

据库中，为提高数据库的效率．现一般数据路　

由　采用垂直或水平拆分的方案　进行数据库　

层云化改造。数据库是整个业务支撑系统的核　

心．一般对磁盘ｌＯ（１ｎＰｕｔ　ａｎｄ　Ｏｕｔｐｕｔ）并发　

五、结论与展望　

在业务支撑系统云化初期．选择了基于基　

础架构层的商用虚拟化集群方案，来提高系统　

的可用性与可靠性，是一种自下而上的云化过　

量、吞吐量有严格的要求，因此，按照传统　

方案．数据库仍保存于ＦＣ（Ｆｉｂｅ　ｒ　Ｃｈａｎｎｅ１）　

或ＩＳＣＳＩ（Ｉｎｔｅｒｎｅｔ　Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　

程。由于基础架构层虚拟化方案并不能解决云　

化过程中所有的问题．所以提出业务云化改造　

方案。　

ｌｎｔｅｒｆａｃｅ）块存储设备中。　

业务云化可以有效提高计算、存储资源的　

利用率．实现业务应用的弹性部署与回收，　

提供业务系统不问断运行的能力。基于业务云　

３．非结构化数据　

对于文本、图片等非结构化数据．可使用　

的存储技术有：并行文件系统、ＮＡＳ《Ｎｅｔｗｏｒｋ　

Ａｔｔａｃｈｅｄ　Ｓｔｏ　ｒａｇｅ．网络附加存储）存储、分　

布式存储等。并行文件系统如ＧＰＦＳ（Ｇｅｎｅ　ｒａＩ　

Ｐａｒａｌｌｅｌ　Ｆｉｌｅ　Ｓｙｓｔｅｍ

．

化．部分应用实例失效、服务器失效不会影响　

整个系统正常运行，减少了应用系统对硬件、　

虚拟化平台的依赖。　

通用并行文件系统）　

从这个角度上讲．现有的业务应用可从商　

用的虚拟化平台迁移至开源虚拟化平台．以节　ＧＦＳ（ＧＩｏｂａＩ　Ｆ＿ｌｅ　Ｓｙｓｔｅｍ，全局文件系统）　

等．由于此类系统需要额外的安装　配置，维　

护．增加运维的工作量。　

省每年的大量采购与维护成本。进一步．可将　

应用实例从物理机／虚拟机改造为虚拟化容器实　

所以，此类数据采用ＮＡＳ存储来实现，优　

点是ＮＡＳ系统的文件系统已经过优化．且具有　

通用的ＮＦＳ（Ｎｅｔｗｏｒｋ　Ｆｉｌｅ　Ｓｙｓｔｅ，网络文件系　

统）　ＣＩＦＳ（Ｃｏｍｍｏｎ　Ｉｎｔｅｒｎｅｔ　Ｆｉｌｅ　Ｓｙｓｔｅｍ．　

例，借助于容器虚拟化内置的Ｐａａｓ特性．云化　

改造进入全新的容器化Ｐａａｓ阶段。【Ｉ至　

通用互联网文件系统）、ＦＴＰ（Ｆ．１ｅ　Ｔｒａｎｓｆｅ　ｒ　

Ｐｒｏｔｏｃｏ１

．

文件传输协议）接口，与现有业务应　

作者单位：中国移动通信集团黑龙江有限公司　

用集成代价较小。