admin 管理员组

文章数量: 887021


2023年12月17日发(作者:关于博客的照片)

数据中心建设模式分析

2021年5月

1

目录

一、概述 ............................................. 3

二、数据中心基础架构 ................................. 3

三、传统数据中心模式 ................................. 7

四、互联网数据中心模式 ............................... 8

五、交通数据生态中心模式 ............................. 9

六、相关建设模式对比 ................................ 11

七、结论 ............................................ 12

2

一、 概述

数据中心(DataCenter)通常是指在一个物理空间内实现信息的集中处理、存储、传输、交换、管理,而计算机设备、服务器设备、网络设备、存储设备等通常认为是网络核心机房的关键设备。关键设备运行所需要的环境因素,如供电系统、制冷系统、机柜系统、消防系统、监控系统等通常被认为是关键物理基础设施。

二、 数据中心基础架构

数据中心建设为适应企业战略发展,主要诉求包括增加收入,控制成本、发挥主要业务优势,多元化发展、提供人员工作效率等,数据中心的发展由传统数据中心、互联网数据中心、云计算数据中心到最终的行业生态数据中心。

现代的数据中心起源于20世纪60年代的主机房、电信中心办公室和企业IT布线室。在过去二十年里,一波又一波迅猛涌现的技术创新浪潮极大地提高了现代数据中心的技术水平

1997-2007,第一波浪潮 - 裸机服务器:裸机服务器是提供给单一租户的物理服务器。它的优势在于高应用性能和可预测性。弱点在于:高成本、提供应用的中等复杂性和应用部署后的低灵活性。它们会继续存在,作为某些特定的,对性能敏感的工作负载的解决方案,这种工作负载值得使用这种专有的基础架构(如数据库)。裸机服务器还的经常用于专用的计算机集群,这些集群是为支持特定的可扩展分布式计算应用(如Hadoop集群)而构建的。对于更大的灵活性和更好的经济性的要求使得这种方式在不断发展的应用环境下受到了限制。

2005年至今,第二波浪潮 – 使用虚拟机管理器(hypervisor)实现虚拟化:虚拟化是对计算机系统的仿真,它可以使一台物理计算机能够运行一3

台或多台虚拟机(VM)。

虽然这一概念可以追溯到20世纪60年代和大型计算机时代,但直到1998年,随着VMware将其虚拟机管理器的商业化,它才真正被应用到提高IT效率的最前沿。在VMware之前,大量昂贵的计算机资源未得到充分利用。通过使一台计算机看起来像多台计算机,每台计算机都有自己的客户端操作系统,VMware的虚拟机管理器帮助解决了提高IT效率的需求。1999年发布的VMware虚拟机管理器非常新颖,因为它首次在Intel x86上实现了虚拟化,通过使用二进制转换来替换特权指令,将其捕获到虚拟机管理器中。截至2017年11月,VMware已成长为一家高利润的,市值达到530亿美元的公司,在2017年第三季度,它的收入为19.8亿美元,净利润为4.43亿美元。由于全球数以万计的企业都在VMware的虚拟化系统上运行其重要的运营系统,因此,在基于虚拟机管理器的企业私有云虚拟化解决方案中,VMware成为虚拟化市场的龙头老大。其它的虚拟化软件包括了Microsoft Hyper-V、Linux

KVM和Xen。

使用虚拟机管理器(hypervisor)实现虚拟化的优势包括:技术成熟;广泛采用;通过启用多个虚拟机来提高了计算机利用率;基于虚拟机构建和操作云的基础架构软件;强大的多租户架构支持。

而这种虚拟化的弱点包括:高复杂性;虚拟机管理器的资源开销;每个客4

体虚拟机的客户端操作系统资源开销;相对于裸机基础架构而言,对应用的性能不可忽略的影响;当一个用户影响同一物理服务器中其他用户的性能和稳定性时的“邻近噪声效应”。多个虚拟机同时发送其IO请求时导致存储性能降低时的“IO搅拌机效应”。基于工作负载的虚拟机管理器的极高的能源消耗;以及实例化新虚拟机需要的时间。

使用虚拟机管理器构建了虚拟化平台的虚拟机管理软件供应商和云平台运营商正在致力于通过以下技术来解决其中的一些弱点:硬件虚拟化(例如,Amazon Nitro项目);轻量级虚拟机管理器;将操作系统和应用打包在同一内核镜像内以消除传统的内核空间和用户空间的分隔的单一内核技术(Unikernels);以及各种无服务器计算技术。

2010年至今,第三波浪潮 - 超聚合基础架构(HCI)(同样是基于hypervisor),超聚合基础架构(HCI)是一种完全由软件定义的IT基础架构,它可以虚拟化传统“硬件定义”系统的所有元素。HCI至少包括虚拟化计算(一个hypervisor)、虚拟化存储(软件定义的SAN)和虚拟化网络(软件定义的网络)。

简单地说,HCI将计算、存储和网络连接集成到一个“盒中云”一体机中,然后提供硬件和软件资产的统一管理视图,以隐藏云平台的复杂性。5

HCI在裸机设备上使用复杂的基础设施软件,以简化管理,并提高最终用户在某些高价值应用(如虚拟桌面)中的易用性。HCI供应商包括Dell/EMC、IBM、联想、HP、Nutanix、Stratoscale和Cisco。

HCI的优点包括:通过将硬件和软件预先打包在一起,并通过虚拟机管理器(hypervisor)隐藏掉虚拟化的底层复杂性,保证了它的易用性,通过不断增长的HCI设备集群实现了基础架构的优雅扩展,并且简化了私有云的自建难度。HCI同时还为桌面虚拟化等高价值应用提供了强大的解决方案。

HCI的弱点包括:当系统资源打包到设备中时,计算和存储的分配比例就被锁定了;对某些重要的有状态的应用(如关系数据库)缺乏支持;对大规模可扩展的现代大数据分布式计算(如Hadoop、MongoDB,Cassandra,

和 Spark)的支持有限;HCI的供应商的锁定;在大型云平台上鲜有部署。

IT基础架构的第四波浪潮,在IT转型的前三波浪潮中,每个IT项目首先都是从规划底层基础架构开始。例如,要部署数据库,计划的第一步都是从获取和配置服务器或虚拟机、网络设备和存储设备开始。所有必需的基础架构组件一开始都要计划好,以确保它们满足应用的当前的服务等级协议(SAL)和预期增长的要求。只有在计划和配置了所有这些基础架构之后,应用才能上线。但是基础架构存在的目的是为应用服务的,而不是反过来。所以,基于应用来启动一个IT项目不是更好吗?通过只描述其需求,并让基础架构自行组装和配置以满足这些需求(当前的和预期的),这样是不是更好?

当前我们正在处在第四波IT基础架构创新的浪潮,基础架构将由它所服务的应用来定义。在这第四波浪潮中,应用和人员都摆脱了底层IT基础架构的束缚。底层基础架构本身可能会发生变化,从裸机到虚拟机,再到私有云或公共云,但与应用的交互始终保持不变。第四次浪潮将是应用定义基础架构(ADI)的时代,基础架构变得越来越不可见,至繁再次归于至6

简。

三、 传统数据中心模式

传统数据中心(Enterprise Data Center,EDC)一般采用大量裸机服务器 + 使用虚拟机管理器(hypervisor)实现虚拟化架构模式构建IT资源配置,此架构以关系型数据库为基础,包括由此衍生出的商业智能(BI)和各类报表工具,特点是技术可靠、理论成熟,在数据体量不大、实时性要求不高的场景下有很好的适用性,多年发展积累下来的生态优势(包括技术、工具、人才等)使得它直到今天依然在很多企业中广泛应用着。

此模式下IT资源使用部门根据业务需求建设相关应用系统,慢慢形成烟囱式结构,长此以往将导致数据中心的整体性能、空间利用、功耗、信息安全、维护管理、应用部署均存在各种效率问题。整体投资呈现2/8原则,即数据业务应用占比20%,基础实施投入占比80%,导致大量投资用于IT基础实施。

7

四、 互联网数据中心模式

互联网数据中心(Internet Data Center,IDC)是集中计算、存储数据的场所,可以通过与互联网的连接,凭借丰富的计算、网络及应用资源,提供互联网基础平台服务。

互联网数据中心是为满足其企业战略,实现线上线下的业务融合,根据其互联网业务特点和发展需要而构建的互联网数据中心整体架构分为前台、中台及后台三大组成部分,三者的定位如下:

前台:由直接面向市场和终端用户的业务应用组成,负责支撑企业的前端业务,包括在线电商平台、手机APP程序、微信小程序、客户系统等;

中台:由按业务领域细分的服务中心组成,负责支撑企业的共享业务,包括会员中心、交易中心、商品中心等,中台又细分为业务中台和数据中台,业务中台主要技术体系是微服务、数据中台的技术体系是大数据;

后台:由企业内部业务系统组成,如生产、库存、物流等管理系统。

互联网数据中心经历了两次技术更替,第一次是随着大数据技术的崛起,数据平台在技术上有了新的选择和发展空间,特别是在实时数据处理和人工8

智能方面有了质的突破,与之相对应的是理论上的更新换代,从而延伸出了“数据湖”的设想,数据湖以大数据技术为支撑,在数据仓库理论上做了一些适当的扩充,提倡保留数据的原始形态以便为未来的各种分析留下空间,同时它更加倾向于使用 Schema on Read 而不是关系型数据库使用的

Schema on Write 进行数据处理。从理论上看,数据湖不足以像数据仓库一样成为一个独立的理论体系,人们更多的时候将它与大数据放在一起讨论,用来指代使用大数据技术构建的数据平台;

第二次是随着中台架构一起提出的“数据中台”,今天企业的 IT 生态可以自然地分为应用和数据两大部分,前者指的是各类业务应用系统,后者指的是数据仓库、数据湖等中心化的数据平台,由于这两类系统的设计思想和实现技术都有很大的差异,所以中台架构顺势分成了业务中台和数据中台两部分,以上数据中台构成了互联网行业数据中心。

五、 交通数据生态中心模式

交通数据生态中心以交通行业发展趋势和实际需求出发,以大数据技术为支撑,结合数据仓库、数据湖、数据中台等前沿设计理念,专为交通行业而设计的生态数据中心。生态数据中心主要实现海量交通业务数据协同、促进用户“数据决策”落地的基础工作环境,专门解决交通管理运营部门已整合数据不能用、不好用等各类问题。

建设交通强国,数据是第一战略资源。“用数据说话、用数据决策、用数据管理、用数据创新”是国家“交通强国”的重要组成部分,也是政府监管部门现代化治理能力的直接体现。

交通数据生态中心实现了各类数据、服务的一体化整合管理,保证用户能“随心所欲”地获取所需数据和服务资源,通过数据生态网络建设,使跨系统、跨领域的数据资源能更好地在一起协同配合工作,产生1+1>2的协同价值;用户仅通过这一个平台就能完成日常90%以上与数据业务相关的工作,9

包括路网全维度实时监测、历史大数据价值挖掘、临时业务场景专题专报自助搭建等。

交通数据生态中心总体架构包含数据资源标准体系、信息化安全体系、数据交换与共享、数据治理、数据资源、数据开放服务等多个层级。

数据资源标准体系,数据资源标准体系是生态数据中心建设的基础,通过指标体系、元数据体系、数据资源体系和服务资源体系构成数据资源标准体系整体框架,数据资源标准主要完成对指标自身属性、复杂指标算法、指标数据收集过程、数据质量控制过程、数据存储管理、数据共享范围及方式、数据分析应用等方面的描述和定义,构建数据资源的基本体系。

数据交换与共享,实现内、外部业务数据资源的采集接入,包括费数据、监控数据、视频数据、基础设施养护数据、机电设备状态数据、气象和地质灾情数据等内外部结构化和非结构化数据。

数据治理,数据治理主要是对高速公路交通行业数据的定义、处理与管控,保障数据的准确性、一致性、完整性、可用性和安全性,数据治理是为了规范数据标准,提高数据质量和保证数据安全而建立的组织、流程、工具和考评体系,数据质量管理包括数据采集监控和数据质量监控。

数据资源区,数据资源建设是实现数据资源体系化的过程,通过将原始10

形态的业务数据经过筛选、过滤、整合、重组,转换以适应标准资源体系的需求,输出规范和权威的交通业务数据资源目录、数据字典、交通业务计算指标和交通业务数据分析模型等数据,并根据应用需求对基础数据进行统计汇总、拓扑变换等加工处理,生成综合数据,构建多层次的一体化数据资源体系。

数据开放服务,数据开放服务是为内部应用、横向部门或社会公众提供各类定制数据服务,实现高速公路领域数据资源价值最大化利用

六、 相关建设模式对比

互联网数据中心

支持

支持

支持

支持

大量

支持

支持

支持

支持

支持

支持

支持

支持

支持

11

序号

01

02

03

04

05

06

07

08

09

10

11

12

13

14

15

16

17

18

19

指标

主流硬件

主流操作系统

存储资源要求

计算资源要求

IT资源动态扩展

分布式数据处理

数据冗余

数据字典

数据资源目录

数据仓库体系

数据集市

主题数据

关系型数据处理

非关系型数据处理

解决信息孤岛

大数据分析

数据价值挖掘

大规模数据接入

实时数据分析

传统数据中心

支持

支持

不支持

不支持

少量

支持

支持

不支持

支持

不支持

不支持

不支持

不支持

不支持

不支持

交通数据生态中心

支持

支持

支持

支持

中量

支持

支持

支持

支持

支持

支持

支持

支持

支持

20

21

22

23

24

25

26

27

28

离线数据分析

数据细粒度安全

数据治理机制

多协议数据交换

高速业务关联模型

高速业务数据模型

高速业务数据分析模型

互联网业务数据分析模型

高速视频采集行为分析

支持

不支持

不支持

不支持

不支持

不支持

不支持

不支持

不支持

支持

支持

支持

支持

不支持

不支持

不支持

不支持

支持

支持

支持

支持

支持

支持

支持

支持

七、 结论

通过对传统数据中心、互联网数据中心、交通数据生态中心的28项指标进行对比分析,传统数据中心建设已经不能满足高速发展的信息化需求,互联网数据中心对实时数据分析和互联网业务数据分析模型占有优势,交通数据生态中心在高速业务关联模型、高速业务数据模型、高速业务数据分析模型、高速视频采集行为占有优势。

总之,互联网数据中心和交通数据生态中心在技术路线和建设理论大致一样,互联网数据中心更偏向于互联网行业,处理互联网相关数据是其强项,互联网行业推荐使用互联网数据中心建设方案。交通数据生态中心更适用于高速公路行业,其内置相关高速公路业务模型、数据模型、高速公路各项运行指标、视频采集车辆行为分析模型、交通大数据分析模型等高速公路专用数据,高速公路业务数据中心推荐采用交通数据生态中心建设方案。

12


本文标签: 数据 业务 资源 数据中心 应用