国之重器出版工程 金融数据中心网络架构与技术

978-7-115-55408-6
作者: 张学明陈乐
译者:
编辑: 邓昱洲

图书目录:

详情

本书以金融行业面临的业务挑战为切入点,详细介绍了金融数据中心网络的架构设计、技术实现、规划设计和部署建议。本书首先介绍金融数据中心网络的主要需求,帮助读者了解金融数据中心网络面临的问题及解决方式;然后介绍金融数据中心网络的设计与实现,内容包含网络架构设计、网络Fabric设计、网络通用功能属性设计、网络安全设计和网络运维设计;最后对金融数据中心网络当前的一些热点技术进行讲解和展望。 本书可以为读者构建安全、可靠、高效、开放的金融数据中心网络提供参考和帮助,适合金融行业的信息化部门及金融数据中心的技术人员阅读,也适合高等院校计算机网络相关专业的师生学习。

图书摘要

国之重器出版工程 网络强国建设

新一代信息技术·华为数据通信系列

金融数据中心网络
架构与技术

Finacial Data Center Network

Architectures and Technologies



张学明 陈 乐 主编




人 民 邮 电 出 版 社

北 京



定价:79.80元

读者服务热线:(010)81055552 印装质量热线:(010)81055316

反盗版热线:(010)81055315

内 容 提 要

《国之重器出版工程》编辑委员会

新一代信息技术·华为数据通信系列

专家指导委员会

主 任

副主任

技术指导委员会

主 任

委 员

推荐语

——中国工程院院士,东南大学未来网络研究中心主任 李幼平

——中国信息通信研究院云计算与大数据研究所所长 何宝宏

——东北大学教授、研究生院常务副院长,国家杰出青年科学基金获得者王兴伟

——清华大学教授、计算机系副主任,国家杰出青年科学基金获得者 徐恪

——北京理工大学教授,电动车辆国家工程实验室主任 王震坡

——平安科技平安云网络产品部总监 丘子隽

——兴业银行信息科技部数据中心主任 郑倚志

推荐序

金融数据中心网络领域专家 迟鲲

前言

第1章 金融数据中心网络概述

第2章 金融数据中心网络模型

第3章 金融数据中心网络总体架构设计

第4章 金融数据中心网络架构设计

第5章 金融数据中心网络Fabric设计

第6章 金融数据中心网络通用功能属性设计

第7章 金融数据中心网络安全设计

第8章 金融数据中心网络运维设计

第9章 数据中心网络新技术展望

致谢

第1章 金融数据中心网络概述

本章首先介绍金融行业数据中心网络的发展趋势,然后详细分析在这种发展趋势下产生的种种需求,最后基于这些需求介绍金融数据中心网络的规划设计目标和3种典型的设计方案。

| 1.1 金融数据中心网络的发展趋势 |

以云计算、大数据、区块链和AI(Artificial Intelligence,人工智能)为代表的金融科技正在深刻改变金融行业的面貌。发展金融科技、实施数字化转型成为几乎所有金融企业的共同战略选择。金融行业数字化转型的主要目标是提升信息处理与运用能力,促进业务创新与流程再造,以实现智慧金融和普惠金融。数据中心作为金融企业处理数字业务的实际承载点,理所当然地站到了潮头。传统金融数据中心的特点是大业务量、高可靠性、安全合规,而在保持上述优势的同时,如何打造一个架构更灵活、资源利用率更高、管控更全面及时、业务响应更敏捷的金融云数据中心,以支撑企业未来业务的持续创新与产品的快速迭代,是摆在金融行业科技工作者,尤其是金融企业数据中心建设者面前的现实问题。

本章将以金融行业中典型的银行业为例,介绍金融行业当前的网络演进趋势、关键需求、关键技术以及金融数据中心网络的设计目标。

1.1.1 银行业务转型与信息化的演进趋势

依据德勤公司前咨询顾问布莱特·金(Brett King)在《银行 3.0:移动互联时代的银行转型之道》一书中关于商业银行运营模式转型的描述,商业银行运营模式经历了Bank 1.0时代、Bank 2.0时代、Bank 3.0时代,正向Bank 4.0时代过渡,这一理论获得了银行业的普遍认可。从“以业务为中心”的传统模式向“以客户为中心”的新模式转型已成为行业发展的主流趋势。银行转型的演进路线如图1-1所示。

图1-1 银行转型的演进路线

在Bank 1.0时代,银行的业务形态是以物理网点为基础的。在Bank 2.0时代,电子技术如ATM(Automated Teller Machine,自动取款机)、网银延伸了物理网点的触角,但客户的账户仍归属某个具体网点。Bank 2.0时代主要有三大改变:跨行整合,利用互联网技术发展以实体分行为基础的跨行整合服务;互联网业务萌芽,开通了网银、网上支付等业务;柜面效率提升,对柜面进行业务整合和改造,实施综合柜员制,提升了柜面效率。

Bank 3.0时代也被称为移动互联网时代。在这一时代实现了业务移动化,客户可以随时随地获得银行服务,全渠道的兴起使客户在与银行的关系中起主导作用。移动互联改变了银行的服务渠道,移动支付已成为主流。《2017年中国银行业服务报告》显示,中国工商银行的离柜业务率已达到97%,其他15家大型银行的离柜业务率也均超过90%,其中有6家超过95%,行业平均离柜业务率已近88%。智能终端催生行业应用的创新,金融服务融入商业流程(供应链金融),让企业可以获利或获客。大数据使能金融服务,实现智能获客、智能投顾、智慧风控。

Bank 3.0时代也出现了三大改变:获客成本和单次获客量发生了改变,平均获客成本相比Bank 2.0时代的获客成本下降了90%,单次获客量从数百量级突增到千万量级,这要求数据中心网络能够支撑浪涌式增长的访问流量;渠道和服务方式发生了改变,7×24 h全天候服务、零空间限制 (特别是支付、存取款、转账、理财、开户等业务)要求数据中心网络高可用、支撑多渠道接入;风险管理实时性发生了改变,实时性从以周为单位提高到以分钟为单位,从事后发展到事前、事中、事后全流程,这要求数据中心网络支持大数据分析业务的快速部署与扩容。

Bank 4.0时代是数字化银行时代、体验时代,银行服务融入各类生活场景,这种隐形银行提供了无处不在的服务。Bank 4.0时代的核心是提供“个性化、智能化、实时化、综合化”的金融服务,以客户体验为中心,提供全渠道、无缝式、定制化的产品和服务,全面提升客户体验。Bank 4.0时代的典型业务有银联云闪付、支付宝支付、微信支付等。Bank 4.0时代的金融业务在以下3个方面发生了变化。

用户:体验驱动、回归金融服务本质。Bank 4.0时代带来了“以人为核心”的现代科技金融,而非银行固有产品和服务的“数字化改良”。Bank 4.0时代的到来表明科技不再仅对银行局部流程(如渠道)进行优化,而是给传统金融模式带来了“颠覆性变革”。

科技:AI、IoT(Internet of Things,物联网)、移动互联网、5G、区块链等新技术将未来的社交场景、消费场景、出行场景无缝地与银行服务对接。未来的银行将是“秒申秒到、即用即走”的银行。“衣食住行玩”,只要是存在服务的场景就能找到银行金融服务的入口,这使得银行服务摆脱了时间、空间的制约。

银行:未来的银行将不再是一个地方,而是一种行为。银行将构成一个无处不在的服务环境,以人为核心提供不依赖物理设施的虚拟服务。消费者将享受基于“ROADS”理念的极致互动体验。ROADS,指实时(Real-time)、按需(On-demand)、全在线(All-online)、服务自助(DIY)和社交化(Social)。

目前,国内银行的运营模式已经完成了向Bank 3.0时代的转型,正在向Bank 4.0时代演进。Bank 3.0时代要求银行的网络高可用,并提供7×24 h的在线接入能力。此外,Bank 3.0时代还要求银行的基础设施具备IT(Information Technology,信息技术)基础架构,金融网络需要具备敏捷弹性和灵活扩容的业务支撑能力。Bank 4.0时代要求银行将AI、大数据、云计算等科技融入IT基础设施,为业务与运营的转型提供科技动力。

伴随着金融运营模式的转型,银行的数据中心也一路向着信息化发展,从大集中数据中心普遍发展到虚拟化数据中心,正在向云数据中心转型,如图1-2所示。

图1-2 银行数据中心信息化演进趋势

大集中数据中心通过网络实现业务的集中操作、数据的集中存储和管理,有利于集约化管理,减少运维成本。数据集中之后,为了实现业务持续运行,确保数据安全可靠,需要建设数据同步复制的同城数据中心和异步复制的异地灾备中心。如人民银行规定,资产超过1000亿元的金融企业需要建设异地灾备中心。

数据集中之后,银行采用虚拟化技术提高了计算、存储性能和网络的资源利用率,实现了灵活、高效、动态的IT基础架构。这样便于金融服务的创新,满足了银行快速推出产品和服务的需求。目前国内大中型银行普遍处于这个阶段,这个阶段主要采用VMWare ESX平台实现计算虚拟化、vSAN(virtual Storage Area Network,虚拟存储区域网络)实现存储虚拟化、VLAN+VRRP[1]实现网络虚拟化。

国内部分技术领先的银行已经完成了云数据中心的部署,将生产业务部署在其金融私有云上,云计算+SDN(Software Defined Network,软件定义网络)是主流的部署模式。国内大部分中小型银行,包括城商农信、股份制银行,以及证券、保险业和绝大部分海外银行目前仍处于部署虚拟化数据中心的阶段,部分正在试点部署云数据中心。

Bank 4.0时代的特点是利用信息技术实现“无处不在的银行”,即建设以最新的信息技术为底座的银行。因此,对于银行而言,必须引进并应用最新的信息技术才能实现其竞争优势。例如,新信息技术可以提高资源效率,提升用户体验,降低运营成本。这些信息技术的价值以及其对网络的要求如表1-1所示。

表1-1 信息技术的价值及其对网络的要求

信息技术对网络提出了新的需求,在CT(Communications Technology,通信技术)领域就有对应的新的通信技术来满足这些需求,通信技术的价值及其对信息技术的匹配如表1-2所示。

表1-2 通信技术的价值及其对信息技术的匹配

续表

注:LAN即Local Area Network,局域网;WAN即Wide Area Network,广域网。

1.1.2 银行网络架构的演进趋势

银行的网络架构经过了几个发展阶段,从信息烟囱,到全网互联,再到数据大集中、将分行数据上传至总行数据中心。

到2010年前后,国内主要大中型银行基本完成了两地三中心和以数据中心为核心节点的骨干网建设,广域网采用了EBGP+EIGRP,专线采用了ATM+SDH[2]。目前大部分银行完成了由广域网向EBGP+OSPF、专线向MSTP+SDH的改造[3],这也是银行当前的主流网络建设模式。

部分领先的银行自2016年起逐步建成了采用 MPLS VPN+SD-WAN[4]承载多业务的核心骨干网,并进行广域链路调优,同时建设了以SDN+VXLAN对接OpenStack云平台为基础的数据中心,采用了多地多中心的网络架构,每个云数据中心有各自的功能定位。

1.1.3 金融数据中心网络的现状与存在的问题

本节对主流的金融网络的网络总体架构、数据中心网络架构、数据中心分区网络架构、同城数据中心网络互联架构逐一展开介绍,最后分析当前金融数据中心网络存在的问题。

1.网络总体架构

金融网络总体架构分为服务域、通道域和用户域,如图1-3所示,图中双向箭头表示依赖关系,单向箭头表示组成关系。

图1-3 金融网络总体架构

用户域

用户域包括行内用户和行外用户,其中行内用户包括分支机构用户、数据中心用户和总行用户,行外用户包括互联网用户和外联第三方用户。不同类型的用户接入不同的网络,详情如下。

• 分支机构用户:通过通道域中的内网接入数据中心网络。

• 数据中心用户:数据中心网络分区中本地用户接入区。

• 总行用户:先通过城域网接入通道域中的内网,再接入总行数据中心广域区。

• 互联网用户:通过通道域中的内网接入数据中心网络。

• 外联用户:通过通道域中的内网(主要是专线接入)接入数据中心网络。

通道域

通道域中的内网由金融企业的核心骨干网、一级骨干网、二级骨干网、网点广域网组成。银行网点接入网点广域网,网点广域网接入二级骨干网,二级骨干网还可能挂接在二级分行广域区,二级骨干网接入一级骨干网,一级骨干网挂接在一级分行广域区,一级骨干网接入核心骨干网,总行数据中心挂接在核心骨干网。目前银行正在进行扁平化改造,后续会逐步减少二级骨干网的建设。

服务域

服务域提供了各种金融业务服务,涵盖了金融企业总行和一级分行的数据中心网络中的全部主机区(IBM大型机)和服务器区(x86服务器),提供的服务包括核心业务(如会计核算、客户信息处理、后台业务、资金业务、结算业务等)、中间业务(如银行卡业务、国际业务、代理业务、外联业务、信贷业务等)、渠道服务系统(网上银行、电话银行、手机银行、自助银行、综合柜员等)、管理支撑系统(如经营管理、风险管理、管理平台、办公系统等)等。

2.数据中心网络架构

金融网络的数据中心普遍采用两地三中心的网络架构,部分银行正在向多地多中心的网络架构演进。一般来说,主中心、同城灾备中心、异地灾备中心通过广域网互联,支持应用系统跨园区部署。同时,主中心、异地灾备中心也需要部署生产互联网的出口。大型银行的互联网出口总带宽通常为10~20 Gbit/s,服务器总数超过10 000台。

数据中心内部统一采用交换核心来汇聚各物理分区。物理分区规模通常不大,目前规模最大的物理分区可承载约1000台物理服务器。新引入的服务器网卡通常为10GE(Gigabit Ethernet,千兆以太网)网卡,GE网卡主要用于服务器的带外管理。

各物理分区边界都需要部署防火墙,防火墙策略一般多于50 000条,变更防火墙策略的工作量巨大,可达到10 000次/年,防火墙策略变更数量占网络变更总量的60%以上。各物理分区都部署了负载均衡设备,服务多个应用系统。园区部署分布式DNS(Domain Name Service,域名服务)系统。分行客户端访问数据中心的应用、5级灾备应用访问DB(Database,数据库)已实现通过域名方式访问。

说明:金融业务系统按照重要性划分为5个灾备级别。5级灾备应用要求具备数据实时同步备份的能力,该应用在同城数据中心双活部署。

常见的一种数据中心网络架构示例如图1-4所示。

注:ECC即Enterprise Command Center,企业控制中心。

图1-4 数据中心网络架构示例1

上述分区中,一般情况下业务1区为柜面业务区,业务3区为网银业务区,业务5区为办公、邮件和Notes业务区,其余业务区根据实际部署情况可能有不同的功能。

如图1-5所示,根据应用特点、重要性、安全隔离、运维管理等因素,也可以将数据中心网络划分为核心业务区、外联隔离区、互联网区、语音视频区、办公管理区、管理外网区。

注:POD即Point of Delivery,分发点。

图1-5 数据中心网络架构示例2

图1-6展示了另一种常见的数据中心网络分区方式。基于业务系统的开发平台划分为主机区(IBM大型机)和开放平台区(x86服务器)。数据中心采用传统分区设计,二层网络采用STP(Spanning Tree Protocol,生成树协议)组网技术,三层网络采用OSPF的路由设计。在网络安全方面,使用防火墙将生产网和办公网进行隔离,在互联网区(网银区)部署异构防火墙、AntiDDos等设备,大部分用户域业务区未部署防火墙。网络运维的主要痛点在于日常需要大量变更安全策略,数据中心的安全运维是按边界最小授权原则处理,每周处理几百条ACL(Access Control List,访问控制列表)。最小授权原则指默认拒绝访问,按需开放最小的访问权限(网段+端口)。

图1-6 金融数据中心网络架构示例3

3.数据中心分区网络架构

上述几个示例适用于具有不同的业务规模和需求的金融企业,都采用了水平分区、垂直分层的设计思路。每个分区内部的网络通常采用汇聚交换机+汇接交换机+接入交换机的架构,汇聚层部署网关,数据中心主流的服务器分区网络架构如图1-7所示。

在主流的服务器分区网络架构中,需要独立部署数据中心核心交换机。网络主要采用汇聚交换机+汇接交换机+接入交换机的架构,每一层采用vPC(virtual Port Channel,虚拟端口通道)堆叠或M-LAG技术实现破环和链路复用。

汇聚设备包含路由核心和交换核心,采用高端框式交换机。将2台框式交换机采用VS(Virtual System,虚拟系统)技术虚拟化成4台设备,2台编号为VS0、2台编号为VS1,VS1为路由核心、VS0为三层交换核心。防火墙串联在交换核心和路由核心之间,防火墙与交换核心、路由核心之间运行静态路由,在交换核心部署服务器网关。采用TOR(Top of Rack,机架交换机)方式部署接入交换机,采用EOR(End of Rack,行末交换机)方式部署汇接交换机。

图1-7 主流服务器分区网络架构

在负载均衡设备上没有部署SNAT(Source Network Address Translation,源地址转换)功能的情况下,将服务器的网关部署在负载均衡设备上。已经部署了SNAT功能的系统,则将服务器的网关部署在核心交换机上。

除互联网区、外联区外,其他功能分区的Web、App、DB组件需要部署在同一个区域,这样组件间的互访可以不经过防火墙。服务器通过网线连接到TOR上,在一个机架上部署8台或12台服务器。

TOR通过跳线连接到分区汇接交换机,网络设备的带外管理接入交换机部署在网络柜。服务器分区网络普遍存在以下痛点:服务器部署位置固定,不同业务分区的服务器只能接入固定的网络分区对应的接入交换机,灵活性不佳,长此以往形成了资源总体紧张、局部富裕的不均衡现象;网络配置采用手工或脚本方式配置,效率低且极易出错;防火墙策略维护工作量大,且不易判断防火墙策略是否可以删除、是否冗余;手工分配IP地址,工作周期长、效率低,且部分地址采用公网地址,可能会造成地址重复;部分应用基于IP访问、不能支持SNAT,导致二层网络范围大,网关部署在负载均衡设备上,性能低、故障域大。

4.同城数据中心网络互联架构

同城数据中心之间存在引发二层网络广播风暴的风险,为了降低这种风险,大型银行普遍采用三层互联。部分中小规模银行可以使用二层互联建设网络,大型银行仅在业务临时搬迁时才使用这种方式。

二层互联普遍采用区域交换核心(网关交换机)直连DWDM(Dense Wavelength Division Multiplexing,密集波分复用)设备的方式,Eth-Trunk需要允许对应的VLAN 通过,实现二层延伸,如图1-8所示。

图1-8 同城数据中心网络互联架构

三层互联有以下两种方式:采用核心交换机直连DWDM设备;采用核心交换机连接到CPE/MCE[5],然后通过CPE/MCE连接到DWDM设备,如图1-9所示。

图1-9 同城数据中心网络三层互联架构

1.1.4 金融业务的发展需求

金融业务发展有三大趋势:数字化(digitization),通过数据分析帮助银行更好地进行风险管理,更加以客户为中心;移动互联网化(mobilization),移动互联网科技随时随地满足客户需求;普惠金融化(democratization),越来越多的人能享受到金融和银行的服务。

数字化趋势要求采用大数据、AI作为技术支撑,实现精准营销和风险管理。

移动互联网化趋势要求银行保障海量用户的服务体验,包括以下几点。

• 提供随时随地的服务,满足规模化的用户接入需求。能够应对几十亿用户和每人数十次的访问频率,网络能够支撑快速增长的业务和海量用户数据。

• 一致的用户体验,要求网络具备弹性性能,面对数十倍浪涌式流量能提供一致的体验。

• 提供个性化服务,快速创新金融业务,快速响应客户需求,产品快速更新(上市时间从以月为单位提升为以天为单位)。

• 渠道创新,4K人脸、指纹识别等要求网络具备大规模计算能力。

• 业务需要7×24 h在线。由于用户数量大,且高并发访问的概率更高,网络故障的影响更大,因此对网络可靠性的要求更高。

普惠金融化趋势要求银行IT系统能够有针对性地快速提供各类差异化服务。此外,面对支付宝、芝麻信用、蚂蚁聚宝等互联网金融企业的竞争,银行急需加速业务创新、提升竞争力:提升获客能力,准确分析客户行为,提供有竞争力的产品和服务;提升客户体验,实时处理,做到真正的事中风险控制;提升服务水平,支持PB(1 PB=220 GB)级历史数据查询,以及实时查询、长时间查询等;收集客户全方位数据,特别是非结构化数据,并据此分析和挖掘客户习惯,预测客户行为,有效进行客户细分,提高业务营销和风险控制的有效性和针对性。

金融企业普遍有自己的业务发展战略,比较共性的趋势包括:集团化,网络统一接入各个子公司,分行业务上收,提供分行云、分行托管业务;行业化,为集团外的客户提供金融IaaS(Infrastructure as a Service,基础设施即服务)、SaaS(Software as a Service,软件即服务)以及PaaS(Platform as a Service,平台即服务),建设行业云;移动化(移动互联网);数据化(大数据分析);智能化。

银行业面对上述挑战,要求IT系统支撑关键业务云化,以应对互联网流量的浪涌式访问,加快金融产品发布,提升用户体验。简化网络运维方式,专注业务创新;采用大数据分析,支撑精准营销、实时风控,通过实时查询历史数据,提高效率,提升竞争力,应对互联网金融挑战;关键业务系统双活部署,保证业务零中断、数据零丢失,满足不断加强的监管要求;金融业务的发展要求网络资源池化、灵活弹性、自动化与服务化。此外,FinTech(金融科技)技术广泛应用在传统金融企业和互联网金融企业,其技术发展对网络也提出了一系列要求。

为了达到上述要求,也需要对网络进行相应的升级,具体表现为:面对互联网创新应用的快速发布,要求网络提供灵活的资源调配和敏捷的应用部署功能;面对用户增长的不确定性和爆发性,要求网络容量具备足够的抗冲击能力和应对高并发访问的能力,同时具备灵活的按需扩展能力;面对以大数据、云计算为代表的新技术与金融业务深度融合,要求运营商提供高带宽、低时延的高性能网络,同时要求网络架构可伸缩,具备开放性与兼容性;面对形势严峻的风险防控以及网络安全威胁,需要全面提升网络安全保障能力,要求具备完整的安全防护体系,网络架构高可用,以确保业务永续,要求应用可视化、管理自动化,便于快速排障。

作为银行业务的一部分,互联网金融对网络在高可用性、高性能、灵活弹性、敏捷自动化、安全可控等方面也提出了诸多需求,如图1-10所示。

图1-10 互联网金融网络需求

数据中心云化和大数据应用是金融行业未来发展的主要方向。数据中心云化,具有虚拟机数量多、增长快、虚拟机迁移范围大的特点,对网络提出了以下新的要求。

• 东西向流量增大、二层网络的拓扑变大、网络带宽需求增加,从GE接入、10GE上行,演进到10GE接入、40GE上行,进而25GE接入、100GE上行很快得到普及。

• 要求能够在数据中心机房模块内、几个机房模块之间,甚至在同城数据中心之间灵活部署、任意迁移虚拟机,需要部署大二层网络,同时避免广播风暴。

• 需要整体规划数据中心多站点选择,用于应对云环境下的多活系统或主备系统。

• 要求接入交换机支持更大的MAC(Media Access Control,媒体访问控制)表和主机路由表项。

大数据应用具有数据量大、数据类型多、处理速度快等特点,并且流量模型一般为多打一或多打多的场景,对网络也提出了新的需求。

• 需要网络高可用和可扩展,支持ECMP(Equal-Cost Multi-Path,等价多路径)。

• 大数据应用也会产生突发流量,这就要求网络设备具有较强的缓存和队列功能,以缓解突发流量的影响。

• 大数据应用要求网络具有良好的收敛比,一般情况下,服务器和接入层的超载比为3∶1左右,接入层和汇聚层以及汇聚层和核心层之间的超载比为2∶1左右。

• 大数据应用要求网络有足够的接入带宽,要求汇聚层交换机的网络延迟较小。

• AI技术要求网络具备高性能、低时延、零丢包的特点。

| 1.2 关键需求分析 |

基于上述场景需求,金融数据中心网络的主要需求包括多种接入方式、数据复制和数据备份、端到端业务保障。多种接入方式包括VM(Virtual Machine,虚拟机)与BM(Bare Metal,裸金属服务器,也称裸机)接入或Docker接入,提供分钟/秒级业务下发;数据复制和数据备份需要在同城或者异地间进行,从而确保数据的互通性和高可用性;在端到端业务中,要求DCN为语音和视频业务提供高性能、高带宽的网络传输,保证端到端业务的流畅性和极佳的用户体验。

对网络的需求来自于业务场景,常见的业务场景包括DCN场景、统一通信场景和IP语音/呼叫中心/视频会议等场景。

DCN场景:该场景主要负责计算资源和存储资源的互联,主要需求包括VM与BM接入、Docker接入、数据复制和数据备份。

VM与BM接入要求网络提供10GE的接入带宽和40GE上行带宽的能力。服务器双归接入2台交换机,网卡采用主备或双活模式。虚拟化服务器主流的虚拟化管理平台有KVM(Kernel-based Virtual Machine,基于内核的虚拟机)、VMWare ESX和Microsoft Hyper-V,这3种虚拟化管理平台的云管平台分别为OpenStack云平台、vCenter云平台和SystemCenter云平台(集成在Windows Azure Pack中)。接入交换机的选型和数量受服务器网卡类型、网卡数量、虚拟化服务器的虚拟化比例的影响,需要调研清楚这些方面的信息。此外,还需要统一考虑Web前置机、加密机、Linux服务器、小型机、MySQL数据库服务器等,一并接入网络中。

Docker接入的部署方式可以参考VM与BM接入。为Docker独立分配IP地址,也可以基于NAT(Network Address Translation,网络地址转换)分配主机IP地址。此外,Docker可通过VLAN接入二层网络,也可以基于路由接入网络。在实际应用中,要求主机支持部署多个网段的Docker,这样在重启Docker时保证IP地址不变。部署Docker接入时,需要提供插件对接容器管理平台,如Kubernetes,自动化下发网络配置。

数据复制主要分为数据中心内的数据存储、同城数据中心的同步数据复制和异地数据中心的异步数据复制3种方式。数据中心内的数据存储可分成SAN(Storage Area Network,存储区域网络)存储和NAS / GPFS(General Parallel File System,通用并行文件系统)存储。对于SAN存储,需要建设数据中心内的SAN网络。对于NAS / GPFS存储,则可以利用数据中心内的业务IP网络。同城数据中心内的数据存储主要通过FC(Fibre Channel,光纤通道)网络进行,网络需要为同步数据复制提供逻辑通道。FC同步复制的RTT(Round Trip Time,往返路程时间,也称往返时延)要求低于1 ms。对于FC over IP的方式,网络需要为异步数据复制提供IP连接。同城中心间的NAS/GPFS复制则利用同城数据中心间的业务IP网络完成。对于异地中心间的NAS/GPFS复制,当流量不大时,使用异地数据中心间的业务IP网络;当流量较大时,需在异地中心间规划独立的网络逻辑通道。

数据备份同样分成数据中心内的数据备份、同城数据中心间的数据备份和异地数据中心间的数据备份。对于采用LAN-Free(指快速随机存储设备向备份存储设备复制数据,如磁盘阵列或服务器硬盘向磁带库或磁带机复制数据)的方式,需要建设数据中心内的SAN;对于采用LAN-Base(基于局域网)的方式,可以利用数据中心内的业务IP网络。同时网络需要为同城和异地数据备份提供链接,并对NAS(Network Attached Storage,网络附接存储)部署提供支持。

统一通信场景:该场景对网络的主要需求是从分支机构到数据中心进行三层网络的连接,同时要求网络传输时延低于150 ms、丢包率小于1%、时延抖动低于20 ms。

IP语音系统/呼叫中心/视频会议场景:该场景同样需要建立同城数据中心之间和分支机构与数据中心之间三层网络的连接,同时对网络传输时延、丢包率和时延抖动均有要求。

除在不同应用场景下对网络的需求不同之外,数据中心对于网络质量也提出了一定的需求,网络质量的保障对网络的稳定、健康运行起着关键作用。网络质量需求主要包括网络高可用、网络高安全、网络自动化和网络资源池化。

1.网络高可用

对于金融数据中心网络,网络高可用需求是确保业务永续的基石。从Garnter发布的意外宕机事件统计来看,金融行业发生的影响业务的事件中,40%是人为误操作,且大部分故障来源于应用与系统的故障。详细分析问题根因可以发现,绝大部分故障与二层网络的技术故障(二层环路、未知单播泛洪)相关。

为此,金融企业普遍采用建设同城双中心+异地数据中心的方式,保证网络发生故障时业务可以快速切换与恢复,避免出现全局性故障,确保在15 min内恢复业务。

为了应对确保业务不间断的需求,需要网络具备高可用的特性。目前,业界普遍采用部署SDN的方式来提供高可用的网络。SDN的高可用性主要体现在:SDN控制器发生故障不影响数据转发面,不会中断业务的访问;SDN优化了数据中心内部和数据中心之间的广播流量,减少了故障域;Underlay网络与Overlay网络的路由相互隔离,互不影响;业务不感知硬件设备的软件版本升级和配件的替换。

2.网络高安全

网络高安全需求确保了数据安全,是金融数据中心网络的核心要务。数据安全关系到金融企业的信誉,甚至影响到国计民生。在金融数据中心网络中,除了需要保留传统安全措施,还需要重点考虑云环境下的数据中心网络安全。云的开放性引入了更多的安全威胁,如漏洞、恶意渗透、远程控制等,需要更智能的下一代安全防御体系应对安全威胁。金融数据中心在数据安全方面的需求,主要包括以下2个方面。

• 自动化安全,传统安全部署的上线速度难匹配云业务的需求,运维人员手动配置海量的安全策略,也增加了运维成本,因此需要自动化的安全运维手段。

• 云基础设施的安全防护,包括虚拟基础设施的安全,如Hypervisor/OS(Operating System,操作系统)/应用环境的未知漏洞、针对基础设施的APT(Advanced Persistent Threat,高级持续威胁)攻击、应用认证和鉴权安全等;虚拟网络的安全,如存在东西向防御盲点、VM被渗透后横向感染或攻击基础设施;租户边界和租户内部的安全;虚拟化资源管理的安全,如NFV(Network Functions Virtualization,网络功能虚拟化)/SDN管理部件之间的通信安全、API调用安全;开放业务的安全,如源组件/第三方VNF(Virtual Network Function,虚拟网络功能)的未知漏洞、移动跳板攻击、网银木马。

3.网络自动化

网络自动化是指网络支持快速敏捷发放各类创新型业务,确保传统金融企业在与互联网金融企业的竞争中保持业务优势。自动化和标准化使网络运维人员从传统烦琐的配置变更中解放出来,不再忙于贴配置、定位问题,可以投入到更有价值的工作,如网络优化、网络规划。

4.网络资源池化

网络资源池化要求网络资源池可以弹性扩缩,业务从资源池中申请资源,有效保障业务的正确性和效率周期,确保在重要的时间节点前业务能够快速上线,网络自动化和资源池化将带来业务效率的极大提高和用户体验的显著改善。

结合上述的需求分析,我们提出了面向云的金融数据中心目标架构,推导出对应的金融云数据中心网络网络规划设计目标,用以指导网络具体的规划设计。

| 1.3 规划设计目标 |

1.3.1 金融数据中心目标架构

金融数据中心目标架构由5个部分组成,如图1-11所示。5个功能层相互协作,实现云数据中心的技术标准化、能力服务化、供给快速化、资源弹性化、管理自动化。

基础设施:由服务器、存储、网络/安全等部分组成,此外还包括机房的基础设施,包括空调制冷、综合布线等。不同数据中心的基础设施通过DCI(Data Center Interconnection,数据中心互联)网络互连互通。

资源池:包括以OpenStack云平台为管理中心的生产资源池、开发测试资源池、外网DMZ(Demilitarized Zone,半信任区)资源池、托管资源池、灾备资源池等。每个资源池由存储资源池(集中式存储或分布式存储)、计算资源池(虚拟机资源池、物理机资源池)、网络资源池构成。

图1-11 云数据中心目标架构

服务域:服务域统一封装提供各类服务,包括计算服务、存储服务、网络服务、VDC(Virtual Data Center,虚拟化数据中心)服务、灾备服务、大数据服务、容灾服务和服务平台。计算服务包含EIP(Elastic IP Address,弹性IP地址)、BM;存储服务包含弹性块存储和分布式块存储;网络服务包含VPC(Virtual Private Cloud,虚拟私有云)、vFW(virtual Firewall,虚拟防火墙)、vLB(virtual Load Balancing,虚拟负载均衡)、vRouter(virtual Router,虚拟路由器);VDC服务包括服务目录管理、自动化运维;灾备服务包括BKaaS(Backup as a Service,备份即服务)、云主备容灾;大数据服务包括批处理服务、离线分析服务、内存计算服务;容灾服务包括应用商店、灰度发布、弹性扩缩;服务平台是为服务提供了各种保障基础能力的平台,包括资源SLA、资源调度、计量计费、服务编排、VDC、标准API。

应用域:基于服务域提供的标准API构建的面向特定业务领域的各类应用,包括直销银行、电子银行、互联网小额贷、移动支付、互联网理财等。

管理域:提供运营管理,包括用户管理、资源管理、服务目录、资源编排与调度、计量统计;运维管理,包括统一监控、统一告警、统一拓扑、智能分析;灾备管理,包括BKaaS、容灾服务。

1.3.2 金融数据中心网络规划设计目标

网络规划设计的最终目标是支撑业务发展,满足业务弹性供应、应用快速部署、信息互通共享、系统分布扩展、负载灵活调度的需求。为此,业界提出了金融数据中心网络设计目标,可以简单总结为“ICs DCN”,如图1-12所示。

图1-12 金融数据中心网络设计目标

在ICs DCN中,“I”指Intelligent-Network(智慧网络),包括高性能、低时延、零丢包的AI Fabric,以及AIOps(Artificial Intelligence for IT Operations,智能运维)、智能安全。“C”指Cloud-Based(云化架构),通过SDN对接云平台实现自动化、软件化、资源化,同时要求能够兼容非云服务器的接入,以及与非云网络的对接。“s”指Service-Drive(服务驱动),面向应用、聚焦服务,将网络功能服务化,是云化的更高层次。

根据ICs DCN的目标,将金融数据中心网络设计目标具体化为高可用、高安全、高性能、灵活弹性扩缩、自动化与服务化和运维可视化与智能化等几个方面。

高可用是指要求金融数据中心网络达到99.999%(“5个9”)的可用性,网络架构必须采用分层和分布式的网络架构,要求故障域能够隔离故障,并完成自愈,同时降低故障域的范围,消除二层环路风险。同时优化局域网二层广播,检测阻断异常流量。Underlay网络最好设计为IP网络,保证无环路。

高安全是指提供端到端、立体化的安全防范措施,将安全控制手段精细化。可通过如下方法实现高安全的金融数据中心网络。第一,在通道域、服务域、用户域的边界部署安全控制,实现数据中心内不同分区的安全隔离。第二,部署分布式、基于VM层次的安全配置,使安全控制更加精细化。第三,灵活控制网段互访,可以灵活插入安全服务,实现数据中心不同网段的访问控制。第四,防火墙提供精细化的ACL规则和策略,以及对安全策略的统一管理。第五,防范未知安全风险,智能阻断,比如引入IPS(Intrusion Prevention System,入侵防御系统)、CIS(Cybersecurity Intelligence System,网络安全智能系统)等智能分析系统,阻断来自数据中心外部的威胁和攻击。

高性能是指提供微秒级的低时延网络传输能力以及多种速率的互连接口,支持10GE、25GE的接入带宽和40GE、100GE上行带宽。

灵活弹性扩缩是指网络能支持计算、存储资源的大规模池化,单一物理分区可承载5000~10 000台服务器,物理分区支持跨机房的模块部署,服务器接入与物理位置适度解耦。同时对数据中心内部各物理分区进行划分,适度合并物理分区,提高计算、存储的资源池化共享能力。当前,大部分金融企业采用基于EVPN的VXLAN资源池,满足灵活弹性地部署服务器的需求。

自动化与服务化是指网络能够对接云平台或控制器等网络管理平台,实现网络服务按需自助、敏捷自动交付,支撑业务快速上线。网络管理平台必须能支持网络二层/三层配置、负载均衡策略配置、防火墙策略的自动部署与回收、IP地址资源分配的自动化部署与回收等功能,实现在计算节点的供应流程中动态绑定网络服务。

运维可视化与智能化是指网络提供的运维功能可实现拓扑可视化、资源可视化、流量可视化和转发路径可视化。同时网络中的硬件故障是可预测的,能够实现监控、分析和控制的协同,分析收集的数据,并将分析结果通过控制器自动反馈给网络。

| 1.4 金融数据中心网络典型的规划设计方案 |

金融数据中心网络的规划设计方案,根据自动化的程度不一样,分为云网一体化方案、网络虚拟化+方案和网络虚拟化方案,下面将详细介绍。

1.4.1 云网一体化方案

云网一体化方案支持SDN控制器对接云平台,南向管理VXLAN域,实现IaaS自动化,其总体架构如图1-13所示。

注:VTEP即VXLAN Tunnel End Point,VXLAN隧道端点。

图1-13 云网一体化方案总体架构

云网一体化方案的应用场景如下。数据中心的计算资源入云,采用华为FusionSphere或者其他OpenStack云平台进行管理,数据中心网络采用Spine-Leaf架构,便于SDN控制器建立配置模型,SDN控制器和云平台对接,实现云网协同,自动发放配置。

具体的方案如下。

• SDN控制器对接OpenStack云平台,与计算、存储资源联动,实现对二层~七层网络的自动配置。

• Underlay网络为Spine-Leaf架构,使用EBGP或OSPF作为路由协议,实现Underlay网络的三层可达。

• 采用VXLAN作为网络虚拟化方案,IBGP EVPN[6]作为VXLAN 的控制平面协议,自动建立VXLAN隧道并同步二层/三层转发表项。

• 采用分布式的VXLAN网关,网关部署在Server Leaf上,确保流量转发路径最优。

• 将Border Leaf作为南北向边界网关,在Border Leaf上部署M-LAG。

• 部署独立的Service Leaf,连接VAS(Value-Added Service,增值业务)设备,方便VAS设备的灵活接入和弹性扩展。可以将Service Leaf和Border Leaf合并,以降低成本。

• 使用企业统一网管管理Underlay网络,简化Underlay网络的配置。

1.4.2 网络虚拟化+方案

网络虚拟化+方案是SDN控制器对接虚拟机管理器,南向管理VXLAN域,实现计算资源和网络协同自动化,其总体架构如图1-14所示。

图1-14 网络虚拟化+方案总体架构

网络虚拟化+方案的应用场景如下。采用VMWare或者其他虚拟化服务器管理数据中心的计算资源,SDN控制器与虚拟机管理器对接,实现网络与计算资源联动。

和云网一体化方案不同,该场景下SDN控制器北向对接VMM(Virtual Machine Manager,虚拟机管理器),与计算资源联动,实现对二层/三层网络的自动化配置,其中,VMM支持VMWare的vCenter(virtual Center,虚拟计算资源管理中心)和Microsoft的System Center。该方案南向管理Spine-Leaf架构的VXLAN域,可以部署集中式或分布式的VXLAN网关。

1.4.3 网络虚拟化方案

网络虚拟化方案是SDN控制器与计算管理平台(如vCenter、OpenStack)各自独立发放业务配置,南向管理VXLAN域,SDN控制器提供Overlay网络的自动化功能,其总体架构如图1-15所示。

图1-15 网络虚拟化方案总体架构

网络虚拟化方案的应用场景如下。接入服务器为VMWare VSS(Virtual Software Switch,虚拟软件交换机)等,不被云平台纳管,SDN控制器与计算管理平台各自独立发放业务。

和网络虚拟化+方案类似,网络虚拟化方案通过VMWare实现计算资源的资源池化,不同之处在于SDN控制器与计算管理平台各自独立发放业务,不需要联动。另外,该方案也南向管理Spine-Leaf架构的VXLAN域,可以部署集中式或分布式的VXLAN网关。

1.4.4 方案对比分析

云网一体化方案、网络虚拟化+方案、网络虚拟化方案有各自的特点,在金融数据中心网络中都有部署案例。3种方案对比分析如表1-3所示。

表1-3 3种方案对比分析

1.4.5 方案的核心价值

基于VXLAN+Spine-Leaf+SDN+OpenStack的金融数据中心网络规划设计方案,整体上在可靠性、安全性、开放性、网络性能等方面给客户带来了价值。

对于金融企业,该网络架构使IT系统资源池化,资源利用率从25%提升至60%,极大降低了企业的IT资本支出。同时,企业业务自动化发放,一方面使上市效率提升15倍,如小微贷等业务的上市时间从以周为单位减少到以天单位;另一方面,帮助网络技术人员从烦琐、重复的工作中解放出来,如不用频繁地变更跳线和防火墙策略等,从而能够从事更有价值的分析和优化工作。

根据Garnter统计,40%左右的故障是人为的配置变更导致,通过模板化、自动化的配置下发,能够杜绝没有经过验证的人为疏忽带来的变更错误,从而带来运维效率、运维质量的极大改善。而基于大数据分析的智能运维,可使故障定位从以小时为单位降低到以分钟为单位。同时SDN采用了先进的设计理念,基础网络无环,消除了产生广播风暴的风险,提升了网络的可靠性,为银行能够提供7×24 h不间断服务提供了坚实的技术保障。互联网金融类创新型业务能够快速部署、资源能够弹性扩缩,有效应对网络的浪涌式访问,保证客户有良好的体验,提升银行业务的总体竞争力。

对于其他金融企业客户,该网络架构使得金融企业可以快速响应客户需求,客户能够快速融资,小时级的到账时间、秒级的支付响应,都提升了客户体验。同时运维服务能力的提升可使用户能够享受7×24 h的自主服务。安全性的提升使数据能够端到端加密,信息零泄露,有效地保护了客户的隐私。

注释

[1]VLAN即Virtual Local Area Network,虚拟局域网;VRRP即Virtual Router Redundancy Protocol,虚拟路由冗余协议。

[2]EBGP即 External Border Gateway Protocol,外部边界网关协议;EIGRP即Enhanced Interior Gateway Routing Protocol,增强型内部网关路由协议;ATM即Asynchronous Transfer Mode,异步传输方式;SDH即Synchronous Digital Hierarchy,同步数字体系。

[3]OSPF即Open Shortest Path First,开放式最短路径优先;MSTP即Multiple Spanning Tree Protocol,多生成树协议。

[4]MPLS即Multi-Protocol Label Switching 多协议标记交换;VPN即Virtual Private Network,虚拟专用网;SD-WAN即Software Defined Wide Area Network,软件定义广域网。

[5]CPE即Customer Premises Equipment,用户终端设备,也称用户驻地设备;MCE即Multi-VPN-instance Customer Edge,多VPN实例用户边缘。

[6]IBGP即Internal Border Gateway Protocol,内部边界网关协议。

相关图书

金融软件测试从入门到实践
金融软件测试从入门到实践
金融科技2.0:从数字化到智能化
金融科技2.0:从数字化到智能化
Python金融实战案例精粹(第2版)
Python金融实战案例精粹(第2版)
银行信息科技:构建银行数字化发展新图景
银行信息科技:构建银行数字化发展新图景
金融中的人工智能
金融中的人工智能
Python期货量化交易
Python期货量化交易

相关文章

相关课程