运营商数据中心网络架构与技术

“十四五”时期国家重点出版物出版专项规划项目

华为网络技术系列

运营商数据中心网络架构与技术

徐文伟 侯延祥 余根销 主编

陈军 张忠刚 副主编

人民邮电出版社

北京

图书在版编目（CIP）数据

运营商数据中心网络架构与技术/徐文伟，侯延祥，余根销主编.--北京：人民邮电出版社，2023.4

（华为网络技术系列）

ISBN 978-7-115-61068-3

Ⅰ.①运… Ⅱ.①徐…②侯…③余… Ⅲ.①计算机网络―数据处理 Ⅳ.①TP393

中国国家版本馆CIP数据核字（2023）第017590号

定价：69.80元

读者服务热线：(010)81055552 印装质量热线：(010)81055316

反盗版热线：(010)81055315

广告经营许可证：京东市监广登字20170147号

内容提要

本书以运营商数据中心网络面临的业务挑战为切入点，详细介绍运营商数据中心网络的架构设计、技术实现和规划设计，并给出部署建议。首先，本书介绍运营商数据中心整体业务的发展情况，从业务的维度总结运营商数据中心的5个场景业务——IT云、电信云、IDC、公有云以及城域IPTV与CDN对网络的诉求。接着，本书基于运营商业务的三个主要场景——IT云、电信云和IDC，给出业务和网络发展趋势、需求分析、网络架构设计和安全设计。最后，本书还着重针对云计算时代的运营商数据中心网络如何运维进行了阐述。

本书可以为构建安全、可靠、高效、开放的运营商数据中心网络提供参考和帮助，适合企业和科研院所信息化部门及数据中心的技术人员阅读，也可为高等院校计算机网络相关专业的师生提供参考。

丛书编委会

主任 徐文伟 华为董事、科学家咨询委员会主任

副主任 胡克文 华为数据通信产品线总裁

赵志鹏 华为数据通信产品线副总裁

吴局业 华为数据通信产品线研发部总裁

委员 丁兆坤 段俊杰 冯苏 韩涛

胡伟 刘建宁 马烨 孟文君

钱骁 邱月峰 孙建平 孙亮

王辉 王雷 王岩军 王武伟

王焱淼 王志刚 业苏宁 张亮

左萌 祝云峰

推荐语

该丛书由华为公司的一线工程师编写，从行业趋势、原理和实战案例等多个角度介绍了与数据通信相关的网络架构和技术，同时对虚拟化、大数据、软件定义网络等新技术给予了充分的关注。该丛书可以作为网络与数据通信领域教学及科研的参考书。

——李幼平

中国工程院院士，东南大学未来网络研究中心主任

当前，国家大力加强网络强国建设，数据通信就是这一建设的基石。这套丛书的问世对进一步构建完善的网络技术生态体系具有重要意义。

——何宝宏

中国信息通信研究院云计算与大数据研究所所长

该丛书以网络工程师的视角，呈现了各类数据通信网络设计部署的难点和未来面临的业务挑战，实践与理论相结合，包含丰富的第一手行业数据和实践经验，适用于网络工程部署、高校教学和科研等多个领域，在产学研用结合方面有着独特优势。

——王兴伟

东北大学教授、研究生院常务副院长，国家杰出青年科学基金获得者

该丛书对华为公司近年来在数据通信领域的丰富经验进行了总结，内容实用，可以作为数据通信领域图书的重要补充，也可以作为信息通信领域，尤其是计算机通信网络、无线通信网络等领域的教学参考。该丛书既有扎实的技术性，又有很强的实践性，它的出版有助于加快推动产学研用一体化发展，有助于培养信息通信技术方面的人才。

——徐恪

清华大学教授、计算机系副主任，国家杰出青年科学基金获得者

该丛书汇聚了作者团队多年的从业经验，以及对技术趋势、行业发展的深刻理解。无论是作为企业建设网络的参考，还是用于自身学习，这都是一套不可多得的好书。

——王震坡

北京理工大学教授、电动车辆国家工程研究中心主任

这是传统网络工程师在云时代的教科书，了解数据通信网络的现在和未来也是网络人的一堂必修课。如果不了解这些内容，迎接我们的可能就只有被淘汰或者转行，感谢华为为这个行业所做的知识整理工作！

——丘子隽

平安科技平安云网络产品部总监

该丛书将园区办公网络、数据中心网络和广域互联网的网络架构与技术讲解得十分透彻，内容通俗易懂，对金融行业的IT主管和工作人员来说，是一套优秀的学习和实践指导图书。

——郑倚志

兴业银行信息科技部数据中心主任

总序

“2020年12月31日，华为CloudEngine数据中心交换机全年全球销售额突破10亿美元。”

我望向办公室的窗外，一切正沐浴在旭日玫瑰色的红光里。收到这样一则喜讯，倏忽之间我的记忆被拉回到2011年。

那一年，随着数字经济的快速发展，数据中心已经成为人工智能、大数据、云计算和互联网等领域的重要基础设施，数据中心网络不仅成为流量高地，也是技术创新的热点。在带宽、容量、架构、可扩展性、虚拟化等方面，用户对数据中心网络提出了极高的要求。而核心交换机是数据中心网络的中枢，决定了数据中心网络的规模、性能和可扩展性。我们洞察到云计算将成为未来的趋势，云数据中心核心交换机必须具备超大容量、极低时延、可平滑扩容和演进的能力，这些极致的性能指标，远远超出了当时的工程和技术极限，业界也没有先例可循。

作为企业BG的创始CEO，面对市场的压力和技术的挑战，如何平衡总体技术方案的稳定和系统架构的创新，如何保持技术领先又规避不确定性带来的风险，我面临一个极其艰难的抉择：守成还是创新？如果基于成熟产品进行开发，或许可以赢得眼前的几个项目，但我们追求的目标是打造世界顶尖水平的数据中心交换机，做就一定要做到业界最佳，铸就数据中心带宽的“珠峰”。至此，我的内心如拨云见日，豁然开朗。

我们勇于创新，敢于领先，通过系统架构等一系列创新，开始打造业界最领先的旗舰产品。以终为始，秉承着打造全球领先的旗舰产品的决心，我们快速组建研发团队，汇集技术骨干力量进行攻关，数据中心交换机研发项目就此启动。

CloudEngine 12800数据中心交换机的研发过程是极其艰难的。我们突破了芯片架构的限制和背板侧高速串行总线（SerDes）的速率瓶颈，打造了超大容量、超高密度的整机平台；通过风洞试验和仿真等，解决了高密交换机的散热难题；通过热电、热力解耦，突破了复杂的工程瓶颈。

我们首创数据中心交换机正交架构、Cable I/O、先进风道散热等技术，自研超薄碳基导热材料，系统容量、端口密度、单位功耗等多项技术指标均达到国际领先水平，“正交架构+前后风道”成为业界构筑大容量系统架构的主流。我们首创的“超融合以太”技术打破了国外FC（Fiber Channel，光纤通道）存储网络、超算互联IB（InfiniBand，无限带宽）网络的技术封锁；引领业界的AI ECN（Explicit Congestion Notification，显式拥塞通知）技术实现了RoCE（RDMA over Converged Ethernet，基于聚合以太网的远程直接存储器访问）网络的实时高性能；PFC（Priority-based Flow Control，基于优先级的流控制）死锁预防技术更是解决了RoCE大规模组网的可靠性问题。此外，华为在高速连接器、SerDes、高速AD/DA（Analog to Digital/Digital to Analog，模数/数模）转换、大容量转发芯片、400GE光电芯片等多项技术上，全面填补了技术空白，攻克了众多世界级难题。

2012年5月6日，CloudEngine 12800数据中心交换机在北美拉斯维加斯举办的Interop展览会闪亮登场。CloudEngine 12800数据中心交换机闪耀着深海般的蓝色光芒，静谧而又神秘。单框交换容量高达48Tbit/s，是当时业界最高水平的3倍；单线卡支持8个 100GE端口，是当时业界最高水平的4倍。业界同行被这款交换机超高的性能数据所震撼，业界工程师纷纷到华为展台前一探究竟。我第一次感受到设备的LED指示灯闪烁着的优雅节拍，设备运行的声音也变得如清谷幽泉般悦耳。随后在2013年日本东京举办的Interop展览会上，CloudEngine 12800数据中心交换机获得了DCN（Data Center Network，数据中心网络）领域唯一的金奖。

我们并未因为CloudEngine 12800数据中心交换机的成功而停止前进的步伐，我们的数据通信团队继续攻坚克难，不断进步，推出了新一代数据中心交换机——CloudEngine 16800。

华为数据中心交换机获奖无数，设备部署在90多个国家和地区，服务于3800多家客户，2020年发货端口数居全球第一，在金融、能源等领域的大型企业以及科研机构中得到大规模应用，取得了巨大的经济效益和社会效益。

数据中心交换机的成功，仅仅是华为在数据通信领域众多成就的一个缩影。CloudEngine 12800数据中心交换机发布一年多之后，2013年8月8日，华为在北京发布了全球首个以业务和用户体验为中心的敏捷网络架构，以及全球首款S 12700敏捷交换机。我们第一次将SDN（Software Defined Network，软件定义网络）理念引入园区网络，提出了业务随行、全网安全协防、IP（Internet Protocol，互联网协议）质量感知以及有线和无线网络深度融合四大创新方案。基于可编程ENP（Ethernet Network Processor，以太网络处理器）灵活的报文处理和流量控制能力，S 12700敏捷交换机可以满足企业的定制化业务诉求，助力客户构建弹性可扩展的网络。在面向多媒体及移动化、社交化的时代，传统以技术设备为中心的网络必将改变。

多年来，华为以必胜的信念全身心地投入数据通信技术的研究，业界首款2T路由器平台NetEngine 40E-X8A / X16A、业界首款T级防火墙USG9500、业界首款商用Wi-Fi 6产品AP7060DN……随着这些产品的陆续发布，华为IP产品在勇于创新和追求卓越的道路上昂首前行，持续引领产业发展。

这些成绩的背后，是华为对以客户为中心的核心价值观的深刻践行，是华为在研发创新上的持续投入和厚积薄发，是数据通信产品线几代工程师孜孜不倦的追求，更是整个IP产业迅猛发展的时代缩影。我们清醒地意识到，5G、云计算、人工智能和工业互联网等新基建方兴未艾，这些都对IP网络提出了更高的要求，“尽力而为”的IP网络正面临着“确定性”SLA（Service Level Agreement，服务等级协定）的挑战。这是一次重大的变革，更是一次宝贵的机遇。

我们认为，IP产业的发展需要上下游各个环节的通力合作，开放的生态是IP产业成长的基石。为了让更多人加入推动IP产业前进的历史进程中来，华为数据通信产品线推出了一系列图书，分享华为在IP产业长期积累的技术、知识、实践经验，以及对未来的思考。我们衷心希望这一系列图书对网络工程师、技术爱好者和企业用户掌握数据通信技术有所帮助。欢迎读者朋友们提出宝贵的意见和建议，与我们一起不断丰富、完善这些图书。

华为公司的愿景与使命是“把数字世界带入每个人、每个家庭、每个组织，构建万物互联的智能世界”。IP网络正是“万物互联”的基础。我们将继续凝聚全人类的智慧和创新能力，以开放包容、协同创新的心态，与各大高校和科研机构紧密合作。希望能有更多的人加入IP产业创新发展活动，让我们种下一份希望、发出一缕光芒、释放一份能量，携手走进万物互联的智能世界。

徐文伟

华为董事、战略研究院院长

2021年12月

前言

当前，国际主流运营商都提出了数字化转型战略，而数据中心作为数字化时代的核心基础设施，毫无疑问，在运营商的数字化转型中发挥了重要的作用。本书将介绍在数字化时代，运营商数据中心网络的组网技术及解决方案。

本书共5章，具体介绍如下。

第1章 运营商数据中心业务概述

本章首先梳理运营商数据中心的发展历程，介绍从语音时代、宽带时代到云网融合时代运营商数据中心的业务特点。然后，基于业务特点，总结运营商数据中心五大场景的业务挑战及业务对网络的需求。

第2章 运营商IT云数据中心网络设计

本章首先介绍运营商IT系统业务和技术发展趋势，并基于业务分析运营商IT云网络的需求，然后，基于需求介绍运营商IT云数据中心网络架构设计和安全设计。

第3章 运营商电信云数据中心网络设计

本章首先介绍运营商电信云业务和技术发展趋势，并基于业务分析运营商电信云网络的需求，然后，基于需求介绍运营商电信云数据中心网络架构设计和安全设计。

第4章 运营商IDC网络设计

本章首先介绍运营商IDC网络业务情况，并基于业务分析运营商IDC网络的需求，然后，基于需求介绍运营商IDC网络架构设计和业务下发。

第5章 运营商数据中心网络运维设计

本章介绍云网融合时代运营商数据中心网络面临的运维挑战，从网络新建/扩容、物理网络和逻辑网络统一运维、网络变更、故障主动感知和网络故障自动定位及修复/隔离等方面，给出运营商数据中心网络的运维方案。

致谢

本书由华为技术有限公司“数据通信数字化信息和内容体验部”及“数据通信架构与设计部”联合编写。在写作过程中，华为数据通信产品线的领导给予了很多的指导、支持和鼓励，在此诚挚感谢相关领导的扶持！

以下是参与本书编写和技术审校的人员名单。

主编：徐文伟、侯延祥、余根销。

副主编：陈军、张忠刚。

编写人员：徐文伟、张磊、陈乐、张帆、陈山、朱小蕾、蒋忠平、吴学锋。

技术审校：徐文伟、郭俊、王建兵、张磊、陈乐、张帆。

参与本书编写和审稿的人员虽然有多年的ICT从业经验，但因时间仓促，书中疏漏之处在所难免，望读者不吝赐教，在此表示衷心的感谢。

本书常用图标

第1章 运营商数据中心业务概述

1.1 运营商数据中心的发展历程

当前国际主流运营商都提出了云化转型战略，云网融合的技术路线成为运营商的共识。运营商的云化战略有两个重点方向。一是网络云化，即网络基础设施向SDN（Software Defined Network，软件定义网络）/NFV（Network Functions Virtualization，网络功能虚拟化）方向演进，以此提升网络的弹性和运营效率。二是业务云化，即运营商业务向云计算转型，围绕云计算构建运营商业务体系，包括公有云、边缘计算、云专线、IT（Information Technology，信息技术）系统云计算部署等，通过云网联动打造业务竞争力。在运营商数字化转型和云网融合的布局中，运营商数据中心的重要性越来越高，围绕数据中心实现网络和业务重构，成为运营商在网络和业务发展方面的共识。

在数字化时代，运营商数据中心应该如何布局和规划？运营商数据中心基础设施应该采用什么样的技术方案？我们需要从运营商数据中心业务的发展历程中寻找答案。运营商数据中心的技术演进受业务驱动，体现了不同时代运营商与数据的关系不断变化的历程。在业务发展的不同阶段，运营商网络中数据的产生方式、类型和处理方式一直在变化，而这又推动运营商数据中心在地理位置、业务类型、技术架构、运营方式等方面不断演进。运营商的数据与运营商业务强相关，根据运营商业务的发展历程，运营商数据中心的发展大致可以分为语音时代、宽带时代和云网融合时代三个阶段。本节将通过不同时代运营商业务与数据中心的关系，探讨云网融合战略背景下运营商数据中心的业务规划和技术架构。

1.1.1 语音时代的运营商数据中心

语音时代，运营商的组网技术包括PSTN（Public Switched Telephone Network，公用电话交换网）、GSM（Global System for Mobile communications，全球移动通信系统）/CDMA（Code Division Multiple Access，码分多址）、ATM（Asynchronous Transfer Mode，异步传输模式）、SDH（Synchronous Digital Hierarchy，同步数字系列），运营商基于上述技术构建语音业务和专线业务网络。在语音时代，运营商网络内的数据特点如下。

1.业务类型单一，数据流量小

在数据类型与流量方面，受业务和终端类型的限制，运营商网络数据类型很少，主要是与语音业务相关的信令和媒体数据，以及部分企业用户专线数据。传统语音服务对网络带宽的需求较低，因此运营商网络内的数据流量小。

2.管道业务为主，数据处理重心是网络设备

在数据处理方面，语音业务的信令和媒体数据在终端用户之间交互，以ATM/SDH技术为主的专线业务数据在企业用户之间交互，因此数据主要是在网络设备上转发，除了少量的计费、运维和管理系统外，不需要提供业务系统来实现数据的处理和存储。

3.机房分散，没有数据集中点

在业务和数据分布方面，由于数据主要存在于网络设备中，而网络设备位置分散，因此运营商除了部分集中部署的计费、运维和管理系统外，没有集中的数据处理节点。

由此可见，在语音时代，运营商网络内承载数据的主体是网络设备，而不是运营商网络内的业务系统，数据更多的是在网络内简单地转发，而不涉及数据的存储和处理。那时，运营商的数据中心更多地被称为机房。以PSTN语音业务为例，在典型的二级网络架构中，网络设备通常分布在四个层级的机房（汇接局机房、骨干本地局机房、远端本地局机房和远端模块局机房）中，运营商的机房主要部署网络设备以及运营语音业务必需的计费、运维和管理系统，这些机房是运营商数据中心的雏形，机房的布局如图1-1所示。

由图1-1可知，语音时代的PSTN局点通常分为以下几类。

·汇接局：也称关口局，具备汇接功能，完成区域中多个本地网络之间的交换，以及与其他运营商之间通信业务的转换。

·骨干本地局：本地网中的一种交换局，汇接各端局通过中继线送来的话务量，再送至相应的端局。

·远端本地局：也称端局，是拥有信令点的电话局，端局直接下挂用户或拨入交换机。

·远端模块局：实际是端局的一个部分，由于距离、容量等原因，将端局的一部分模块架外延放入远端机房。远端模块局不具备独立的信令处理功能，信令需要上传至所属远端本地局（端局）处理。

实际上，运营商的一个机房通常是几种局点的混合，例如远端本地局与骨干本地局可能共享同一个机房。不同局点的业务功能和处理的数据具有严格分类。

通过不同层级的局点，完成语音业务同地域和跨地域的交换。

1.1.2 宽带时代的运营商数据中心

运营商从语音时代向宽带时代迈进，业务方面主要发生了以下变化：基于PSTN的传统语音业务向以xDSL（x Digital Subscriber Line，x数字用户线）、FTTx（Fibre To The x，光纤到x）网络为基础的Triple-play业务演进，2G的GSM/CDMA无线业务向3G/LTE（Long Term Evolution，长期演进技术）无线宽带业务演进，ATM/SDN企业专线业务向基于OTN（Optical Transport Network，光传送网）、IP（Internet Protocol，互联网协议）/MPLS（Multi-Protocol Label Switching，多协议标签交换）网络的多种类型专线业务演进，传统的管道业务向IDC（Internet Data Center，互联网数据中心）、增值业务等多元化业务演进。在业务演进的基础上，运营商网络内的数据也发生了巨大变化，具体如下。

1.业务类型丰富，用户和带宽容量急剧增长

在数据类型和流量方面，有线和无线宽带业务的终端数量、用户数量都以几何级数增长，业务类型变得多样化，除了面向连接的管道业务外，运营商还提供IDC和各类增值业务。同时，运营商内部的IT系统也得到长足发展，如NGBSS（Next Generation Business Support System，下一代业务支撑系统）、OA（Ofice Automation，办公自动化）等的引入，让运营商网络中的流量类型更加丰富。窄带语音向宽带数据业务的演进，带来了网络流量的急剧增长。

2.运营商不只提供数据转发能力，还需要提供数据处理能力

在数据处理方面，由于运营商的业务类型丰富，数据的处理不再局限于转发，而是需要在不同场景下提供数据处理和存储能力。运营商数据处理的主要场景有：运营商IT系统，包括BSS（Business Support System，业务支撑系统）、OSS（Operations Support System，运营支撑系统）、MSS（Management Support System，管理支撑系统）、大数据平台；各级IDC为OTT（Over The Top，过顶，指通过互联网为用户提供各种应用服务）解决方案等合作伙伴提供业务承载的平台；运营商增值业务，如彩铃、彩信；NB-IoT（Narrowband Internet of Things，窄带物联网）平台；城域内的IPTV（Internet Protocol Television，IP电视）、CDN（Content Delivery Network，内容分发网络）等。数据不再只是在网络设备间转发，运营商需要直接处理数据或者提供数据处理的平台。

3.业务和数据相对集中

在数据分布方面，运营商宽带业务的重心是To C业务，业务种类包括多媒体、游戏、电商、门户等，这些业务通常可接受大于20ms的时延，而且规模部署能够优化成本。因此，宽带时代的IDC、运营商IT系统、运营商增值业务等部署位置相对集中，业务通常会在区域中心和总部部署。

宽带时代，随着其网络内连接的用户数量和业务类型的增长，之前语音时代主要提供网络设备部署的机房已经不能满足其需求，运营商需要提供数据中心来承载对内和对外的业务平台。由于业务系统的部署相对集中，运营商数据中心主要分布在总部和区域中心。宽带时代运营商数据中心布局如图1-2所示。

从图1-2中可看出，从功能角度看，宽带时代运营商的数据机房主要分为两类。一类主要承载运营商网络设备，以转发业务数据为主。这类机房分布在运营商网络的各个层级，以城域网为例，包括承载无线和有线接入设备的BBU（Baseband Unit，基带单元）远端机房、OLT（Optical Line Terminal，光线路终端）远端机房，以及承载BRAS（Broadband Remote Access Server，宽带远程接入服务器）、SR（Service Router，业务路由器）、GGSN（Gateway GPRS Support Node，网关GPRS支撑节点）等网关类设备的城域骨干机房。另一类机房则是处理数据的机房，位置等级相对较高，主要是处理运营商内部运营数据的机房，通常称为EDC（Enterprise Data Center，企业数据中心），主要承载支撑运营商网络运营和管理的BSS/OSS类业务以及OA类业务。IDC机房主要用于承载运营商自营的互联网业务和增值业务，同时对外提供机架出租业务，用于第三方服务的承载。

1.1.3 云网融合时代的运营商数据中心

当前，以云计算、AI和5G为基础的数字经济方兴未艾，运营商正处于网络重构和业务转型的关键时期，纷纷推出云网融合战略以应对新时代的挑战。业务转型方面，运营商业务从宽带时代的以To C业务为主，开始转向To B和To C业务并重，基于云计算业务和5G为传统产业赋能，提供云网一体的ICT（Information and Communication Technology，信息通信技术）服务。网络重构方面，运营商利用5G和全光宽带建设的契机，采用SDN/NFV技术建设网络，推行网络云化改造，构建高效、敏捷、弹性的新一代运营商网络。云网融合时代，运营商数据中心具备的新特点如下。

1.泛在网络带来业务连接和流量类型的复杂性

随着业务从To C向To B领域的深入发展，运营商网络除了提供人和人之间的连接外，还将提供更多的人和物、物和物之间的连接。基于云计算业务和5G，新的业务类型将不断涌现，运营商网络中连接的终端类型、连接数量和业务带宽将呈指数级增长。因此，从数据连接和类型的角度看，云网融合时代，运营商网络中的数据更加多样化、复杂化，对不同类型数据的识别和处理将成为新的挑战。

2.云网协同将是运营商处理业务数据的主流方式

在宽带时代，网络和数据中心是相对解耦的，数据中心业务与网络没有协同的必要。而在云网融合时代，数据中心业务和网络紧密协同，体现为以下几点。

·网络围绕数据中心进行重构，LTE/5G核心网元基于SDN/NFV技术实现电信云化部署，在网络建设和运维环节实现云网融合。

·运营商面向企业用户提供云网融合解决方案和服务，云专线和云服务是整体解决方案中的两个组成部分，基于OTN/MPLS VPN（Multi-Protocol Label Switching Virtual Private Network，多协议标签交换虚拟专用网）的云专线或者SD-WAN（Software Defined Wide Area Network，软件定义广域网）服务，需要与公有云/行业云/边缘云业务协同才能提供整体解决方案。

·运营商IT系统（BSS/OSS/MSS）的云计算部署，无论是在单个数据中心内，还是多个数据中心互联，都需要应用SDN解决方案才能实现。

3.运营商数据中心多层次协同工作

随着5G和云计算业务的发展，运营商的数据中心业务将以层次化方式分布，对时延和带宽要求较高的业务系统将贴近用户部署，对时延和带宽要求较低、全局共享的业务系统则集中部署。多个层次的数据中心通过运营商高速网络按需互联，通过云网融合，实现运营商业务的高效、敏捷提供，也为业务创新打下了良好基础。

以DC（Data Center，数据中心）为中心进行网络重构，通过云网融合，满足网络和业务云化部署，已经成为主流运营商的共识。图1-3是运营商在云网融合时代的典型的数据中心布局。

围绕数据中心实现运营商网络重构和业务转型，已经成为当前全球主流运营商的共识。在新的云网融合架构下，不同类型的业务对网络的带宽与时延，以及资源需求类型与规模，存在较大差异。因此，规划不同层级的数据中心，满足不同类型业务的承载需求，是业务合理部署的基础。云网融合架构下，运营商数据中心可以大致分为三类，即分布式DC、CDC（Central Data Center，中心数据中心）和核心DC。其中，分布式DC分布在运营商城域网边缘，由于更接近用户，可以部署对带宽、时延敏感的业务，如面向企业用户的工业控制。CDC主要用于部署对资源规模具有更高要求，但对带宽和时延没有苛刻要求的业务，如运营商网络的控制面NFV网元、面向公众服务的视频类业务等。而核心DC用于对算力要求更高、数据集中度高、对时延要求不敏感的业务，如运营商的OSS。

1.2 运营商数据中心业务的需求与挑战

运营商新一代的网络和业务基于云网融合技术构建，运营商数据中心将成为业务的主要载体。运营商数据中心业务包括IT云、电信云、公有云、hosting、IDC、CDN和IPTV业务，不同的运营商提供的业务存在差异，除了IT云和电信云这两种网络重构必要的业务外，公有云、IDC、CDN、IPTV这几类业务中，某个特定的运营商可能提供其中的一种或者多种。业务需求和技术变革是运营商数据中心业务发展的主要驱动力。新时代，运营商数据中心业务发展存在诸多需求，面临许多挑战。由于篇幅所限，本书将重点针对运营商IT云、电信云和IDC三个场景下数据中心网络的设计进行讲解，因为在这三种场景下，数据中心网络起着较为重要的作用。

1.2.1 运营商IT系统业务发展的需求与挑战

运营商IT系统一直以来都是运营商业务运营的重要支撑，经过多年的发展，其已经形成BSS、OSS、MSS三类业务系统，分别支撑运营商的业务运营、网络运维和办公自动化。运营商IT系统在新时代的发展主要面临以下需求和挑战。

·业务发展需求：在云网融合时代，运营商的To C业务面临转型，传统语音业务转向流量经营，要求IT系统受理更便捷、计费更精准。而随着To B业务的发展，面向垂直行业市场的M2M（Machine to Machine，机器与机器通信）、大数据等新商业模式，对IT系统的角色要求从支撑系统转变为生产系统。

·技术发展需求：以BSS为例，当前的NGBSS采用传统的SOA（Service Oriented Architecture，面向服务的体系结构），采用薄平台（即业务较为简单的平台）和业务功能专业定制的开发模式，业务需求响应慢，开发周期长，项目投资大，难以满足新时代业务发展的需求。未来的IT系统的演进目标是支持快速迭代，满足新的业务发展需求。IT系统的新架构以云计算为底座，以微服务为框架，具备厚平台（即业务较为复杂的平台）和轻业务特征，支持利用云原生方式进行开发和运维。

·服务发展需求：随着移动互联网和智能终端的发展，运营商的服务提供方式也在发生变化。运营商对公众和企业的服务方式及渠道，从过去的实体门店和人工服务模式，逐步转向网上商城、手机营业厅等线上模式，推动运营商IT系统向集约化和标准化方向发展。

基于上述业务发展需求，运营商IT系统未来的发展趋势可以归纳如下。

·IT系统集中部署：IT系统集中部署已经成运营商行业的趋势。IT系统集中部署到少数几个数据中心，符合运营商IT系统的业务、技术和服务发展的需求。首先，集中部署可以提升IT基础设施的资源利用率，增强资源获取的便利性。其次，IT系统的集中开发、测试、发布可以有效提高IT系统的开发、运维效率，同时可以提高BSS/OSS域内和跨域的数据共享以及业务协同效率。最后，IT系统集中部署可以降低IT基础设施的采购和维护成本，提升维护效率。

·IT基础设施以云计算为基础：运营商的IT基础设施一直保持演进，从最早的业务系统独立建设和使用基础设施，演进到当前普遍采用资源池和云计算。运营商IT基础设施中的计算资源的类型也从早期的小型机、一体机演进到基于x86的虚拟机、裸金属服务器、容器等多种资源形态并存。未来的运营商IT系统将以云计算为底座，以微服务框架为业务部署平台，满足应用灵活部署的需求。总的来说，IT基础设施向云计算、大数据方向发展，符合当前技术潮流。

·IT系统功能逐步融合：IT系统的部署集中化，IT基础设施的资源池化，以及数据库、消息队列等中间件的标准化和通用化，是运营商IT系统在平台层面的演进趋势。而OSS/BSS应用的服务化、标准化则是应用层面的发展趋势，应用系统的融合有利于业务功能的灵活创新，有利于降低业务系统的开发和维护成本。IT系统功能的融合，可以较好地满足运营商IT系统服务发展的需求。

运营商IT系统随着集中化、基础设施云化以及功能融合，正向着运营商IT云演进，而运营商IT系统网络也需要适应这些变化，向运营商IT云网络演进。

1.2.2 运营商电信云业务发展的需求与挑战

电信云的建设是运营商云网融合战略的关键，其核心理念是采用云计算技术建设运营商网络，实现网络设备虚拟化、网络功能服务化、网络部署和运维自动化，由此提高网络的部署和运维效率，降低网络建设成本，实现网络功能的灵活扩展，满足云网融合时代网络业务快速变化的需求。电信云的建设不同于传统运营商网络的建设，在业务、技术、工程交付、运维等环节都存在新的需求和挑战，需要关注以下重点。

1.电信云的建设内容与布局

电信云的规划布局直接影响云网融合业务规划，建设电信云需要考虑的首要问题包括：哪些网络适合按照电信云方式建设？不同的网元部署在哪个层级的数据中心？电信云业务部署的优先级是什么？

2.云网协同业务的实现

电信云的云网协同包括以下几个方面。首先是电信云内的云网协同，主要解决电信云在数据中心内的部署自动化问题。其次是电信云和无线网络、承载网协同，实现5G切片从业务需求到编排和配置的闭环以及端到端的自动化。最后是运营商网络与公有云、IT云等实现联动，实现云专线和云服务的业务联动，提升部署效率。

3.电信云的成本与效率

NFV架构的用途之一是采用通用化硬件设备，替代专用网络设备，降低网络建设成本，因此建设电信云时，通常会尽量提高服务器的利用率，但需要考虑网元的运行效率是否满足业务要求，比如部分转发类网元对带宽和时延要求高，采用通用化服务器会带来性能瓶颈，成本优势也会降低。因此，建设电信云的过程中，需要在效率和成本之间取得平衡，选择合适的技术方案来部署特定的网元。

4.电信云的可靠性

电信云不同于公有云和IT云，它提供的是公共电信服务，可靠性一直是电信云业务最重要的要求之一。网络设备从传统形态转换为电信云后，新的技术体系和解决方案如何保障同等的可靠性，始终是建设电信云时最关注的问题之一。

5.电信云需要新的运维体系

电信云的维护对运营商现有的运维体系的挑战是全方位的。首先是运维团队的架构方面，传统网络之间界限清晰，运维团队按照专业分工，而电信云的基础是云计算和云网融合，维护的界面和专业分工比较模糊，因此，运维团队在团队分工协作方面面临新的挑战。其次是运维技能方面，电信云的维护需要运维人员掌握云计算、虚拟化、SDN等技术，对其技能要求更高。最后是运维平台和工具需要满足电信云的运维需求，传统的运维平台和工具是面向网络设备的，而电信云则要求对云计算基础设施和软件态的网元进行运维，因此建设电信云时除了网络建设外，还需要同时考虑运维平台和工具的建设。

1.2.3 运营商IDC业务发展的需求与挑战

从宽带时代开始，IDC就是运营商的关键业务之一。运营商IDC承载着宽带时代互联网业务的内容，为运营商的自有业务和OTT业务提供了优良的平台。IDC业务不仅仅是企业机房资源利用的一种手段，同时也是运营商To B业务的重要组成部分，IDC业务承接的OTT客户为运营商的宽带客户提供了本地化的服务和内容，可以有效提升运营商的宽带服务质量。在云网融合时代，IDC业务仍然是运营商的重要业务之一，但也面临新的需求和挑战，总结如下。

1.中小型机房的有效利用与集中运营

随着宽带城域网在全光网络时代的改造，宽带城域网的层级和节点减少，传统宽带城域网的边缘机房将被腾退。中小型机房靠近用户且具备线路资源，是不可多得的优质资产。如何对中小型机房进行业务定位和高效运营，是当前运营商普遍面临的问题。中小型机房和中心机房统一运营是提高IDC业务运营效率的有效手段。

2.需要提高IDC业务运维效率

传统的IDC业务开通，从合同的签订到机房内的配置，主要是以工单方式传递任务，手工完成IDC的相关配置，缺乏有效的IT系统和运维工具支撑。当IDC业务的范围从CDC扩展到EDC（Edge Data Center，边缘数据中心）后，有效地运维多层次、分散的机房资源成为新的需求和挑战。

3.需要解决单个用户分布在多个IDC的业务互通问题

由于IDC资源的分散化，以及租户业务的多数据中心分散部署，hosting业务需要解决用户分散在多个IDC的业务互通问题，并提供相应的QoS（Quality of Service，服务质量）和安全服务等，保证业务的SLA（Service Level Agreement，服务等级协定）。

1.2.4 运营商公有云业务发展的需求与挑战

经过十多年的发展，公有云已经逐步从线上进入线下，在企业市场中逐渐成为企业IT基础设施的主流选择。对运营商而言，未来To B业务为企业客户提供的整体解决方案中，无论是提供云网融合整体方案，还是提供企业上云专线业务，公有云都是不可或缺的一部分。在云网融合时代，运营商怎么处理公有云业务，是绕不开的话题。运营商公有云业务的需求和挑战总结如下。

首先，运营商需要根据实际情况，找到其在公有云业务中的角色和定位，这将直接影响运营商在企业解决方案、数据中心布局、网络云建设等方面的策略。运营商在公有云业务中的角色和定位主要有以下几类。

·运营商作为公有云服务商，直接提供基于自营公有云的整体解决方案。在这种情况下，运营商直接运营公有云和混合云，并整合专线、5G切片等业务，为企业提供端到端解决方案。

·运营商作为公有云渠道分销商，结合自有专线业务，提供整体解决方案。如果运营商不直接运营公有云，而是作为一个分销渠道销售公有云和混合云，同样可以整合专线、5G切片等业务，为企业提供端到端解决方案。运营商需要考虑云专线、5G切片、边缘云与多个公有云合作伙伴的对接和分工界面。

·运营商只提供云专线，不直接提供公有云业务。在运营商只提供云专线的场景中，运营商首先需要解决SD-WAN、OTN、MPLS VPN/SRv6（Segment Routing over IPv6，基于IPv6的段路由）等云专线业务的服务化和自动化配置问题。其次，在公有云POP（Point Of Presence，运营网接入点）、边缘云MEP（Multi-access Edge Platform，多接入边缘平台）对接等场景下，运营商需要解决云专线业务与公有云业务协同问题。

·运营商提供数据中心基础设施。在该合作模式中，运营商可能在提供云专线业务外，还向公有云服务商出租数据中心L0基础设施，包括机房、电源、机柜等。

其次，运营商网络重构需要重点考虑与公有云业务的云网协同。可以看到，无论运营商在公有云业务中是哪一种定位和角色，只要运营商提供企业专线业务，就需要考虑运营商网络与公有云业务的云网融合问题。因为运营商传统的企业专线业务连接的对象是企业分支和企业总部的数据中心，而在公有云和混合云服务场景中，企业专线连接对象变成了企业本地IT基础设施和公有云。运营商网络与公有云的云网融合，主要的需求和面临的挑战如下。

·企业各类型专线的服务化问题，包括SD-WAN、裸光纤、OTN、MPLS VPN/SRv6、无线切片和无线专网等。专线业务服务化要提供专线业务服务平台、资源勘查与管理、专线业务集中编排、专线配置自动化、专线监控与维护等服务。

·企业专线与公有云业务集成与协同问题。由于公有云业务提供的位置多样化，包括城域云POP、5G边缘云等场景，而公有云管理平台云专线的集成方案和API（Application Program Interface，应用程序接口）差异较大，因此运营商在云专线业务设计时，需要考虑上述情况下服务的灵活集成能力。

·运营商自有的电信云、IT云、hosting等业务的布局和资源规划，需要考虑与公有云业务的配合，才能有效实现云网融合。

1.2.5 运营商城域IPTV与CDN业务的发展需求与挑战

基于IPTV与CDN平台的视频业务是宽带时代运营商的关键业务，视频业务是家庭宽带Triple-play（语音、数据、数字电视三网合一）业务的重要组成部分，视频业务对运营商提高宽带业务附加值和用户黏性有着重要意义，提供视频业务是运营商高效利用宽带城域网并减轻骨干网压力的举措之一。运营商的CDN平台有两种运营模式，第一种是运营商独立建设和运营，第二种是运营商与第三方CDN平台合作。在云网融合时代，视频业务仍然是运营商的关键业务之一，IPTV与CDN平台和运营商新的网络架构融合，需要重点关注以下问题。

1.在5G和全光接入网络架构下，需要重新考虑CDN部署的位置

5G和全光接入网络将改变运营商无线和有线宽带城域网的架构，相比传统的城域网架构，面向公众用户的宽带业务网关位置等级将相对更低。为了提升用户的视频业务体验，同时降低流量绕行带来的时延和带宽浪费，边缘CDN的位置需要根据有线和无线宽带网关的位置做相应调整。

2.CDN业务流量承载优化

运营商网络对视频业务的承载重点需要考虑两大需求。一是单个视频源面向多个节点的转发效率，传统城域网主要采用组播方式复制转发。二是视频业务承载质量保障，承载网需要降低时延、减小抖动，提高视频业务质量。视频业务的高效稳定承载是云网融合时代运营商面临的新的网络架构挑战之一。

3.运营商CDN业务和边缘云业务的合作与竞争

在5G和全光接入网络架构下，视频和Cloud AR（Augmented Reality，增强现实）/VR（Virtual Reality，虚拟现实）等业务将随着边缘云业务推进到靠近终端用户的边缘站点，同时CDN业务也是公有云服务商在边缘云解决方案中的业务之一。在云网融合时代，运营商自建或者合作运营的CDN平台和边缘云的合作与竞争将是新的挑战。

通过以上对运营商数据中心主要业务的分析可以发现，在云网融合时代，运营商的网络重构以及业务发展都与数据中心紧密相连。运营商数据中心的业务发展面临新的挑战，同时也存在新的机遇，技术发展和业务创新是运营商网络重构和业务转型的原始动力，在全球数字经济蓬勃发展的历史背景下，相信运营商作为ICT基本能力提供方将发挥更大的作用。