前 言
在数字经济时代,算力正在成为一种新的生产力,广泛融合到社会生产生活的各个方面,为千行百业的数字化转型提供基础动力,数据中心是算力的物理承载,是数字化发展的关键基础设施。
近年来,国家高度重视数据中心产业的发展,「十四五」规划和 2035 年远景目标纲要中明确提出要「加快构建全国一体化大数据中心体系,强化算力统筹智能调度,建设若干国家枢纽节点和大数据中心集群:建设 E 级和 10E 级超级计算中心」。
工业和信息化部(以下简称「工信部」)、国家发展和改革委员会(以下简称「国家发改委」)等先后出台【新型数据中心发展三年行动计划(2021-2023年)】、【全国一体化大数据中心协同创新体系算力枢纽实施方案】等重要政策文件,有效规范了我国数据中心产业发展。
当前,我国数据中心产业正由高速发展向高质量发展全面演进布局方面,全国一体化大数据中心、新型数据中心等政策文件的出台及「东数西算」工程的实施,为数据中心协同、一体化发展指明了方向,推动全国数据中心产业布局不断优化。
市场方面, 多样化的算力需求不断涌现,为通用、智算、超算及边缘等不同类型和形态的数据中心发展提供了有效的市场牵引,推动我国数据中心市场规模持续增长。
技术方面, 储能、蓄冷、高密度、算力网络、智能运维、超融合架构等技术的创新,加速推动数据中心向大型化、智能化、绿色化方向发展。未来,我国数据中心市场仍将保持高速增长,产业布局及生态也将不断优化,可为用户提供泛在、智能、可靠的算力资源。
本蓝皮书基于全球视角和我国现状,对数据中心产业总体及热点情况进行了梳理,从技术、政策等维度对我国算力中心产业发展进行了重点分析,并对我国算力中心发展进行了展望。
一、产业持续稳定发展
以数字技术为核心驱动的第四次工业革命正在给人类生产生活带来深刻变革,数据中心作为承载各类数字技术应用的物理底座其产业赋能价值正在逐步凸显。国际方面,世界主要国家均在积极引导数据中心产业发展,数据中心市场规模不断扩大,投资并购活跃,竞争日益激烈。
国内方面,「新基建」的发展及「十四五」规划中数字中国建设目标的提出,为我国数字基础设施建设提供了重要指导,我国数据中心产业发展步入新阶段,数据中心规模稳步提升,低碳高质、协同发展的格局正在逐步形成。
(一)规模方面,全球新增相对稳定,我国保持快速增长
全球数据中心新增相对稳定。按照全球服务器年增加量统计:2015 年-2035 年全球年新增投入使用服务器规模相对稳定,净增加值也相对稳定,预计未来几年数据中心规模仍将保持平稳增长.
我国数据中心机架规模持续稳步增长,大型以上数据中心规模增长迅速。近年来,我国数据中心机架规模稳步增长,按照标准机架 2.5kW 统计,截止到2023年年底,我国在用数据中心机架规模达到 1020万架,近五年年均复合增速超过30%。其中,大型以上数据中心机架规模增长更为迅速,按照标准机架2.5kW 统计,机架规模820万架,占比达到 80%。
(二)收入方面,全球市场平稳增长,我国维持较高增速
数据中心市场收入方面,2023年全球数据中心市场规模超过879 亿美元’,较 2020 年增长 9.8%。预计 2024 年市场收入将达到1746 亿美元,增速总体保持平稳。
受新基建、数字化转型及数字中国远景目标等国家政策促进及企业降本增效需求的驱动,我国数据中心业务收入持续高速增长。2021年,我国数据中心行业市场收入达到1500亿元左右,近三年年均复合增长率达到 30.69%,随着我国各地区、各行业数字化转型的深入推进,我国数据中心市场收入将保持持续增长态势。
(三)需求方面,新兴市场需求强劲,我国应用场景多样
从全球范围来看,受全球数字经济加速发展促进,印度、南非等新兴市场逐步加强对数据中心的政策支持和产业投入,成为拉动全球数据中心需求增长的重要增长极。
2015 年启动的「数字印度」计划为印度的数字化发展提供持续助力,大数据中心建设是该计划的重要内容之一。
2021 年南非通讯和数字科技部发布了【国家数据和云政策草案】,该草案对国家高性能计算和数据处理中心的建设作出了指引,高性能计算和数据处理中心主要由现有的 Sentech 和Broadband Infraco 两个数据中心合并而成,上述数据中心将为各级政府、企业及高校提供云服务。
以政府力量为主导的数据中心建设,将为南非数字经济发展打下坚实基础,在市场方面,印度智能终端设备及数字化消费场景日渐丰富,数据算存需求激增,同时新冠疫情的加剧,使得更多线下业务活动转向线上,旺盛的数字技术应用及消费需求为印度数据中心产业发展提供了有利的外部环境。
跨国企业对印度数字经济发展保持乐观态度,并通过数据中心建设强化数字服务能力,2020年亚马逊向印度特伦甘纳邦投入 28 亿美元用于在该邦建立新的服务区,这将是亚马逊在印度的第二个云计算区域,亚马逊对印度数据中心市场投入的持续增加,将使其更好地满足印度数据本地化政策。
同时,2019年字节跳动宣布未来三年对印度市场投资10亿美元,其中数据中心的投资占比较大。与投资活跃的印度市场相比,跨国公司对南非市场的投入则尚处于起步阶段,2019 年微软率先宣布启用位于南非的数据中心,成为全球主要云服务商中率先入驻非洲的企业之一;2020年亚马逊在南非的首个云数据中心正式启用,该数据中心为数百万客户提供便捷的云计算服务,随着南非数字经济发展进程的不断加快,预期将会有更多的数据中心及云服务商进军南非市场,从我国范围看,高新技术、数字化转型及终端消费等多样化算力需求场景不断涌现,算力赋能效应凸显。
在高新技术方面,高度复杂的计算场景需要更多高性能算力支持,而超算可通过高性能算力为医疗、航天及勘探领域提供支撑。当前,E级超算已经成为世界各国在超算领域开展竞赛的重要方向,我国超算在算力、算效等方面仍有较大的提升空间。在产业数字化转型方面,互联网、通信及金融等现代服务业需面向大量终端客户提供服务,企业数字技术应用较为成熟,数字化程度高。
随着十四五规划等政策的出台,以及技术研发和业务应用的持续演进,我国传统工业企业,如国家电网、南方电网、中石油、中石化等也开始积极推动算力基础设施建设,为企业数字化转型提供支撑。在移动消费及智能终端方面,近年来我国移动终端用户及智能终端设备数量快速增长,终端设备应用场景不断丰富,对实时算力的需求不断提升在算力形态方面,我国数据中心形态多样化发展趋势逐渐显现,智算中心、边缘数据中心将保持高速增长。
长期以来,我国数据中心主要以通用算力为主,超算、智算及边缘数据中心应用和数量还待增长。 随着我国高性能计算、AI计算及边缘计算需求的提升,超算、智算及边缘数据中心将得到进一步发展,算力呈现多样化的发展趋势。
当前,通用算力的数据中心仍是市场主力,按机架规模统计,占比超过 90%;
超算中心主要应用于国家重大科研领域,商业应用场景较少;
智算中心从早期实验探索逐步走向商业试点,尽管现有规模占比不高,但随着我国各类人工智能应用场景的丰富,智算需求将快速增长,预期规模增速将达到70%;
边缘数据中心能够为智能终端、物联设备提供实时算力,随着我国数字化转型的加快,包括工业互联网的发展,边缘计算需求将进一步提升,边缘数据中心的规模增速有望达到 30%。
应用场景的多元化对数据中心功能定位提出了新要求,数据中心已经不仅是承载云计算、大数据及人工智能等数字技术应用的物理底座,也正在成为一种提供泛在普惠算力服务的基础设施,广泛参与到社会生产生活的各个领域并实现全面赋能。
(四)竞争方面,竞技舞台范围扩大,并购推动强者愈
为丰富业务来源,头部数据中心运营商积极拓展本土外市场,扩张产业版图。中国电信、中国移动、CenturyLink和NTCommunications 等为代表的基础电信运营商,及Equinix、DigitalReality Trust、万国数据等为代表的第三方数据中心运营商,依靠建设起步早的先发优势已在本土持有大规模数据中心资源。
在不断发展历程中,基础电信运营商和第三方数据中心运营商依靠资源、资金及技术研发优势,通过培育自主品牌、拓宽国际营销渠道和提供全方位配套的数据中心服务在全球范围内加速数据中心布局。
如全球领先的数据中心运营商 Equinix 在新加坡、香港、东京、悉尼、雅加达等地均有数据中心布局;万国数据 2021年初步形成东南亚市场布局,将在马来西亚、印度尼西亚投建超大规模数据中心园区;中国移动国际有限公司(CMI)在2021年投入使用位于德国法兰克福的数据中心。随着越来越多的巨头企业不局限于本土市场,积极扩张数据中心产业版图,全球数据中心竞技舞台将进一步扩大,「出海」企业需加强技术研发和资源获取,以保障更大的竞争突围优势数据中心行业迎来并购潮,大额交易频现,市场格局或将呈现强者愈强态势。
在全球推行低碳节能战略背景下,发达城市及周边区域的资源越来越难获取,同时由于新建数据中心项目往往需要1-2 年建设周期,融资便捷、资金充足、组织灵活的数据中心市场主体多采取并购方式「购买」数据中心资源或项目,以此扩大业务规模。以我国情况为例,目前行业内以两类并购方式为主。
第一类是资源类收购,该类收购对象多为获批的能耗额度、土地使用权、厂房建筑等,目的是填补企业自身在某些区域的数据中心供给不足,以及储备优质地段的稀缺资源。
第二类是直接收购成熟的数据中心项目,该类收购通常是瞄准被收购数据中心的盈利能力,或是跨界新进入数据中心行业的企业意图加快布局、减少建设周期、降低转型难度。
2021年,Equinix花费 3.2亿美元收购尼日利亚数据中心和连接服务提供商 MainOne 填补非洲市场空白;宝能创展以 16.5 亿元收购鹏博士旗下 5个数据中心共计 9个机楼,加速进军数据中心市场。并购方式下,企业可迅速获得稀缺资源、提高市场占有率和行业地位,甚至加快进军原本未涉及的空白市场,基础资源的扩展将有效促进企业营收增长,在积累资金后继续加快并购获取更多资源以实现强者愈强。
(五)低碳方面,技术机制不断完善,节能实践快速推进
数据中心创新技术加速涌现,管理与金融体系持续完善,为数据中心绿色低碳发展提供了有效助力。在技术创新方面,液冷、蓄冷、高压直流、余热利用、蓄能电站等技术的应用,以及太阳能、风能等可再生能源利用,能够进一步降低数据中心能耗及碳排放。
在管理与金融方面,业界领先的数据中心通过建立绿色数据中心管理制度及内部碳定价制度促进数据中心绿色转型:绿电证书及绿电交易市场机制的建立和完善,可以有效激发数据中心使用绿色能源降低碳排放的积极性。
国际互联网巨头积极推动绿色能源使用,促进数据中心节能减排。
谷歌、苹果和脸书积极公布可再生能源使用进展,并分别于2017年、2018年及2020年实现运营体系100%可再生能源使用。
微软和亚马逊计划于 2025 年实现 100%可再生能源使用目标。为了更好地推进数据中心节能减排,谷歌在2020年9月提出,到2030年在全球范围内所有数据中心实现以小时为单位的实时可再生能源供电,也即 24/7 零碳运营管理计划。
微软通过优化数据中心备用电力系统,包括储能电池及低碳燃料(氢燃料)等形式促进数据中心降碳,2020年微软已经成功完成了对氢燃料电池的测试,这将为消除对柴油发电机备用电源的依赖及实现碳减排奠定坚实基础。
我国头部互联网企业及第三方服务商也在积极开展节能减排技术实践,建设运营数据中心的绿色低碳水平达到全球领先。
百度云计算(阳泉)中心应用市电直供+HVDC、自研「零功耗」置顶冷却单元及 AI 调优技术,年均PUE达到1.08;秦淮数据环首都数据中心利用模块化、绿电交易及资源回收等技术,年均PUE 达到1.15,可再生能源利用率达到了100%;中金数据昆山一号数据中心采用节能技术、清洁能源采购等方式,实现碳中和目标,数据中心碳使用率(CUE)为0.49.
(六)政策方面,我国央地协同联动,推动低碳高质发展
1.新型数据中心推动高质量发展新型数据中心是产业发展方向,「四高三协同」内涵不断丰富,2021年7月,工信部发布【新型数据中心发展三年行动计划(2021-2023 年)】,明确提出了新型数据中心发展方向及路径。
行动计划聚焦高技术、高算力、高能效和高安全的四高特征,以及数云协同云边协同、数网协同的协同要求,引导我国数据中心高质量发展,同时,行动计划也在布局、网络、算力、产业链、绿色低碳及安全等方面,对新型数据中心建设作出全面指引。
在布局方面,形成国家枢纽节点、省数据中心及边缘数据中心的梯次布局;
在网络方面 ,聚焦国家、区域、边缘各级网络关键节点,推动网络质量提升,促进数网协同发展;
在算力方面 ,引入算力指标 FLOPS 对数据中心算力进行评价,引导数据中心从粗放的机架规模增长向高质量的算力算效提升方向演进;在产业链方面,励核心技术研发及标准研制,强化产业链体系建设;
在绿色低碳方面 ,加快绿色技术产业应用,提升新能源利用水平,优化绿色管理能力建设;在安全方面,提升网络安全保障能力、数据资源管理能力建设,提升新型数据中心的可靠性。
为了更好地落实【新型数据中心发展三年行动计划(2021-2023年)】对新型数据中心建设及发展要求,2021年11月工信部办公厅发布关于国家新型数据中心(2021年)案例推荐工作的通知,明确了国家新型数据中心推荐方向。
该通知对大型数据中心及边缘数据中心分别提出针对性的要求,大型数据中心重点关注基础设施、运营管理、数字技术及生态能力方面的内容,并具备支撑行业数字化转型、赋能千行百业的应用效果。
边缘数据中心重点关注运行效率算力算效、监控安全、网络能力方面的内容,并具备创新突出、易于推广的应用特色。根据地方推荐和专家评选,2022年3月工信部发布「国家新型数据中心典型案例名单(2021年)」,其中大型数据中心 32个,边缘数据中心 12个,具体名单见附录。
2.一体化大数据中心推动协同发展
一体化大数据中心政策推动数据中心布局优化,促进全国数据中心协同发展。
2020年12月,国家发改委、工信部等四部委发布【关于加快构建全国一体化大数据中心协同创新体系的指导意见】,在数据中心方面,提出形成布局合理、绿色集约的基础设施一体化格局。
2021年5月,【全国一体化大数据中心协同创新体系算力枢纽实施方案】发布,其标志着全国一体化大数据中心协同创新体系从早期筹划走向初步启动,我国数据中心产业布局从区域内协同进一步过渡到全国一体化发展。
【全国一体化大数据中心协同创新体系算力枢纽实施方案】明确提出要围绕京津冀、长三角、粤港澳大湾区、成渝、贵州、内蒙古、甘肃及宁夏这 8个国家枢纽节点开展全国一体化大数据中心建设。
八大枢纽节点在市场、资源等方面各有优势,其中京津冀、长三角、粤港澳大湾区、成渝等节点具备较强的数据中心产业基础,网络环境较好,用户规模较大,在后续发展过程中,应重点提升算力服务质量。贵州、内蒙古、甘肃及宁夏等节点资源充沛,气候适宜,在发展绿色数据中心方面具有较大潜力。后续发展过程中应持续发挥资源优势,面向全国提供算力保障。受到一体化大数据中心政策影响,我国地方政府也在加强区域布局引导,全面促进产业协同。
当前,北京、上海、江苏、山东、云南、甘肃等省市均出台了数据中心政策,进行产业布局。北京市2021年4月发布【北京市数据中心统筹发展实施方案(2021-2023年)】,提出建立优势互补的京津冀数据中心聚集区,并基于此将北京及周边地区划分为数据中心功能保障区、改造升级区、适度发展区、协同发展区,不同功能区域数据中心根据资源及发展目标实行不同的「建改退合」政策。
上海市 2021年4月发布【上海市数据中心建设导则(2021 版)】,在空间上分为数据中心适建区、禁止区和限制区,其中适建区为外环以外区域,既有工业区、发电厂区优先;禁止区为中环以内区域,不得新建数据中心;限制区为适建区和禁止区之外的区域。
山东省 2021年10 月发布【关于加快构建山东省一体化大数据中心协同创新体系的实施意见】,提出要逐渐形成「2+5+N」的省级一体化大数据中心空间格局:构建2个低时延数据中心核心区,形成 3-5 个左右的省级数据中心集聚区,「十四五」期间,建成 10 个左右的行业大数据中心节点,布局 30 个以上的超低时延边缘数据中心。
云南省 2021年 12 月发布【云南省「十四五」大数据中心发展规划】,提出实现「滇中聚集、滇西突破、全域协同」的总体布局。
甘肃省2021年 12 月发布【甘肃省数据中心建设指引】,提出以「一核两翼六中心」的架构总体布局数据中心,形成以兰州为核心,庆阳、酒泉为两翼,金昌、张掖、武威、天水、白银、陇南为六中心的数据中心集聚区。
江苏省 2021年12月发布【江苏省新型数据中心统筹发展实施意见】,提出要推动打造全省数据中心「双核三区四基地」发展布局体系,即2个算力资源调度核心、3 个算力支撑区、3 个布局引导区、4 个省级数据中心产业示范基地。
枢纽节点集群及起步边界确定,加速「东数西算」工程实施。
「东数西算」工程是指通过构建数据中心和网络协同、融合的新型算力网络,将东部算力需求有序引导到西部地区,优化数据中心布局,促进东西联动,实现算力的高效调度和使用,全面赋能经济发展。
「东数西算」工程是全国一体化大数据中心建设目标在算力领域的进一步延伸,「东数西算」工程的实施需依托于八大枢纽节点同时还需结合算力网络相关技术。
3.双碳政策驱动行业绿色低碳发展
政策引导数据中心绿色低碳加速发展。随着我国碳达峰碳中和战略的深入推进,国家层面出台多项政策促进数据中心绿色低碳发展。2021年10月,国家发改委、工信部等五部门出台【关于严格能效约束推动重点领域节能降碳的若干意见】,提出「到2025年,数据中心电能利用效率普遍不超过1.5」,进一步明确了数据中心总体能效优化的要求。
2021年11月国家发改委、国务院机关事务管理局等部门发布【深入开展公共机构绿色低碳引领行动促进碳达峰实施方案】,数据中心方面明确提出「新建大型、超大型数据中心全部达到绿色数据中心要求,绿色低碳等级达到4A 级以上,电能利用效率(PUE)达到13 以下」。
2021年 12月国家发改委、国家能源局发布【贯彻落实碳达峰碳中和目标要求推动数据中心和5G等新型基础设施绿色高质量发展实施方案】,在数据中心方面明确提出:到 2025 年,数据中心运行电能利用效率和可再生能源利用率明显提升,全国新建大型、超大型数据中心平均电能利用效率降到1.3以下,国家枢纽节点进一步降到 1.25 以下,绿色低碳等级达到 4A 级以上,旨在有序推动以数据中心为代表的新型基础设施绿色高质量发展,发挥其「一业带百业」作用,助力实现碳达峰碳中和目标。
北上广深等一线城市及周边地区的土地、水电资源相对紧张,对数据中心能效及碳排要求更为严格。当前,上述区域正在持续加强对数据中心产业的政策引导,推动数据中心绿色低碳发展。
北京市 2021年4月发布【北京市数据中心统筹发展实施方案(2021-2023 年)】,指出逐步关闭年均PUE 高于 2.0或平均单机架功率低于 2.5 千瓦或平均上架率低于 30%的功能落后的备份存储类数据中心;对年均 PUE 高于 1.8或平均单机架功率低于3千瓦的数据中心进行改造,改造后的计算型云数据中心PUE不应高于 1.3,改造后的边缘计算中心 PUE 不应高于 1.6,未按规定完成改造的数据中心要逐步腾退。
上海市 2021年4月发布【上海市数据中心建设导则(2021版)】,要求新建数据中心综合PUE不高于 1.3,WUE 不高于 1.4。江苏省 2021年 12月发布【江苏省新型数据中心统筹发展实施意见】,要求「全省新建(扩建)大型及以上数据中心应达到绿色数据中心要求,PUE低于 1.3,绿色低碳等级达到4A 级以上。中小型数据中心 PUE 应不高于 1.5」
二、创新主导变革趋势
数据中心由建筑、供配电、制冷、安防和机架等基础设施,以及服务器、网络和存储等 IT 设备共同构成,其技术涉及面广,复杂度高,数据中心或将成为下一波技术创新的高地。本章结合国内外数据中心技术发展趋势,从新能源、智能运维、预制模块化、液冷等基础设施技术和高密服务器、备份一体机、存储访问协议、算力网络等 IT 设备技术对数据中心产业技术热点进行总结分析。
(一)新能源技术应用更加深入,助力绿色低碳发展
储能技术通过「削峰填谷」,成为降低数据中心电力成本的重要方式。数据中心耗能较高,电力成本占运营总成本的 60%-70%。尽管当前不少数据中心通过节能优化提升了数据中心电能利用率,但电力成本占数据中心总体成本依然较大。为了平衡电网用电时段,供电公司通常会提供波峰及波谷电价,数据中心可利用储能系统在波谷时存储电力,并在高峰期进行利用,以降低数据中心用电成本。蓄冷、储能等均是重要的解决方案,蓄冷在夜间电力负荷低谷期制备冷量,并在日间电力负荷高峰期将制备的冷量应用于空调系统;储能通过储能设备实现电力存储,锂电由于其高能量密度、高输出电压等特点成为下一代数据中心后备储能方案之一。
新能源与储能技术融合加深,有效转变数据中心能源结构,提升绿色低碳水平。随着数据中心能耗政策的收紧及碳中和目标的确立,新能源供电逐渐成为实现数据中心零碳排放的重要方式,风、光、水、氢等清洁能源的使用占比将不断提升,数据中心可直接采用新能源发电实现能源供给或通过碳排放权交易间接促进新能源的使用。尽管新能源发电具有清洁环保优势,但是新能源供给容易受到自然条件影响,进而导致其连续性难以保障。新能源与储能技术融合能够有效提升新能源供电的稳定性,解决可再生能源系统应用过程中的供不平衡、稳定性差等问题。
国内外已有部分数据中心开始尝试新能源+储能的规模化供电方案,为数据中心新能源和储能技术的应用与推广提供了重要参考。2020年8月,美国能源开发商Capital Dynamics 与数据中心运营商Switch 签署了一份太阳能和储能项目电力采购协议。基于此协议,Switch 将获得全天候绿色电力支撑,该项目包含一个 127MW 的太阳能发电场,以及一个240MWh的电池储能系统。
在国内,2021年7月,世纪互联新一代荷储数据中心项目在佛山智慧城市数据中心合闸,其是实现规模化储能技术应用的数据中心项目,项目以数据中心为主要负荷对象,配备2MWh储能容量,输出功率1MW,整个储能系统由储能集装箱、PCS仓、环网柜组成,并与光伏发电系统在交流侧耦合,在数据中心10kV高压侧实现最终并网,使数据中心形成一个负荷可变、可调的复合体,并能根据电网需求、新能源发电需求,调整充放电策略,
(二)运维智能化程度不断提升,实现运维效率提升
应用智能运维,有效提高数据中心运维的流程化和标准化,提升运维管理效率。随着数据中心规模的不断提升以及数据中心承载业务及数据量的不断增长,数据中心运维方式也在快速演进,智能运维工具的应用使数据中心运维管理变得更加高效。在手工运维时期,数据中心运维管理人员缺乏有效的运维工具,运维管理活动更加依赖于运维管理人员的个人知识及技术水平。随着数据中心规模的快速增长,数据中心运维服务范围和难度明显提升,单纯依靠个人经验难以保障运维服务质量。
在上述情况下,流程化和标准化的运维开始出现。流程化和标准化运维旨在通过明确流程及标准文档等形式促进运维管理活动更加规范,降低对运维人员个人知识技能的依赖性。自动化平台运维是流程化和标准化运维的进一步发展,自动化运维工具通过平台化建设将大量重复的运维活动转变为自动化操作,提高了运维效率,使运维过程可视化程度提升。智能运维以数据为基础、以算法为支撑、以场景为导向,为数据中心运维管理提供了智能化解决方案,实现了问题的实时分析和处理,降低了报警噪音,并能够对故障及问题原因进行分析和预测。
2021年7月,工信部【新型数据中心发展三年行动计划(2021-2023 年)】明确提出「聚焦新型数据中心供配电、制冷、IT 和网络设备、智能化系统等关键环节,锻强补弱」。政策引导数据中心运维管理向智能化发展,产业界关于智能运维的关注也越来越高。
我国互联网企业、第三方服务商积极开展智能化运营相关实践。万国数据北京四号数据中心通过在基础设施建设方面大量应用融入专业经验的自动化装置代替人工操作,提高故障报警及响应速度,并结合自行开发的运营管理平台及应用软件,以实现从本地到区域,再到全国的高效高质量运维;腾讯怀来瑞北云数据中心基于腾讯自研的数据中心自动化管理平台--腾讯智维,构建了链接园区、区域、总部的三级闭环管理体系,并通过重构告警链路实现了秒级敏态感知,应用图计算、物模型等技术实现了告警极速收敛,故障自动定位的准确率高达 99.9%。
网络智能运维是数据中心智能运维最重要的应用场景之一,网络智能运维技术可持续推动网络可视、可管、可控能力的提升。随着数据中心规模的不断扩展,数据中心网络复杂度也在不断提升,与此同时,用户对数据中心网络的质量、可靠性及安全性提出了更
高的要求。传统数据中心网络在运维过程中存在信号干扰、应用保障等问题,人工运维效率较差,在应对突发网络故障时难以作出及时的网络故障处理和运营维护。
当前,业界提出了以「自动驾驶网络」等为代表的网络智能运维及优化技术,其通过融合 AI技术实现对数据中心网络的管控、自动运维及优化,对各类网络故障进行恢复自愈,对阻塞进行管理同时支持网络自动调优和自我演进,为用户提供更加优质的网络服务。
2021 开放数据中心峰会上,中国信通院、华为、中国移动研究院等单位共同发布了【超融合数据中心网络无损以太场景等级测评规范】,该测评规范针对分布式存储、集中式存储及高性能计算等场景,从功能、性能、可靠性、兼容性及运维等维度进行了评价:并根据评价结果将无损网络分为五个等级,分别为无损能力尚不成网络智能运维是数据中心智能运维最重要的应用场景之一,网络智能运维技术可持续推动网络可视、可管、可控能力的提升。随着数据中心规模的不断扩展,数据中心网络复杂度也在不断提升,与此同时,用户对数据中心网络的质量、可靠性及安全性提出了更高的要求。传统数据中心网络在运维过程中存在信号干扰、应用保障等问题,人工运维效率较差,在应对突发网络故障时难以作出及时的网络故障处理和运营维护。
当前,业界提出了以「自动驾驶网络」等为代表的网络智能运维及优化技术,其通过融合 AI技术实现对数据中心网络的管控、自动运维及优化,对各类网络故障进行恢复自愈,对阻塞进行管理同时支持网络自动调优和自我演进,为用户提供更加优质的网络服务。
2021 开放数据中心峰会上,中国信通院、华为、中国移动研究院等单位共同发布了【超融合数据中心网络无损以太场景等级测评规范】,该测评规范针对分布式存储、集中式存储及高性能计算等场景,从功能、性能、可靠性、兼容性及运维等维度进行了评价:并根据评价结果将无损网络分为五个等级,分别为无损能力尚不成熟、具备基本无损能力、无损能力成熟、无损能力良好、无损能力卓越,运维是其重要的等级评定维度。
同时,华为在【华为数据中心自动驾驶网络白皮书】中将自动驾驶网络定义为五个等级,指出全自治网络是数据中心网络发展的终极目标,在全自治网络下,网络系统自身将形成面向任意场景,具备执行、监视、分析和决策能力,完全实现闭环管理的自动化能力,真正实现「无人驾驶」
(三)预制模块化技术深度融合,项目建设周期缩短
预制模块化建筑技术与模块化数据中心深度融合,新一代预制模块化数据中心可靠性及使用体验大幅提升。信息技术的快速选代及用户对数据中心交付工期要求的缩短,使得传统数据中心建设模式越来越难以满足现实需求,数据中心预制化成为实现数据中心快速建设关键技术之一。数据中心预制化技术已有多年发展历史,早期预制化数据中心采用 All-in-One 形式设计,单箱体集成数据中心各子系统,可满足小规模数据中心快速部署及应急建设要求。
在 All-in-One 基础上,业界逐渐实现了设备区和配电区等核心区域的模块化,出现了传统的预制模块化数据中心。受到可靠性、空间及标准化程度等因素制约,传统预制模块化数据中心仍为小规模及特定场景应用为主。随着预制模块化理念的成熟及模块化数据中心的发展,预制模块化建筑技术与模块化数据中心融合程度加深新一代预制模块化数据中心开始出现。
(四)液冷技术商用条件渐成熟,实践案例不断增多
液冷技术快速演进,系统可靠性逐步提升。液冷技术利用液体作为换热媒介在靠近热源处进行换热制冷,不需要像风冷一样通过空气间接制冷,由于液体具有相对较高的比热容,其制冷效果和能效远高于风冷制冷,在高密度、大规模及散热需求较高的数据中心中优势明显。
按液冷室内末端与服务器等发热源接触方式不同可将液冷分为间接液冷技术和直接液冷技术,间接液冷中热源与冷却液没有直接接触换热,直接液冷技术中冷却液则与发热电子元件直接接触换热制冷。间接液冷以冷板式为主,其中单相冷板式液冷解决方案较为常见。直接液冷主要是浸没式,散热效率高,噪音低。
当前我国液冷技术正在快速发展并已经拥有规模化的商用案例,这与我国数据中心规模不断扩大,单机柜功率密度不断提升有关。阿里巴巴、百度、腾讯、华为、中科曙光等 「 企业已有成熟的液冷技术应用案例,阿里巴巴仁和云计算数据中心服务器采用全浸没式液冷服务器,该数据中心也成为我国首座绿色等级达到5A级的液冷数据中心。
与液冷技术应用实践同步,近年来,产业界对于液冷技术的研究也在逐步深化。2019年,中国信通院云计算与大数据研究所(以下简称「中国信通院云大所」)联合业界先后出版【冷板式液冷】【液冷革命】两部书籍,对液冷技术发展内外因及不同液冷技术方案进行对比剖析;2020年,ODCC与阿里巴巴举办浸没式液冷数据中心开源发布会,阿里巴巴正式开源【浸没式液冷数据中心技术规范】; 2021年初,ODCC联合 UDP(联合国环境规划署-丹麦科技大学合作伙伴)哥本哈根能源效率中心、ITU(国际电信联盟)在全球联合发布题为【Innovative Data-Centre Cooling Technologies inChina-Liquid Cooling Solution】的液冷研究报告,对我国液冷技术应用进展进行总结;2021年,ODCC发布【浸没式液冷服务器可靠性白皮书】,研究内容为液冷服务器长期运行后的可靠性评估方法;2022年4月,中国信通院云大所牵头编制的5项液冷系列行业标准正式实施,为数据中心液冷产业发展提供了有效指导。
随着边缘算力需求的不断提升,液冷技术应用场景将从云端扩展到边缘。终端算力需求的提升使得传统云算力逐渐下沉到边缘,边缘计算服务器功率密度及散热需求也在同步提升。为了降低数据中心制冷能耗,提升数据中心整体能效,部分边缘数据中心也开始引入液冷边缘服务器,通过液冷技术应用提升边缘数据中心的能效水平。
(五)高密服务器研发部署加快,单位面积算力提升
数据规模的持续增长及土地、电力资源集约化发展推动高密度数据中心发展。在过去很长一段时间,为了满足不断增长的用户数据处理需求,数据中心主要是通过增加空间,扩大机架和服务器规模来提供更多算力,但是这也会导致数据中心运营成本的增加和数据中心场地空间的浪费。经济发达地区日益紧张的土地资源使得以扩大服务器规模来提升算力规模的数据中心建设模式难以开展,建设高密度数据中心成为提升数据中心算力水平的重要举措,高密度数据中心能够进一步增加数据中心「每平方米」的计算能力,能够更好地满足大数据场景下的计算与存储需求。
高密度服务器部署显著提升数据中心单位面积算力,降低数据中心运营成本。建设高密度数据中心的关键是部署高密度服务器,与传统服务器不同,高密度服务器电源和风扇多以共享方式进行设计,位于同一机箱内的多台服务器节点可以共享电源和风扇。上述方式,一方面降低了机体的重量和空间占用,提升数据中心单位面积算力,另一方面能够提升电源和散热系统的使用效率,降低数据中心运营成本。
随着数据中心功率密度的提升,数据中心平均机架功率也在不断提升,有研究机构发布数据显示当前全球5-9kWhack 的机架占比最多,功率超过 10kWhack 的机架占比达到近30%,单机架功率的提升与高密度服务器规模部署和应用密切相关,当前,Intel、IBM、华为、浪潮、曙光等厂商纷纷加速推进高密度服务器的产品设计与市场布局,
(六)备份一体机市场快速增长,容灾备份能力增强
数据重要性不断凸显,容灾备份需求驱动备份一体机市场高速增长。数据是数据中心中存放的企业最重要的资产,在我国企业数字化转型进程加快的背景下,数据中心及企业机房容灾备份能力逐渐受到业界关注。
传统数据保护方式大多只能针对物理设备的数据进行保护,难以对云计算等环境提供统一的数据保护备份服务,随着数据中心分布式计算应用场景的增长,传统数据保护备份方式越来越难以满足需求,高效、全面、融合、统一灵活的数据备份和恢复方案成为下一代数据中心数据保护方案的方向。
备份一体机是面向下一代数据中心数据保护场景的重要方案,备份一体机可利用软件、磁盘阵列、服务器引擎或节点备份数据,与备份软件紧密集合形成目录、索引、计划,从而实现数据的传送。
当前,全球备份一体机市场保持高速增长态势,市场需求旺盛为迎合产业发展,2021年9月,ODCC发布【备份一体机技术规范】,对备份一体机架构、功能、非功能及接口要求进行了全面规范,有效的推动了备份一体机的生产、测试和选型。
(七)新存储访问协议不断演进,网络存储深度融合NVMe-oF 协议成为全闪存端到端重要解决方案,存储与网络融合进-步加深。
NVMe over Fabrics(以下简称 NVMe-oF)成为降低存储网络协议栈处理开销并实现高并发、低时延的重要技术,其解决了存储由于通信协议而造成性能损失的问题,进一步释放SSD的性能,加速了闪存的发展。
NVMe-oF 使得主机和存储设备可以通过网络使用 NVMe 协议,有效地提高了主机通过远程网络访问存储的性能,引起了业界广泛关注。当前,包括 FC 网络、IB 网络、无损网络、标准以太网等均支持 NVMe-oF。
其中,无损网络作为业界关注的焦点之一,近年来取得了长足发展。其在性能上大幅优于标准以太网,在建设成本方面低于 FC 网络和 IB 网络。因此,在 NVMe与网络融合发展的过程中,无损网络或将成为重要的发展方向.
(八)泛在算力互联需求将增多,算力网络创新加速
算力网络连接泛在算力基础设施,运营商积极开展落地实践。金融、交通、教育、工业等行业对泛在算力场景的需求不断增长用户需要随时随地可接入的更优惠、更高质的算力服务,基于算力泛在使用和交易需求衍生的算力网络成为下一代算力基础设施发展的重点。近年来,运营商加速推动算力网络落地实践。
算网一体是中国联通 CUBE-Net3.0 重点方向之一,中国联通在全国多地开展算力网络建设试点,通过算力网络业务链、网络切片、资源感知实现算力资源调度和感知,形成云网安一体服务。
中国电信 在算力网络建设过程中重点强调「云」为核心,侧重网络、算力和存储三大资源相互融合,推进天翼云持续升级,实现天翼云节点和天翼边缘节点统一管理调度,云网融合、云边协同是电信云的优势。
中国移动 重点改造底层算力基础设施,基于X86 和 ARM 架构打造通用算力网络,同时基于 GPU、ASIC 不断丰富智能算力。
算力网络技术创新主要集中在架构、调度技术及度量方式三个方面。
在算力架构方面,传统计算与网络分离模式逐渐向计算与网络融合方向演进,算力基础设施融合架构创新发展。
在算力调度技术方面,算力调度由之前仅支持对网络的调度发展到算力与网络匹配的调度模式,算力调度技术创新不断涌现。
算力调度技术创新主要包括算力跨区域调度、多层次调度、算力资源统一编排、网络协议、可视监测及智能运维等。
在算力度量方式方面,算力与网络度量内涵不断延伸,算力度量方式由单一节点度量转变为一体化协同度量。
随着算力网络的形成,用户算力获取来源变得更加多样,在这种情况下,用户可获取的算力就不能以单一或局部节点来衡量,而是以算力网络平台当前可供给的且满足用户业务需求的算力来衡量,这种新的一体化协同度量机制将对用户可用算力进行重新核定
三、我国数据中心发展趋势
当前,我国正处于各行业数字化转型的加速期,以数据中心为代表的数字基础设施应用场景仍将进一步扩大,数据中心产业将迎来更大机遇,发展前景将更为广阔。
(一)布局逐步优化,协同一体趋势增强
受市场内生算力需求驱动,及国家相关政策引导,我国数据中心总体布局持续优化,协同一体趋势将进一步增强。在市场层面,中西部地区自然环境优越,土地、电力等资源充足,但本地数据中心市场需求相对较低;东部地区市场需求旺盛,但土地、电力、人员等生产要素成本较高,东西部协同发展逐渐成为趋势。而随着网络质量的优化,中西部将不再仅是进行冷存储的灾备数据中心聚集区,也将承载更多的应用。在政策层面,我国数据中心全国一体化发展引导增强。同时,内蒙、贵州等地推出了电力、土地、税收等优惠政策,有效帮助数据中心降低建设运营成本,数据中心建设规模不断增长。未来,「东数西算」工程将进入到全面建设期,我国数据中心布局或将得到进一步优化。
除地域布局上的东西部协同外,为应对不断涌现的应用场景需求,不同类型数据中心也协同发展。我国数据中心产业正在由通用数据中心占主导,演变为多类型数据中心共同发展的新局面,数据中心间协同,以及云边协同的体系将不断完善。以应用为驱动,多种类型的数据中心协同一体,共同提供算力服务的模式,将成为我国数据中心算力供给重要形态,持续支撑我国数字经济发展。
(二)创新驱动持续,技术水平不断提升
作为算力服务中枢,数据中心既是数字经济底座,也是数字技术创新的高地。随着新一代信息技术的不断发展,数据中心正逐渐突破传统机房运营模式的桎梏,产业发展逐渐由资本驱动迈向创新驱动,技术创新将持续活跃。
从基础设施角度看,数据中心是由「风火水电」构成的建筑,早期数据中心建设主要参考建筑、电力、制冷、通信等行业的基建经验,并未专门针对数据中心环境进行创新优化。随着数据中心节能降碳、降本增效、智能运营等要求的不断提升,液冷、蓄冷、储能、高压直流、智能运维等新技术开始应用于数据中心的建设运营中,以技术促进数据中心基础设施变革的趋势不断增强。
从 IT 设备角度看,云计算技术的应用使得数据中心虚拟化程度不断提高,数据中心与云平台、网络、安全及运营之间的技术联接日益紧密,智能芯片、定制化服务器、分布式存储、SDN、智能运维等IT技术的应用,有效地提升了数据中心服务能力。
可以预见,在未来发展过程中,基础设施及IT技术的创新将不断涌现,数据中心技术内涵也将变得更加丰富。我国数据中心产业将逐步增强对新技术的应用,利用新技术加速实现节能减排,提升算力服务水平,进一步赋能产业发展。
(三)算网协同加快,泛在算力高质发展
算网协同是实现算力服务泛在可达、灵活取用的重要途径,同时也是算力基础设施和网络设施融合创新发展的重要形态。当前,我国算网协同发展尚处于起步阶段,算网协同技术、运营机制及监管体制仍不完善,但算网协同是下一阶段我国算网设施发展的重要方向。
在「东数西算」工程的背景下,以算网协同为基础,通过算力调度构建全国一体化算力网络,成为推动全国算力资源优化配置的关键。未来,以「东数西算」为牵引的全国一体化算力网络将逐步建成,并实现泛在算力的灵活高效调度,以算网协同目标为驱动,多主体共同参与,加速算网协同体系的建成。
中国信通院云大所数据中心团队搭建了我国首个「算力大平台」,该平台已经上线多年,具备数据中心等算力基础设施的多维度信息采集、监测和供需对接等能力,平台的建设和完善有望为「东数西算」工程的实施及全国算力调度提供有效支撑。
(四)赋能效应深化,数字转型支撑显著
近年来,数字化转型的范围不断扩大、程度不断加深,数据中心产业赋能效应逐步深化。
未来,数据中心对产业的赋能主要体现在以下方面:
一是多样泛在的算力供给将逐步完善,传统企业「上云用数赋智」进程将进一步加快。电力、石油、石化、制造等工业领域可通过能源互联网平台、工业互联网平台的建设,加速实现云边端协同,提高企业生产运营效率;
二是随着数字化转型的深入,数据中心将与网络深度融合,形成算网一体服务,更好地为企业发展提供 IT 基础设施支撑;
三是分布式计算、存储及云边端协同的技术不断成熟,可实现对泛在终端海量数据的快速处理,从而支撑工业互联网和物联网的发展;四是计算、存储及网络等服务模式将逐步变革,算力可更为深入地融入到企业数字化转型的各个方面,全面赋能企业生产、运营及管理等环节。
(五)低碳要求趋严,助力双碳目标实现
双碳目标及可持续发展战略将长期驱动我国数据中心产业绿色低碳发展。在政策方面,我国数据中心政策对能效的要求不断趋严能效考核指标从以 PUE 为主逐步演变为 PUE、CUE、WUE、绿色低碳等级等多指标兼顾,未来有可能会纳入更多新的能效指标,日趋严格的能耗政策将进一步推动产业全面绿色低碳发展。
未来,数据中心将成为支撑各产业数字化发展的引擎,绿色算力应用将全面赋能各行业的数字化转型,全面助力精益生产和绿色发展。
在产业实践方面,数据中心制冷方案供应商将进一步加强新型制冷方案的研究,氟泵、液冷、间接蒸发、自然冷源等制冷技术将变得更加成熟,制冷效率将不断提升。
同时,光伏、风电、储能、锂电池等绿色电力和供配电节能技术研发与应用也将不断深入。数据中心绿色低碳技术研发和应用都将进一步发展。
有关AI更多方面资讯,请关注「巴特星球」公众号。