前 言
在數碼經濟時代,算力正在成為一種新的生產力,廣泛融合到社會生產生活的各個方面,為千行百業的數碼化轉型提供基礎動力,數據中心是算力的物理承載,是數碼化發展的關鍵基礎設施。
近年來,國家高度重視數據中心產業的發展,「十四五」規劃和 2035 年遠景目標綱要中明確提出要「加快構建全國一體化大數據中心體系,強化算力統籌智能排程,建設若幹國家樞紐節點和大數據中心集群:建設 E 級和 10E 級超級計算中心」。
工業和資訊化部(以下簡稱「工信部」)、國家發展和改革委員會(以下簡稱「國家發改委」)等先後出台【新型數據中心發展三年行動計劃(2021-2023年)】、【全國一體化大數據中心協同創新體系算力樞紐實施方案】等重要政策檔,有效規範了中國數據中心產業發展。
當前,中國數據中心產業正由高速發展向高質素發展全面演進布局方面,全國一體化大數據中心、新型數據中心等政策檔的出台及「東數西算」工程的實施,為數據中心協同、一體化發展指明了方向,推動全國數據中心產業布局不斷最佳化。
市場方面, 多樣化的算力需求不斷湧現,為通用、智算、超算及邊緣等不同類別和形態的數據中心發展提供了有效的市場牽引,推動中國數據中心市場規模持續增長。
技術方面, 儲能、蓄冷、高密度、算力網絡、智能運維、超融合架構等技術的創新,加速推動數據中心向大型化、智能化、綠色化方向發展。未來,中國數據中心市場仍將保持高速增長,產業布局及生態也將不斷最佳化,可為使用者提供泛在、智能、可靠的算力資源。
本藍皮書基於全球視角和中國現狀,對數據中心產業總體及熱點情況進行了梳理,從技術、政策等維度對中國算力中心產業發展進行了重點分析,並對中國算力中心發展進行了展望。
一、產業持續穩定發展
以數碼技術為核心驅動的第四次工業革命正在給人類生產生活帶來深刻變革,數據中心作為承載各類數碼技術套用的物理底座其產業賦能價值正在逐步凸顯。國際方面,世界主要國家均在積極引導數據中心產業發展,數據中心市場規模不斷擴大,投資並購活躍,競爭日益激烈。
國內方面,「新基建」的發展及「十四五」規劃中數碼中國建設目標的提出,為中國數碼基礎設施建設提供了重要指導,中國數據中心產業發展步入新階段,數據中心規模穩步提升,低碳高質、協同發展的格局正在逐步形成。
(一)規模方面,全球新增相對穩定,中國保持快速增長
全球數據中心新增相對穩定。按照全球伺服器年增加量統計:2015 年-2035 年全球年新增投入使用伺服器規模相對穩定,凈增加值也相對穩定,預計未來幾年數據中心規模仍將保持平穩增長.
中國數據中心機架規模持續穩步增長,大型以上數據中心規模增長迅速。近年來,中國數據中心機架規模穩步增長,按照標準機架 2.5kW 統計,截止到2023年年底,中國在用數據中心機架規模達到 1020萬架,近五年年均復合增速超過30%。其中,大型以上數據中心機架規模增長更為迅速,按照標準機架2.5kW 統計,機架規模820萬架,占比達到 80%。
(二)收入方面,全球市場平穩增長,中國維持較高增速
數據中心市場收入方面,2023年全球數據中心市場規模超過879 億美元’,較 2020 年增長 9.8%。預計 2024 年市場收入將達到1746 億美元,增速總體保持平穩。
受新基建、數碼化轉型及數碼中國遠景目標等國家政策促進及企業降本增效需求的驅動,中國數據中心業務收入持續高速增長。2021年,中國數據中心行業市場收入達到1500億元左右,近三年年均復合增長率達到 30.69%,隨著中國各地區、各行業數碼化轉型的深入推進,中國數據中心市場收入將保持持續增長態勢。
(三)需求方面,新興市場需求強勁,中國套用場景多樣
從全球範圍來看,受全球數碼經濟加速發展促進,印度、南非等新興市場逐步加強對數據中心的政策支持和產業投入,成為拉動全球數據中心需求增長的重要增長極。
2015 年啟動的「數碼印度」計劃為印度的數碼化發展提供持續助力,大數據中心建設是該計劃的重要內容之一。
2021 年南非通訊和數碼科技部釋出了【國家數據和雲政策草案】,該草案對國家高效能計算和數據處理中心的建設作出了指引,高效能計算和數據處理中心主要由現有的 Sentech 和Broadband Infraco 兩個數據中心合並而成,上述數據中心將為各級政府、企業及高校提供雲服務。
以政府力量為主導的數據中心建設,將為南非數碼經濟發展打下堅實基礎,在市場方面,印度智能終端器材及數碼化消費場景日漸豐富,數據算存需求激增,同時新冠疫情的加劇,使得更多線下業務活動轉向線上,旺盛的數碼技術套用及消費需求為印度數據中心產業發展提供了有利的外部環境。
跨國企業對印度數碼經濟發展保持樂觀態度,並透過數據中心建設強化數碼服務能力,2020年亞馬遜向印度特倫甘納邦投入 28 億美元用於在該邦建立新的服務區,這將是亞馬遜在印度的第二個雲端運算區域,亞馬遜對印度數據中心市場投入的持續增加,將使其更好地滿足印度數據本地化政策。
同時,2019年字節跳動宣布未來三年對印度市場投資10億美元,其中數據中心的投資占比較大。與投資活躍的印度市場相比,跨國公司對南非市場的投入則尚處於起步階段,2019 年微軟率先宣布啟用位於南非的數據中心,成為全球主要雲服務商中率先入駐非洲的企業之一;2020年亞馬遜在南非的首個雲數據中心正式啟用,該數據中心為數百萬客戶提供便捷的雲端運算服務,隨著南非數碼經濟發展行程的不斷加快,預期將會有更多的數據中心及雲服務商進軍南非市場,從中國範圍看,高新技術、數碼化轉型及終端消費等多樣化算力需求場景不斷湧現,算力賦能效應凸顯。
在高新技術方面,高度復雜的計算場景需要更多高效能算力支持,而超算可透過高效能算力為醫療、航天及勘探領域提供支撐。當前,E級超算已經成為世界各國在超算領域開展競賽的重要方向,中國超算在算力、算效等方面仍有較大的提升空間。在產業數碼化轉型方面,互聯網、通訊及金融等現代服務業需面向大量終端客戶提供服務,企業數碼技術套用較為成熟,數碼化程度高。
隨著十四五規劃等政策的出台,以及技術研發和業務套用的持續演進,中國傳統工業企業,如國家電網、南方電網、中石油、中石化等也開始積極推動算力基礎設施建設,為企業數碼化轉型提供支撐。在移動消費及智能終端方面,近年來中國流動終端使用者及智能終端器材數量快速增長,終端器材套用場景不斷豐富,對即時算力的需求不斷提升在算力形態方面,中國數據中心形態多樣化發展趨勢逐漸顯現,智算中心、邊緣數據中心將保持高速增長。
長期以來,中國數據中心主要以通用算力為主,超算、智算及邊緣數據中心套用和數量還待增長。 隨著中國高效能計算、AI計算及邊緣計算需求的提升,超算、智算及邊緣數據中心將得到進一步發展,算力呈現多樣化的發展趨勢。
當前,通用算力的數據中心仍是市場主力,按機架規模統計,占比超過 90%;
超算中心主要套用於國家重大科研領域,商業套用場景較少;
智算中心從早期實驗探索逐步走向商業試點,盡管現有規模占比不高,但隨著中國各類人工智能套用場景的豐富,智算需求將快速增長,預期規模增速將達到70%;
邊緣數據中心能夠為智能終端、物聯器材提供即時算力,隨著中國數碼化轉型的加快,包括工業互聯網的發展,邊緣計算需求將進一步提升,邊緣數據中心的規模增速有望達到 30%。
套用場景的多元化對數據中心功能定位提出了新要求,數據中心已經不僅是承載雲端運算、大數據及人工智能等數碼技術套用的物理底座,也正在成為一種提供泛在普惠算力服務的基礎設施,廣泛參與到社會生產生活的各個領域並實作全面賦能。
(四)競爭方面,競技舞台範圍擴大,並購推動強者愈
為豐富業務來源,頭部數據中心營運商積極拓展本土外市場,擴張產業版圖。中國電信、中國移動、CenturyLink和NTCommunications 等為代表的基礎電訊供應商,及Equinix、DigitalReality Trust、萬國數據等為代表的第三方數據中心營運商,依靠建設起步早的先發優勢已在本土持有大規模數據中心資源。
在不斷發展歷程中,基礎電訊供應商和第三方數據中心營運商依靠資源、資金及技術研發優勢,透過培育自主品牌、拓寬國際行銷渠道和提供全方位配套的數據中心服務在全球範圍內加速數據中心布局。
如全球領先的數據中心營運商 Equinix 在新加坡、香港、東京、悉尼、耶加逹等地均有數據中心布局;萬國數據 2021年初步形成東南亞市場布局,將在馬來西亞、印度尼西亞投建超大規模數據中心園區;中國移動國際有限公司(CMI)在2021年投入使用位於德國法蘭克福的數據中心。隨著越來越多的巨頭企業不局限於本土市場,積極擴張數據中心產業版圖,全球數據中心競技舞台將進一步擴大,「出海」企業需加強技術研發和資源獲取,以保障更大的競爭突圍優勢數據中心行業迎來並購潮,大額交易頻現,市場格局或將呈現強者愈強態勢。
在全球推行低碳節能戰略背景下,發達城市及周邊區域的資源越來越難獲取,同時由於新建數據中心專案往往需要1-2 年建設周期,融資便捷、資金充足、組織靈活的數據中心市場主體多采取並購方式「購買」數據中心資源或專案,以此擴大業務規模。以中國情況為例,目前行業內以兩類並購方式為主。
第一類是資源類收購,該類收購物件多為獲批的能耗額度、土地使用權、廠房建築等,目的是填補企業自身在某些區域的數據中心供給不足,以及儲備優質地段的稀缺資源。
第二類是直接收購成熟的數據中心專案,該類收購通常是瞄準被收購數據中心的盈利能力,或是跨界新進入數據中心行業的企業意圖加快布局、減少建設周期、降低轉型難度。
2021年,Equinix花費 3.2億美元收購尼日利亞數據中心和連線服務提供商 MainOne 填補非洲市場空白;寶能創展以 16.5 億元收購鵬博士旗下 5個數據中心共計 9個機樓,加速進軍數據中心市場。並購方式下,企業可迅速獲得稀缺資源、提高市場占有率和行業地位,甚至加快進軍原本未涉及的空白市場,基礎資源的擴充套件將有效促進企業營收增長,在積累資金後繼續加快並購獲取更多資源以實作強者愈強。
(五)低碳方面,技術機制不斷完善,節能實踐快速推進
數據中心創新技術加速湧現,管理與金融體系持續完善,為數據中心綠色低碳發展提供了有效助力。在技術創新方面,液冷、蓄冷、高壓直流、余熱利用、蓄能電站等技術的套用,以及太陽能、風能等可再生能源利用,能夠進一步降低數據中心能耗及碳排放。
在管理與金融方面,業界領先的數據中心透過建立綠色數據中心管理制度及內部碳定價制度促進數據中心綠色轉型:綠電證書及綠電交易市場機制的建立和完善,可以有效激發數據中心使用綠色能源降低碳排放的積極性。
國際互聯網巨頭積極推動綠色能源使用,促進數據中心節能減排。
谷歌、蘋果和臉書積極公布可再生能源使用進展,並分別於2017年、2018年及2020年實作營運體系100%可再生能源使用。
微軟和亞馬遜計劃於 2025 年實作 100%可再生能源使用目標。為了更好地推進數據中心節能減排,谷歌在2020年9月提出,到2030年在全球範圍內所有數據中心實作以小時為單位的即時可再生能源供電,也即 24/7 零碳營運管理計劃。
微軟透過最佳化數據中心備用電力系統,包括儲能電池及低碳燃料(氫燃料)等形式促進數據中心降碳,2020年微軟已經成功完成了對氫燃料電池的測試,這將為消除對柴油發電機備用電源的依賴及實作碳減排奠定堅實基礎。
中國頭部互聯網企業及第三方服務商也在積極開展節能減排技術實踐,建設營運數據中心的綠色低碳水平達到全球領先。
百度雲端運算(陽泉)中心套用市電直供+HVDC、自研「零功耗」置頂冷卻單元及 AI 調優技術,年均PUE達到1.08;秦淮數據環首都數據中心利用模組化、綠電交易及資源回收等技術,年均PUE 達到1.15,可再生能源利用率達到了100%;中金數據昆山一號數據中心采用節能技術、清潔能源采購等方式,實作碳中和目標,數據中心碳使用率(CUE)為0.49.
(六)政策方面,中國央地協同聯動,推動低碳高質發展
1.新型數據中心推動高質素發展新型數據中心是產業發展方向,「四高三協同」內涵不斷豐富,2021年7月,工信部釋出【新型數據中心發展三年行動計劃(2021-2023 年)】,明確提出了新型數據中心發展方向及路徑。
行動計劃聚焦高技術、高算力、高能效和高安全的四高特征,以及數雲協同雲邊協同、數網協同的協同要求,引導中國數據中心高質素發展,同時,行動計劃也在布局、網絡、算力、產業鏈、綠色低碳及安全等方面,對新型數據中心建設作出全面指引。
在布局方面,形成國家樞紐節點、省數據中心及邊緣數據中心的梯次布局;
在網絡方面 ,聚焦國家、區域、邊緣各級網絡關鍵節點,推動網絡質素提升,促進數網協同發展;
在算力方面 ,引入算力指標 FLOPS 對數據中心算力進行評價,引導數據中心從粗放的機架規模增長向高質素的算力算效提升方向演進;在產業鏈方面,勵核心技術研發及標準研制,強化產業鏈體系建設;
在綠色低碳方面 ,加快綠色技術產業套用,提升新能源利用水平,最佳化綠色管理能力建設;在安全方面,提升網絡安全保障能力、數據資源管理能力建設,提升新型數據中心的可靠性。
為了更好地落實【新型數據中心發展三年行動計劃(2021-2023年)】對新型數據中心建設及發展要求,2021年11月工信部辦公廳釋出關於國家新型數據中心(2021年)案例推薦工作的通知,明確了國家新型數據中心推薦方向。
該通知對大型數據中心及邊緣數據中心分別提出針對性的要求,大型數據中心重點關註基礎設施、營運管理、數碼技術及生態能力方面的內容,並具備支撐行業數碼化轉型、賦能千行百業的套用效果。
邊緣數據中心重點關註執行效率算力算效、監控安全、網絡能力方面的內容,並具備創新突出、易於推廣的套用特色。根據地方推薦和專家評選,2022年3月工信部釋出「國家新型數據中心典型案例名單(2021年)」,其中大型數據中心 32個,邊緣數據中心 12個,具體名單見附錄。
2.一體化大數據中心推動協同發展
一體化大數據中心政策推動數據中心布局最佳化,促進全國數據中心協同發展。
2020年12月,國家發改委、工信部等四部委釋出【關於加快構建全國一體化大數據中心協同創新體系的指導意見】,在數據中心方面,提出形成布局合理、綠色集約的基礎設施一體化格局。
2021年5月,【全國一體化大數據中心協同創新體系算力樞紐實施方案】釋出,其標誌著全國一體化大數據中心協同創新體系從早期籌劃走向初步啟動,中國數據中心產業布局從區域內協同進一步過渡到全國一體化發展。
【全國一體化大數據中心協同創新體系算力樞紐實施方案】明確提出要圍繞京津冀、長三角、粵港澳大灣區、成渝、貴州、內蒙古、甘肅及寧夏這 8個國家樞紐節點開展全國一體化大數據中心建設。
八大樞紐節點在市場、資源等方面各有優勢,其中京津冀、長三角、粵港澳大灣區、成渝等節點具備較強的數據中心產業基礎,網絡環境較好,使用者規模較大,在後續發展過程中,應重點提升算力服務質素。貴州、內蒙古、甘肅及寧夏等節點資源充沛,氣候適宜,在發展綠色數據中心方面具有較大潛力。後續發展過程中應持續發揮資源優勢,面向全國提供算力保障。受到一體化大數據中心政策影響,中國地方政府也在加強區域布局引導,全面促進產業協同。
當前,北京、上海、江蘇、山東、雲南、甘肅等省市均出台了數據中心政策,進行產業布局。北京市2021年4月釋出【北京市數據中心統籌發展實施方案(2021-2023年)】,提出建立優勢互補的京津冀數據中心聚集區,並基於此將北京及周邊地區劃分為數據中心功能保障區、改造升級區、適度發展區、協同發展區,不同功能區域數據中心根據資源及發展目標實行不同的「建改退合」政策。
上海市 2021年4月釋出【上海市數據中心建設導則(2021 版)】,在空間上分為數據中心適建區、禁止區和限制區,其中適建區為外環以外區域,既有工業區、發電廠區優先;禁止區為中環以內區域,不得新建數據中心;限制區為適建區和禁止區之外的區域。
山東省 2021年10 月釋出【關於加快構建山東省一體化大數據中心協同創新體系的實施意見】,提出要逐漸形成「2+5+N」的省級一體化大數據中心空間格局:構建2個低時延數據中心核心區,形成 3-5 個左右的省級數據中心集聚區,「十四五」期間,建成 10 個左右的行業大數據中心節點,布局 30 個以上的超低時延邊緣數據中心。
雲南省 2021年 12 月釋出【雲南省「十四五」大數據中心發展規劃】,提出實作「滇中聚集、滇西突破、全域協同」的總體布局。
甘肅省2021年 12 月釋出【甘肅省數據中心建設指引】,提出以「一核兩翼六中心」的架構總體布局數據中心,形成以蘭州為核心,慶陽、酒泉為兩翼,金昌、張掖、武威、天水、白銀、隴南為六中心的數據中心集聚區。
江蘇省 2021年12月釋出【江蘇省新型數據中心統籌發展實施意見】,提出要推動打造全省數據中心「雙核三區四基地」發展布局體系,即2個算力資源排程核心、3 個算力支撐區、3 個布局引導區、4 個省級數據中心產業示範基地。
樞紐節點集群及起步邊界確定,加速「東數西算」工程實施。
「東數西算」工程是指透過構建數據中心和網絡協同、融合的新型算力網絡,將東部算力需求有序引導到西部地區,最佳化數據中心布局,促進東西聯動,實作算力的高效排程和使用,全面賦能經濟發展。
「東數西算」工程是全國一體化大數據中心建設目標在算力領域的進一步延伸,「東數西算」工程的實施需依托於八大樞紐節點同時還需結合算力網絡相關技術。
3.雙碳政策驅動行業綠色低碳發展
政策引導數據中心綠色低碳加速發展。隨著中國碳達峰碳中和戰略的深入推進,國家層面出台多項政策促進數據中心綠色低碳發展。2021年10月,國家發改委、工信部等五部門出台【關於嚴格能效約束推動重點領域節能降碳的若幹意見】,提出「到2025年,數據中心電能利用效率普遍不超過1.5」,進一步明確了數據中心總體能效最佳化的要求。
2021年11月國家發改委、國務院機關事務管理局等部門釋出【深入開展公共機構綠色低碳引領行動促進碳達峰實施方案】,數據中心方面明確提出「新建大型、超大型數據中心全部達到綠色數據中心要求,綠色低碳等級達到4A 級以上,電能利用效率(PUE)達到13 以下」。
2021年 12月國家發改委、國家能源局釋出【貫徹落實碳達峰碳中和目標要求推動數據中心和5G等新型基礎設施綠色高質素發展實施方案】,在數據中心方面明確提出:到 2025 年,數據中心執行電能利用效率和可再生能源利用率明顯提升,全國新建大型、超大型數據中心平均電能利用效率降到1.3以下,國家樞紐節點進一步降到 1.25 以下,綠色低碳等級達到 4A 級以上,旨在有序推動以數據中心為代表的新型基礎設施綠色高質素發展,發揮其「一業帶百業」作用,助力實作碳達峰碳中和目標。
北上廣深等一線城市及周邊地區的土地、水電資源相對緊張,對數據中心能效及碳排要求更為嚴格。當前,上述區域正在持續加強對數據中心產業的政策引導,推動數據中心綠色低碳發展。
北京市 2021年4月釋出【北京市數據中心統籌發展實施方案(2021-2023 年)】,指出逐步關閉年均PUE 高於 2.0或平均單機架功率低於 2.5 千瓦或平均上架率低於 30%的功能落後的備份儲存類數據中心;對年均 PUE 高於 1.8或平均單機架功率低於3千瓦的數據中心進行改造,改造後的計算型雲數據中心PUE不應高於 1.3,改造後的邊緣計算中心 PUE 不應高於 1.6,未按規定完成改造的數據中心要逐步騰退。
上海市 2021年4月釋出【上海市數據中心建設導則(2021版)】,要求新建數據中心綜合PUE不高於 1.3,WUE 不高於 1.4。江蘇省 2021年 12月釋出【江蘇省新型數據中心統籌發展實施意見】,要求「全省新建(擴建)大型及以上數據中心應達到綠色數據中心要求,PUE低於 1.3,綠色低碳等級達到4A 級以上。中小型數據中心 PUE 應不高於 1.5」
二、創新主導變革趨勢
數據中心由建築、供配電、制冷、安防和機架等基礎設施,以及伺服器、網絡和儲存等 IT 器材共同構成,其技術涉及面廣,復雜度高,數據中心或將成為下一波技術創新的高地。本章結合國內外數據中心技術發展趨勢,從新能源、智能運維、預制模組化、液冷等基礎設施技術和高密伺服器、備份一體機、儲存存取協定、算力網絡等 IT 器材技術對數據中心產業技術熱點進行總結分析。
(一)新能源技術套用更加深入,助力綠色低碳發展
儲能技術透過「削峰填谷」,成為降低數據中心電力成本的重要方式。數據中心耗能較高,電力成本占營運總成本的 60%-70%。盡管當前不少數據中心透過節能最佳化提升了數據中心電能利用率,但電力成本占數據中心總體成本依然較大。為了平衡電網用電時段,供電公司通常會提供波峰及波谷電價,數據中心可利用儲能系統在波谷時儲存電力,並在高峰期進行利用,以降低數據中心用電成本。蓄冷、儲能等均是重要的解決方案,蓄冷在夜間電力負荷低谷期制備冷量,並在日間電力負荷高峰期將制備的冷量套用於空調系統;儲能透過儲能器材實作電力儲存,鋰電由於其高能量密度、高輸出電壓等特點成為下一代數據中心後備儲能方案之一。
新能源與儲能技術融合加深,有效轉變數據中心能源結構,提升綠色低碳水平。隨著數據中心能耗政策的收緊及碳中和目標的確立,新能源供電逐漸成為實作數據中心零碳排放的重要方式,風、光、水、氫等清潔能源的使用占比將不斷提升,數據中心可直接采用新能源發電實作能源供給或透過碳排放權交易間接促進新能源的使用。盡管新能源發電具有清潔環保優勢,但是新能源供給容易受到自然條件影響,進而導致其連續性難以保障。新能源與儲能技術融合能夠有效提升新能源供電的穩定性,解決可再生能源系統套用過程中的供不平衡、穩定性差等問題。
國內外已有部份數據中心開始嘗試新能源+儲能的規模化供電方案,為數據中心新能源和儲能技術的套用與推廣提供了重要參考。2020年8月,美國能源開發商Capital Dynamics 與數據中心營運商Switch 簽署了一份太陽能和儲能專案電力采購協定。基於此協定,Switch 將獲得全天候綠色電力支撐,該專案包含一個 127MW 的太陽能發電場,以及一個240MWh的電池儲能系統。
在國內,2021年7月,世紀互聯新一代荷儲數據中心專案在佛山智慧城市數據中心合閘,其是實作規模化儲能技術套用的數據中心專案,專案以數據中心為主要負荷物件,配備2MWh儲能容量,輸出功率1MW,整個儲能系統由儲能貨櫃、PCS倉、環網櫃組成,並與光伏發電系統在交流側耦合,在數據中心10kV高壓側實作最終並網,使數據中心形成一個負荷可變、可調的復合體,並能根據電網需求、新能源發電需求,調整充放電策略,
(二)運維智能化程度不斷提升,實作運維效率提升
套用智能運維,有效提高數據中心運維的流程化和標準化,提升運維管理效率。隨著數據中心規模的不斷提升以及數據中心承載業務及數據量的不斷增長,數據中心運維方式也在快速演進,智能運維工具的套用使數據中心運維管理變得更加高效。在手工運維時期,數據中心運維管理人員缺乏有效的運維工具,運維管理活動更加依賴於運維管理人員的個人知識及技術水平。隨著數據中心規模的快速增長,數據中心運維服務範圍和難度明顯提升,單純依靠個人經驗難以保障運維服務質素。
在上述情況下,流程化和標準化的運維開始出現。流程化和標準化運維旨在透過明確流程及標準文件等形式促進運維管理活動更加規範,降低對運維人員個人知識技能的依賴性。自動化平台運維是流程化和標準化運維的進一步發展,自動化運維工具透過平台化建設將大量重復的運維活動轉變為自動化操作,提高了運維效率,使運維過程視覺化程度提升。智能運維以數據為基礎、以演算法為支撐、以場景為導向,為數據中心運維管理提供了智能化解決方案,實作了問題的實時分析和處理,降低了報警噪音,並能夠對故障及問題原因進行分析和預測。
2021年7月,工信部【新型數據中心發展三年行動計劃(2021-2023 年)】明確提出「聚焦新型數據中心供配電、制冷、IT 和網絡器材、智能化系統等關鍵環節,鍛強補弱」。政策引導數據中心運維管理向智能化發展,產業界關於智能運維的關註也越來越高。
中國互聯網企業、第三方服務商積極開展智能化營運相關實踐。萬國數據北京四號數據中心透過在基礎設施建設方面大量套用融入專業經驗的自動化裝置代替人工操作,提高故障報警及響應速度,並結合自行開發的營運管理平台及套用軟件,以實作從本地到區域,再到全國的高效高質素運維;騰訊懷來瑞北雲數據中心基於騰訊自研的數據中心自動化管理平台--騰訊智維,構建了連結園區、區域、總部的三級閉環管理體系,並透過重構告警鏈路實作了秒級敏態感知,套用圖計算、物模型等技術實作了告警極速收斂,故障自動定位的準確率高達 99.9%。
網絡智能運維是數據中心智能運維最重要的套用場景之一,網絡智能運維技術可持續推動網絡可視、可管、可控能力的提升。隨著數據中心規模的不斷擴充套件,數據中心網絡復雜度也在不斷提升,與此同時,使用者對數據中心網絡的質素、可靠性及安全性提出了更
高的要求。傳統數據中心網絡在運維過程中存在訊號幹擾、套用保障等問題,人工運維效率較差,在應對突發網絡故障時難以作出及時的網絡故障處理和營運維護。
當前,業界提出了以「自動駕駛網絡」等為代表的網絡智能運維及最佳化技術,其透過融合 AI技術實作對數據中心網絡的管控、自動運維及最佳化,對各類網絡故障進行恢復自愈,對阻塞進行管理同時支持網絡自動調優和自我演進,為使用者提供更加優質的網絡服務。
2021 開放數據中心峰會上,中國信通院、華為、中國移動研究院等單位共同釋出了【超融合數據中心網絡無失真以太場景等級測評規範】,該測評規範針對分布式儲存、集中式儲存及高效能計算等場景,從功能、效能、可靠性、相容性及運維等維度進行了評價:並根據評價結果將無失真網絡分為五個等級,分別為無失真能力尚不成網絡智能運維是數據中心智能運維最重要的套用場景之一,網絡智能運維技術可持續推動網絡可視、可管、可控能力的提升。隨著數據中心規模的不斷擴充套件,數據中心網絡復雜度也在不斷提升,與此同時,使用者對數據中心網絡的質素、可靠性及安全性提出了更高的要求。傳統數據中心網絡在運維過程中存在訊號幹擾、套用保障等問題,人工運維效率較差,在應對突發網絡故障時難以作出及時的網絡故障處理和營運維護。
當前,業界提出了以「自動駕駛網絡」等為代表的網絡智能運維及最佳化技術,其透過融合 AI技術實作對數據中心網絡的管控、自動運維及最佳化,對各類網絡故障進行恢復自愈,對阻塞進行管理同時支持網絡自動調優和自我演進,為使用者提供更加優質的網絡服務。
2021 開放數據中心峰會上,中國信通院、華為、中國移動研究院等單位共同釋出了【超融合數據中心網絡無失真以太場景等級測評規範】,該測評規範針對分布式儲存、集中式儲存及高效能計算等場景,從功能、效能、可靠性、相容性及運維等維度進行了評價:並根據評價結果將無失真網絡分為五個等級,分別為無失真能力尚不成熟、具備基本無失真能力、無失真能力成熟、無失真能力良好、無失真能力卓越,運維是其重要的等級評定維度。
同時,華為在【華為數據中心自動駕駛網絡白皮書】中將自動駕駛網絡定義為五個等級,指出全自治網絡是數據中心網絡發展的終極目標,在全自治網絡下,網絡系統自身將形成面向任意場景,具備執行、監視、分析和決策能力,完全實作閉環管理的自動化能力,真正實作「無人駕駛」
(三)預制模組化技術深度融合,專案建設周期縮短
預制模組化建築技術與模組化數據中心深度融合,新一代預制模組化數據中心可靠性及使用體驗大幅提升。資訊科技的快速選代及使用者對數據中心交付工期要求的縮短,使得傳統數據中心建設模式越來越難以滿足現實需求,數據中心預制化成為實作數據中心快速建設關鍵技術之一。數據中心預制化技術已有多年發展歷史,早期預制化數據中心采用 All-in-One 形式設計,單箱體整合數據中心各子系統,可滿足小規模數據中心快速部署及應急建設要求。
在 All-in-One 基礎上,業界逐漸實作了器材區和配電區等核心區域的模組化,出現了傳統的預制模組化數據中心。受到可靠性、空間及標準化程度等因素制約,傳統預制模組化數據中心仍為小規模及特定場景套用為主。隨著預制模組化理念的成熟及模組化數據中心的發展,預制模組化建築技術與模組化數據中心融合程度加深新一代預制模組化數據中心開始出現。
(四)液冷技術商用條件漸成熟,實踐案例不斷增多
液冷技術快速演進,系統可靠性逐步提升。液冷技術利用液體作為換熱媒介在靠近熱源處進行換熱制冷,不需要像風冷一樣透過空氣間接制冷,由於液體具有相對較高的比熱容,其制冷效果和能效遠高於風冷制冷,在高密度、大規模及散熱需求較高的數據中心中優勢明顯。
按液冷室內末端與伺服器等發熱源接觸方式不同可將液冷分為間接液冷技術和直接液冷技術,間接液冷中熱源與冷卻液沒有直接接觸換熱,直接液冷技術中冷卻液則與發熱電子元件直接接觸換熱制冷。間接液冷以冷板式為主,其中單相冷板式液冷解決方案較為常見。直接液冷主要是浸沒式,散熱效率高,噪音低。
當前中國液冷技術正在快速發展並已經擁有規模化的商用案例,這與中國數據中心規模不斷擴大,單機櫃功率密度不斷提升有關。阿裏巴巴、百度、騰訊、華為、中科曙光等 「 企業已有成熟的液冷技術套用案例,阿裏巴巴仁和雲端運算數據中心伺服器采用全浸沒式液冷伺服器,該數據中心也成為中國首座綠色等級達到5A級的液冷數據中心。
與液冷技術套用實踐同步,近年來,產業界對於液冷技術的研究也在逐步深化。2019年,中國信通院雲端運算與大數據研究所(以下簡稱「中國信通院雲大所」)聯合業界先後出版【冷板式液冷】【液冷革命】兩部書籍,對液冷技術發展內外因及不同液冷技術方案進行對比剖析;2020年,ODCC與阿裏巴巴舉辦浸沒式液冷數據中心開源釋出會,阿裏巴巴正式開源【浸沒式液冷數據中心技術規範】; 2021年初,ODCC聯合 UDP(聯合國環境規劃署-丹麥科技大學合作夥伴)哥本哈根能源效率中心、ITU(國際電信聯盟)在全球聯合釋出題為【Innovative Data-Centre Cooling Technologies inChina-Liquid Cooling Solution】的液冷研究報告,對中國液冷技術套用進展進行總結;2021年,ODCC釋出【浸沒式液冷伺服器可靠性白皮書】,研究內容為液冷伺服器長期執行後的可靠性評估方法;2022年4月,中國信通院雲大所牽頭編制的5項液冷系列行業標準正式實施,為數據中心液冷產業發展提供了有效指導。
隨著邊緣算力需求的不斷提升,液冷技術套用場景將從雲端擴充套件到邊緣。終端算力需求的提升使得傳統雲算力逐漸下沈到邊緣,邊緣計算伺服器功率密度及散熱需求也在同步提升。為了降低數據中心制冷能耗,提升數據中心整體能效,部份邊緣數據中心也開始引入液冷邊緣伺服器,透過液冷技術套用提升邊緣數據中心的能效水平。
(五)高密伺服器研發部署加快,單位面積算力提升
數據規模的持續增長及土地、電力資源集約化發展推動高密度數據中心發展。在過去很長一段時間,為了滿足不斷增長的使用者數據處理需求,數據中心主要是透過增加空間,擴大機架和伺服器規模來提供更多算力,但是這也會導致數據中心營運成本的增加和數據中心場地空間的浪費。經濟發達地區日益緊張的土地資源使得以擴大伺服器規模來提升算力規模的數據中心建設模式難以開展,建設高密度數據中心成為提升數據中心算力水平的重要舉措,高密度數據中心能夠進一步增加數據中心「每平方米」的計算能力,能夠更好地滿足大數據場景下的計算與儲存需求。
高密度伺服器部署顯著提升數據中心單位面積算力,降低數據中心營運成本。建設高密度數據中心的關鍵是部署高密度伺服器,與傳統伺服器不同,高密度伺服器電源和風扇多以共享方式進行設計,位於同一機箱內的多台伺服器節點可以共享電源和風扇。上述方式,一方面降低了機體的重量和空間占用,提升數據中心單位面積算力,另一方面能夠提升電源和散熱系統的使用效率,降低數據中心營運成本。
隨著數據中心功率密度的提升,數據中心平均機架功率也在不斷提升,有研究機構釋出數據顯示當前全球5-9kWhack 的機架占比最多,功率超過 10kWhack 的機架占比達到近30%,單機架功率的提升與高密度伺服器規模部署和套用密切相關,當前,Intel、IBM、華為、浪潮、曙光等廠商紛紛加速推進高密度伺服器的產品設計與市場布局,
(六)備份一體機市場快速增長,容災備份能力增強
數據重要性不斷凸顯,容災備份需求驅動備份一體機市場高速增長。數據是數據中心中存放的企業最重要的資產,在中國企業數碼化轉型行程加快的背景下,數據中心及企業機房容災備份能力逐漸受到業界關註。
傳統數據保護方式大多只能針對物理器材的數據進行保護,難以對雲端運算等環境提供統一的數據保護備份服務,隨著數據中心分布式計算套用場景的增長,傳統數據保護備份方式越來越難以滿足需求,高效、全面、融合、統一靈活的數據備份和恢復方案成為下一代數據中心數據保護方案的方向。
備份一體機是面向下一代數據中心數據保護場景的重要方案,備份一體機可利用軟件、磁碟陣列、伺服器引擎或節點備份數據,與備份軟件緊密集合形成目錄、索引、計劃,從而實作數據的傳送。
當前,全球備份一體機市場保持高速增長態勢,市場需求旺盛為迎合產業發展,2021年9月,ODCC釋出【備份一體機技術規範】,對備份一體機架構、功能、非功能及介面要求進行了全面規範,有效的推動了備份一體機的生產、測試和選型。
(七)新儲存存取協定不斷演進,網絡儲存深度融合NVMe-oF 協定成為全快閃記憶體端到端重要解決方案,儲存與網絡融合進-步加深。
NVMe over Fabrics(以下簡稱 NVMe-oF)成為降低儲存網絡協定棧處理開銷並實作高並行、低時延的重要技術,其解決了儲存由於通訊協定而造成效能損失的問題,進一步釋放SSD的效能,加速了快閃記憶體的發展。
NVMe-oF 使得主機和儲存器材可以透過網絡使用 NVMe 協定,有效地提高了主機透過遠端網絡存取儲存的效能,引起了業界廣泛關註。當前,包括 FC 網絡、IB 網絡、無失真網絡、標準乙太網路等均支持 NVMe-oF。
其中,無失真網絡作為業界關註的焦點之一,近年來取得了長足發展。其在效能上大幅優於標準乙太網路,在建設成本方面低於 FC 網絡和 IB 網絡。因此,在 NVMe與網絡融合發展的過程中,無失真網絡或將成為重要的發展方向.
(八)泛在算力互聯需求將增多,算力網絡創新加速
算力網絡連線泛在算力基礎設施,營運商積極開展落地實踐。金融、交通、教育、工業等行業對泛在算力場景的需求不斷增長使用者需要隨時隨地可接入的更優惠、更高質的算力服務,基於算力泛在使用和交易需求衍生的算力網絡成為下一代算力基礎設施發展的重點。近年來,營運商加速推動算力網絡落地實踐。
算網一體是中國聯通 CUBE-Net3.0 重點方向之一,中國聯通在全國多地開展算力網絡建設試點,透過算力網絡業務鏈、網絡切片、資源感知實作算力資源排程和感知,形成雲網安一體服務。
中國電信 在算力網絡建設過程中重點強調「雲」為核心,側重網絡、算力和儲存三大資源相互融合,推進天翼雲持續升級,實作天翼雲節點和天翼邊緣節點統一管理排程,雲網融合、雲邊協同是電信雲的優勢。
中國移動 重點改造底層算力基礎設施,基於X86 和 ARM 架構打造通用算力網絡,同時基於 GPU、ASIC 不斷豐富智能算力。
算力網絡技術創新主要集中在架構、排程技術及度量方式三個方面。
在算力架構方面,傳統計算與網絡分離模式逐漸向計算與網絡融合方向演進,算力基礎設施融合架構創新發展。
在算力排程技術方面,算力排程由之前僅支持對網絡的排程發展到算力與網絡匹配的排程模式,算力排程技術創新不斷湧現。
算力排程技術創新主要包括算力跨區域排程、多層次排程、算力資源統一編排、網絡協定、可視監測及智能運維等。
在算力度量方式方面,算力與網絡度量內涵不斷延伸,算力度量方式由單一節點度量轉變為一體化協同度量。
隨著算力網絡的形成,使用者算力獲取來源變得更加多樣,在這種情況下,使用者可獲取的算力就不能以單一或局部節點來衡量,而是以算力網絡平台當前可供給的且滿足使用者業務需求的算力來衡量,這種新的一體化協同度量機制將對使用者可用算力進行重新核定
三、中國數據中心發展趨勢
當前,中國正處於各行業數碼化轉型的加速期,以數據中心為代表的數碼基礎設施套用場景仍將進一步擴大,數據中心產業將迎來更大機遇,發展前景將更為廣闊。
(一)布局逐步最佳化,協同一體趨勢增強
受市場內生算力需求驅動,及國家相關政策引導,中國數據中心總體布局持續最佳化,協同一體趨勢將進一步增強。在市場層面,中西部地區自然環境優越,土地、電力等資源充足,但本地數據中心市場需求相對較低;東部地區市場需求旺盛,但土地、電力、人員等生產要素成本較高,東西部協同發展逐漸成為趨勢。而隨著網絡質素的最佳化,中西部將不再僅是進行冷儲存的災備數據中心聚集區,也將承載更多的套用。在政策層面,中國數據中心全國一體化發展引導增強。同時,內蒙、貴州等地推出了電力、土地、稅收等優惠政策,有效幫助數據中心降低建設營運成本,數據中心建設規模不斷增長。未來,「東數西算」工程將進入到全面建設期,中國數據中心布局或將得到進一步最佳化。
除地域布局上的東西部協同外,為應對不斷湧現的套用場景需求,不同類別數據中心也協同發展。中國數據中心產業正在由通用數據中心占主導,演變為多類別數據中心共同發展的新局面,數據中心間協同,以及雲邊協同的體系將不斷完善。以套用為驅動,多種類別的數據中心協同一體,共同提供算力服務的模式,將成為中國數據中心算力供給重要形態,持續支撐中國數碼經濟發展。
(二)創新驅動持續,技術水平不斷提升
作為算力服務中樞,數據中心既是數碼經濟底座,也是數碼技術創新的高地。隨著新一代資訊科技的不斷發展,數據中心正逐漸突破傳統機房營運模式的桎梏,產業發展逐漸由資本驅動邁向創新驅動,技術創新將持續活躍。
從基礎設施角度看,數據中心是由「風火水電」構成的建築,早期數據中心建設主要參考建築、電力、制冷、通訊等行業的基建經驗,並未專門針對數據中心環境進行創新最佳化。隨著數據中心節能降碳、降本增效、智能營運等要求的不斷提升,液冷、蓄冷、儲能、高壓直流、智能運維等新技術開始套用於數據中心的建設營運中,以技術促進數據中心基礎設施變革的趨勢不斷增強。
從 IT 器材角度看,雲端運算技術的套用使得數據中心虛擬化程度不斷提高,數據中心與雲平台、網絡、安全及營運之間的技術聯接日益緊密,智能芯片、客製化伺服器、分布式儲存、SDN、智能運維等IT技術的套用,有效地提升了數據中心服務能力。
可以預見,在未來發展過程中,基礎設施及IT技術的創新將不斷湧現,數據中心技術內涵也將變得更加豐富。中國數據中心產業將逐步增強對新技術的套用,利用新技術加速實作節能減排,提升算力服務水平,進一步賦能產業發展。
(三)算網協同加快,泛在算力高質發展
算網協同是實作算力服務泛在可達、靈活取用的重要途徑,同時也是算力基礎設施和網絡設施融合創新發展的重要形態。當前,中國算網協同發展尚處於起步階段,算網協同技術、營運機制及監管體制仍不完善,但算網協同是下一階段中國算網設施發展的重要方向。
在「東數西算」工程的背景下,以算網協同為基礎,透過算力排程構建全國一體化算力網絡,成為推動全國算力資源最佳化配置的關鍵。未來,以「東數西算」為牽引的全國一體化算力網絡將逐步建成,並實作泛在算力的靈活高效排程,以算網協同目標為驅動,內送流量備援容錯機制體共同參與,加速算網協同體系的建成。
中國信通院雲大所數據中心團隊搭建了中國首個「算力大平台」,該平台已經上線多年,具備數據中心等算力基礎設施的多維度資訊采集、監測和供需對接等能力,平台的建設和完善有望為「東數西算」工程的實施及全國算力排程提供有效支撐。
(四)賦能效應深化,數碼轉型支撐顯著
近年來,數碼化轉型的範圍不斷擴大、程度不斷加深,數據中心產業賦能效應逐步深化。
未來,數據中心對產業的賦能主要體現在以下方面:
一是多樣泛在的算力供給將逐步完善,傳統企業「上雲用數賦智」行程將進一步加快。電力、石油、石化、制造等工業領域可透過能源互聯網平台、工業互聯網平台的建設,加速實作雲邊端協同,提高企業生產營運效率;
二是隨著數碼化轉型的深入,數據中心將與網絡深度融合,形成算網一體服務,更好地為企業發展提供 IT 基礎設施支撐;
三是分布式計算、儲存及雲邊端協同的技術不斷成熟,可實作對泛在終端海量數據的快速處理,從而支撐工業互聯網和物聯網的發展;四是計算、儲存及網絡等服務模式將逐步變革,算力可更為深入地融入到企業數碼化轉型的各個方面,全面賦能企業生產、營運及管理等環節。
(五)低碳要求趨嚴,助力雙碳目標實作
雙碳目標及可持續發展戰略將長期驅動中國數據中心產業綠色低碳發展。在政策方面,中國數據中心政策對能效的要求不斷趨嚴能效考核指標從以 PUE 為主逐步演變為 PUE、CUE、WUE、綠色低碳等級等多指標兼顧,未來有可能會納入更多新的能效指標,日趨嚴格的能耗政策將進一步推動產業全面綠色低碳發展。
未來,數據中心將成為支撐各產業數碼化發展的引擎,綠色算力套用將全面賦能各行業的數碼化轉型,全面助力精益生產和綠色發展。
在產業實踐方面,數據中心制冷方案供應商將進一步加強新型制冷方案的研究,氟泵、液冷、間接蒸發、自然冷源等制冷技術將變得更加成熟,制冷效率將不斷提升。
同時,光伏、風電、儲能、鋰電池等綠色電力和供配電節能技術研發與套用也將不斷深入。數據中心綠色低碳技術研發和套用都將進一步發展。
有關AI更多方面資訊,請關註「巴特星球」公眾號。