京東第一個自建數(shù)據(jù)中心是位于宿遷的京東云華東數(shù)據(jù)中心，整體由4個模塊和1棟綜合大樓組成，總占地面積將近6萬平方米，總投資30億元，可以提供20萬臺的服務(wù)器安裝和運(yùn)營能力，存儲能力不小于32EB，計算能力不小于128千萬億次每秒。

　　作為京東的標(biāo)桿項目之一，京東集團(tuán)CTO張晨曾多次在業(yè)界大會上講到：宿遷自建數(shù)據(jù)中心的綠色環(huán)保技術(shù)，貫穿于其整個生命周期。從最初的概念設(shè)計到施工建造，一直到投產(chǎn)后的運(yùn)營管理，保證數(shù)據(jù)中心年均PUE≤1.3（實(shí)測），在華東地區(qū)達(dá)到領(lǐng)先水平。

　　接下來我們將為大家揭秘京東自建數(shù)據(jù)中心的核心技術(shù)，通過《基礎(chǔ)設(shè)施篇》和《數(shù)據(jù)中心運(yùn)營篇》，揭開它創(chuàng)新技術(shù)的神秘面紗。

　　隨著數(shù)據(jù)中心需求和規(guī)模的不斷擴(kuò)大，建設(shè)成本和運(yùn)行成本不可避免的會成為企業(yè)的考量指標(biāo)。數(shù)據(jù)中心不僅耗電量巨大，耗冷量也不可小覷。據(jù)統(tǒng)計，數(shù)據(jù)中心空調(diào)系統(tǒng)的能耗一般占總能耗的20%-40%左右，其中制冷壓縮機(jī)的能耗又占到空調(diào)系統(tǒng)總能耗的70%-90%。

　　降低空調(diào)制冷系統(tǒng)的能耗，將會是提高數(shù)據(jù)中心能源利用率最直接和有效的措施。因此，利用自然冷源來解決數(shù)據(jù)中心的散熱問題，成為京東自建數(shù)據(jù)中心創(chuàng)新技術(shù)的核心考量之一。

　　京東自建數(shù)據(jù)中心選址在江蘇宿遷地區(qū)，一年中大部分時間的溫度在-5~35℃之間，水資源豐富，屬于暖溫帶季風(fēng)氣候區(qū)。年均氣溫14.2℃，四季分明，初霜期一般在10月下旬。相對于嚴(yán)寒地區(qū)，室外設(shè)備被凍結(jié)故障的可能性較小，而利用的室外自然冷源的條件又比較充足。為了充分利用冬季室外天然冷源進(jìn)行自然冷卻，冷凍水系統(tǒng)設(shè)置了水-水不銹鋼板式換熱器，與冷水機(jī)組并聯(lián)。

　　系統(tǒng)中設(shè)計冷凍水供水溫度為10℃，實(shí)際運(yùn)行中可以提高水溫，來提高系統(tǒng)運(yùn)行整體效率并延長自然冷卻時間。實(shí)際運(yùn)行中，冷凍水系統(tǒng)在室外日平均溫度持續(xù)5天以上低于10度時，切換到自然冷卻系統(tǒng)使用，日平均溫度持續(xù)5天以上高于10度時，開始退出。全年基本可以分為免費(fèi)制冷季和常規(guī)制冷季。

　　京東IDC建設(shè)部技術(shù)專家黃軼彪談到：“我們在傳統(tǒng)的Freecooling技術(shù)基礎(chǔ)上，增加了一套自主設(shè)計的氣候環(huán)境采集控制系統(tǒng)，我們叫“平滑的連續(xù)調(diào)整”的Freecooling技術(shù)。利用這套技術(shù)，完全實(shí)現(xiàn)了制冷系統(tǒng)根據(jù)室內(nèi)外環(huán)境溫度、濕度、系統(tǒng)負(fù)荷大小、平滑連續(xù)的調(diào)節(jié)各組件運(yùn)行狀態(tài)，始終保持系統(tǒng)在最佳的效率區(qū)間。而且全年可以“免費(fèi)”使用自然冷源的時間高達(dá)180天以上，直接節(jié)約電費(fèi)數(shù)百萬元以上。”

　　制冷系統(tǒng)是數(shù)據(jù)中心的重要組成部分，擔(dān)負(fù)著為數(shù)據(jù)中心提供可靠生產(chǎn)環(huán)境的任務(wù)。京東在宿遷的自建數(shù)據(jù)中心，采用三級壓縮式冷水機(jī)組，結(jié)合水泵，冷塔變頻控制帶來很好的節(jié)能效果�？照{(diào)制冷系統(tǒng)由冷源系統(tǒng)、管路系統(tǒng)、末端空調(diào)系統(tǒng)和輔助系統(tǒng)等構(gòu)成，數(shù)據(jù)中心專門設(shè)置有制冷機(jī)房。

　　制冷設(shè)備采用4臺水冷離心式冷水機(jī)組，3+1配備。壓縮機(jī)形式為三級離心式，三級壓縮具有轉(zhuǎn)速低、運(yùn)行平穩(wěn)、低負(fù)荷工況好的特點(diǎn)，加大了機(jī)組制冷量的調(diào)節(jié)范圍，同時，在三級壓縮的過程中設(shè)置兩級節(jié)能器，與不帶經(jīng)濟(jì)器的冷水機(jī)組相比，相同制冷工況下節(jié)電量達(dá)到8-10%。

　　冷凍水系統(tǒng)的設(shè)計供回水溫度為10~16℃，主要設(shè)備采用N+1冗余配備，保證系統(tǒng)不會由于某一設(shè)備故障而受到影響。整個水系統(tǒng)管路采用環(huán)狀管路，設(shè)備之間設(shè)置雙閥門，保障系統(tǒng)可用性。并配備有在線式蓄冷罐，可以無間斷的為系統(tǒng)提供15mins備用冷源�？照{(diào)制冷系統(tǒng)的整體設(shè)計滿足并高于Uptime Tier Ⅲ級別的要求。

　　在京東宿遷自建數(shù)據(jù)中心的一期模塊中，主機(jī)房內(nèi)架空地板高度為1.2米。這種較高的架空層有利于空氣靜壓的形成，使通風(fēng)地板的出口風(fēng)速平穩(wěn)。同時也為地下保溫層和管線的維護(hù)提供了較大的空間。對于不同負(fù)荷的機(jī)柜，可調(diào)整通風(fēng)地板的開孔面積分配冷量。機(jī)柜采用冷通道封閉的形式，使得空調(diào)送風(fēng)冷卻效率更高。

　　每個機(jī)房模塊配有獨(dú)立的直膨式新風(fēng)機(jī)組，室外新風(fēng)經(jīng)初效和中效過濾，并經(jīng)冷卻處理后送入房間，保證機(jī)房正壓需求。主機(jī)房、變配電室、電池室、UPS配電室等均采用水冷式精密空調(diào)，采用N+1配置方式。精密空調(diào)全部采用“UPS+市電”雙路供電，UPS電源為主用；同時為避免大量空調(diào)同時啟動對電網(wǎng)造成沖擊，空調(diào)采取了延時策略。

　　京東IDC建設(shè)團(tuán)隊對所選用的精密空調(diào)，采用了具備節(jié)能設(shè)計的產(chǎn)品，包括：

　　京東在宿遷的自建數(shù)據(jù)中心，核心目標(biāo)之一是全力保證負(fù)荷用電的高可靠性。服務(wù)器電源是整個數(shù)據(jù)中心供配電系統(tǒng)建設(shè)的重點(diǎn)，了解服務(wù)器電源的相關(guān)特性對于數(shù)據(jù)中心的供配電系統(tǒng)建設(shè)具有重要的意義。充分了解服務(wù)器電源的容量、冗余方式、制冷要求和能效設(shè)計等主要指標(biāo)對于數(shù)據(jù)中心供配電系統(tǒng)的設(shè)計是十分必要的。

　　服務(wù)器冗余電源系統(tǒng)最終都可以歸結(jié)到雙電源系統(tǒng)上，如果雙電源服務(wù)器的每一路電源都能通過獨(dú)立的供電路由從獨(dú)立的電源取電，就能夠獲得最高的可靠性。

　　建立京東專屬的110KV開關(guān)站成為達(dá)成高可靠性這一目標(biāo)的絕佳途徑。110KV開關(guān)站緊鄰京東宿遷自建數(shù)據(jù)中心園區(qū)，其上一級來自兩個不同的220KV變電站專線。在110KV開關(guān)站內(nèi)設(shè)2臺變壓器，容量滿足整個數(shù)據(jù)中心園區(qū)的最大用電量。當(dāng)兩臺變壓器任意一臺檢修或發(fā)生故障時，另一臺完全滿足園區(qū)內(nèi)所有設(shè)備的正常用電需求。

　　機(jī)房內(nèi)所有電子信息設(shè)備都采用UPS供電，其中兩個生產(chǎn)機(jī)房和兩個網(wǎng)絡(luò)機(jī)房電子的供電模式為2N，其余六個生產(chǎn)機(jī)房的供電模式則為N+1。輔助設(shè)備電源采用“UPS+市電”的供電模式，單臺UPS后備蓄電池支撐時間不小于15分鐘。當(dāng)一路市電電源故障時，故障回路負(fù)荷自動切換給另一回路承擔(dān)。即使當(dāng)兩路市電電源都發(fā)生故障，機(jī)房模塊內(nèi)負(fù)荷由UPS蓄電池供電，同時備用柴油發(fā)電機(jī)組啟動，向機(jī)房模塊、空調(diào)冷源、照明等負(fù)荷供電。

　　如果市電發(fā)生斷電，數(shù)據(jù)中心的發(fā)電系統(tǒng)會自動投入運(yùn)行，與市電自動切換。并在限定時間內(nèi)，由發(fā)電機(jī)組啟動確保重要負(fù)載的緊急供電。油罐儲油量在無外部支援情況下滿足發(fā)電機(jī)組大于12h帶載連續(xù)運(yùn)行，并有緊急供油協(xié)議作為后繼可靠保障，任意一套油路系統(tǒng)PLC控制出現(xiàn)故障時，自動切換至另外一套PLC控制系統(tǒng)，保證系統(tǒng)供油的可靠性。當(dāng)市電恢復(fù)，經(jīng)過人工確認(rèn)后，手動恢復(fù)市電供電。

　　京東在宿遷的自建數(shù)據(jù)中心，發(fā)電系統(tǒng)全部采用進(jìn)口一線品牌的柴油發(fā)電機(jī)組設(shè)備，具有良好的啟動性能。配有發(fā)動機(jī)缸套水加熱裝置，可以保證在低溫時，系統(tǒng)的快速啟動和帶載能力。機(jī)組可以承受負(fù)載突加75%的突發(fā)狀況，保證發(fā)電機(jī)組快速啟動后可以快速加載。對并機(jī)主控系統(tǒng)的冗余設(shè)計， 有效提高了并機(jī)系統(tǒng)的可靠性。發(fā)電機(jī)配置有防潮加熱器，防止因空氣濕度過高降低發(fā)電機(jī)絕緣性能而造成安全風(fēng)險。

　　供儲油系統(tǒng)在每個數(shù)據(jù)中心模塊中獨(dú)立設(shè)置，物理隔離。每個模塊配置兩個25立方埋地柴油儲罐，每個柴油罐配置一用一備2臺供油泵，兩罐之間配置一臺倒油泵。儲罐區(qū)至機(jī)房日用油箱間輸油管路為雙環(huán)路設(shè)計，具備在線檢修及容錯能力。

　　在宿遷自建數(shù)據(jù)中心項目中，IDC建設(shè)團(tuán)隊選擇采用了非晶合金變壓器，它既有普通干式變壓器阻燃自熄、防潮、耐裂的優(yōu)良性能，又具有非常優(yōu)異的導(dǎo)磁性能，去磁與被磁化的過程極易完成。有利于降低損耗，增加有效載荷，提高效率。與普通干式變壓器技術(shù)參數(shù)相比較，空載損耗下降65%-70%，節(jié)能效果非常顯著。

　　京東在宿遷的自建數(shù)據(jù)中心，所有主機(jī)房都采用了分布式照明智能控制系統(tǒng)。人員進(jìn)入機(jī)房時，系統(tǒng)會根據(jù)感應(yīng)打開該部位的燈具，人員離開時燈具則按設(shè)定的延時時間自動關(guān)閉。無人員進(jìn)入機(jī)房時燈具能滿足運(yùn)維監(jiān)控的最低亮度，達(dá)到節(jié)能與自動控制的目的。

　　京東IDC建設(shè)建設(shè)部負(fù)責(zé)人，首席技術(shù)專家張敬特別談到了在京東宿遷自建數(shù)據(jù)中心二期的建設(shè)中，IDC建設(shè)團(tuán)隊引入的更多更前沿的實(shí)驗性項目，包括：“通過6sigma做CFD氣流仿真計算，了解IDC模塊內(nèi)的氣流組織，溫度分布情況，根據(jù)服務(wù)器的不同負(fù)荷狀態(tài)，推算溫度升高變化。”

　　“通過建立數(shù)學(xué)模型推算和6sigma CFD系統(tǒng)的驗證，在確保服務(wù)器同等負(fù)荷狀態(tài)，以及滿負(fù)荷狀態(tài)，服務(wù)器的實(shí)際需求功耗不增加的前提下，逐步提高服務(wù)器的運(yùn)行溫度，也就是數(shù)據(jù)中心模塊內(nèi)的環(huán)境溫度。”張敬還談到：“于此同時，我們根據(jù)數(shù)學(xué)推算和CFD仿真驗證的結(jié)果，將會在二期的實(shí)驗?zāi)�塊里引入一些更節(jié)能的冷卻技術(shù)。”

　　京東IT資源服務(wù)部負(fù)責(zé)人呂科認(rèn)為：“數(shù)據(jù)中心行業(yè)是一個技術(shù)含量非常高的服務(wù)行業(yè)，它為企業(yè)大量的電子信息設(shè)備提供安全的場所、持續(xù)的電力、適宜的環(huán)境、穩(wěn)定的網(wǎng)絡(luò)以及專業(yè)的運(yùn)維服務(wù)。”

　　“這些表面看似簡單的條件，背后卻需要一個龐大復(fù)雜的綜合系統(tǒng)來支撐。京東在人工智能，無人機(jī)，云計算等前沿科技領(lǐng)域，不斷推出提升億萬用戶購物體驗的場景應(yīng)用，正是基于我們持續(xù)技術(shù)創(chuàng)新的數(shù)據(jù)中心服務(wù)。數(shù)據(jù)中心在安全性和可靠性方面的不斷提高，一直會為這些創(chuàng)新技術(shù)的落地推廣、上線應(yīng)用、穩(wěn)定運(yùn)行保駕護(hù)航。”