前面我們介紹了谷歌數(shù)據(jù)中心制冷模塊 ,下圖是機房內(nèi)多排機柜單元和制冷單元的布置示意圖,我們可以更為清楚地看到制冷單元和整機柜是如何搭配的。機柜每三個一組,頂部的TOR放在三聯(lián)柜中間,每三個柜子依次排開。兩排機柜間根據(jù)實際機柜的功耗和設(shè)備類型,搭配不同數(shù)量的制冷模塊,比如高負荷的計算類機柜列比存儲型的機柜列制冷模塊要多。如果出現(xiàn)部分區(qū)域的設(shè)備功耗密度較低,則可以多個三聯(lián)柜共享稍微少量的制冷模塊,這樣制冷模塊間的頂部空隙可以通過薄鐵皮來封閉熱通道,如下圖標(biāo)簽418所示。如果某個三聯(lián)柜需要搬遷或者維修,則可以通過底部滾輪靈活由一個運營人員就可容易推走,如下圖標(biāo)簽424,但推走后的機柜位需要制冷模塊正面的鐵皮封板封堵住熱通道,以免整個封閉熱通道的熱氣流泄露到機房冷環(huán)境中,如下圖標(biāo)簽為416的封板所示。
下圖是包含了數(shù)據(jù)中心制冷基礎(chǔ)設(shè)施的更為詳細的剖面圖,從這個圖我們可以清楚看到冷站604提供的冷凍水通過地板下維護空間內(nèi)(考慮地板下管路檢修維護需要,實際goolge某個項目的地板下高度高達122cm)的冷凍水管614和612,送到機柜上方的制冷模塊來帶走設(shè)備產(chǎn)生的熱量。冷站604包括了冷卻塔622、板式換熱器626、冷機620和水泵624/616等,采用三通閥等設(shè)計,可以選擇直接冷卻或間接冷卻。實際建設(shè)的時候,冷站也可以是模塊化的工廠預(yù)制單元,運送到機房現(xiàn)場和對應(yīng)的多排機柜列對接即可投入使用,真正達到了模塊化快速建設(shè)的目的。冷站模塊間的冗余,也可以通過將這些不同的冷站模塊互聯(lián)到公共接頭的主環(huán)網(wǎng)中,通過互聯(lián)互通的環(huán)網(wǎng)結(jié)構(gòu)來實現(xiàn)冷站間的冗余,即便某個冷站故障也不會影響整個系統(tǒng)。
實際Google的數(shù)據(jù)中心為了節(jié)能運行,會將機房的溫度設(shè)置得較高,整個機房作為冷通道,整體溫度場較為均勻,且較為適合運維人員操作。服務(wù)器的進風(fēng)溫度往往高達27攝氏度甚至更高。熱通道內(nèi)的溫度則高得多,甚至不適合于運維人員呆在里邊,因此服務(wù)器全部設(shè)計成冷通道前維護。比如熱通道內(nèi)的溫度會高達43度以上,經(jīng)過頂部空調(diào)盤管降溫后的溫度約為25攝氏度,deltaT高達18度,這樣頂部空調(diào)的風(fēng)量可大大減少,風(fēng)扇也可低速運行功耗很低。同時整個機房采用高溫27攝氏度運行,冷凍水供水的溫度也可以設(shè)置在20攝氏度的高位溫度,回水溫度則約為40攝氏度,這樣高溫差運行也可大大節(jié)省水泵的功耗。如果冷凍水的供水溫度可以達到20攝氏度,這樣每年制冷主機真正需要開啟的時間就非常少,甚至在歐洲的幾個數(shù)據(jù)中心都實現(xiàn)了無冷機運行,而冷機能耗是機房內(nèi)最大一塊,所以這些設(shè)計可以大大節(jié)約能耗。
為了支撐其百萬量級的服務(wù)器需求,Google的數(shù)據(jù)中心通常建設(shè)面積都非常龐大,服務(wù)器數(shù)量更是數(shù)以好幾萬計的規(guī)模。比如北卡數(shù)據(jù)中心光架空地板面積就接近2萬平方米,據(jù)google數(shù)據(jù)中心主管holtz介紹,當(dāng)時已投入運行服務(wù)器多達五萬臺。由于選址多為遠離城市的郊外地區(qū),地廣人稀,所以其機房通常不像國內(nèi)城市數(shù)據(jù)中心的多層建筑設(shè)計,而往往采用單層的大開間框架式結(jié)構(gòu),更為節(jié)能環(huán)保,功能單元布局和人流、物流也更為合理。