1. 概述

　　近年來隨著云計(jì)算技術(shù)的快速發(fā)展，全球數(shù)據(jù)中心開始向著巨型化的方向發(fā)展，單機(jī)柜功率密度不斷提高，5KW、7KW、10KW甚至幾十KW功率機(jī)柜已逐步成為常規(guī)配置。新一代數(shù)據(jù)中心更顯著的表現(xiàn)為：規(guī)模更大、密度更高、制冷要求更高、局部過熱成為常態(tài)等特點(diǎn)。數(shù)據(jù)機(jī)房的高功率密度化對(duì)空調(diào)系統(tǒng)的制冷及機(jī)房散熱提出了更高的要求，空調(diào)系統(tǒng)短時(shí)間的供冷中斷都會(huì)造成IT設(shè)備過熱宕機(jī)，傳統(tǒng)風(fēng)冷空調(diào)的制冷方式已無法滿足機(jī)房制冷需求。如何保障新一代數(shù)據(jù)中心空調(diào)系統(tǒng)的能夠長期、持續(xù)、穩(wěn)定的為數(shù)據(jù)中心機(jī)房提供所需的環(huán)境溫度、濕度成為每個(gè)數(shù)據(jù)中心運(yùn)維管理人員必須面臨的問題，而空調(diào)系統(tǒng)的供電方式對(duì)上述保障要求能否達(dá)到起著關(guān)鍵作用。

　　從國內(nèi)數(shù)據(jù)中心的發(fā)展來看，由于功率密度的提高，新一代數(shù)據(jù)中心尤其是大型數(shù)據(jù)中心基本采用制冷效率更高的水冷空調(diào)系統(tǒng)來滿足持續(xù)上升的制冷需求。本文中筆者主要結(jié)合自身工作經(jīng)驗(yàn)主要針對(duì)水冷空調(diào)系統(tǒng)的供電方案設(shè)計(jì)及一些常見問題進(jìn)行分析和探討。

　　2. 新一代數(shù)據(jù)中心與傳統(tǒng)數(shù)據(jù)中心的差異

　　傳統(tǒng)數(shù)據(jù)中心一般功率密度較低，多數(shù)單機(jī)柜功耗低于2KW，在空調(diào)系統(tǒng)故障停止供冷時(shí)，只要保持IT設(shè)備供電連續(xù)，通過增加風(fēng)機(jī)、開窗等手段仍可保持?jǐn)?shù)據(jù)中心連續(xù)不中斷運(yùn)行，因此在傳統(tǒng)數(shù)據(jù)中心的運(yùn)維管理中空調(diào)系統(tǒng)的重要性往往不像供電那樣受到重視。新一代數(shù)據(jù)中心對(duì)運(yùn)維管理的重點(diǎn)進(jìn)行了重新定義，空調(diào)系統(tǒng)與數(shù)據(jù)中心供電一樣決定著數(shù)據(jù)中心能否安全穩(wěn)定運(yùn)行。筆者在工作中按照ASHARE標(biāo)準(zhǔn)測(cè)試方法，利用假負(fù)載對(duì)模擬了一個(gè)設(shè)計(jì)功耗5KW/機(jī)柜機(jī)房失去空調(diào)制冷后機(jī)房溫度上升情況。試驗(yàn)選擇一個(gè)350平米機(jī)房內(nèi)，機(jī)房內(nèi)安裝機(jī)柜158個(gè)。測(cè)試前啟動(dòng)假負(fù)載和空調(diào)，使機(jī)房溫度達(dá)到數(shù)據(jù)機(jī)房正常運(yùn)行穩(wěn)定狀態(tài)。關(guān)閉機(jī)房兩側(cè)末端空調(diào)模擬空調(diào)失去供冷�？照{(diào)制冷系統(tǒng)停止運(yùn)行后，靠機(jī)房空間的冷量只能維持不到3分鐘。

　　由此可見隨著IT設(shè)備功率密度的不斷提升，數(shù)據(jù)機(jī)房允許的空調(diào)停止運(yùn)行時(shí)間已成為分鐘級(jí)，在此條件下通過運(yùn)維人員“現(xiàn)場(chǎng)維修”來排除空調(diào)系統(tǒng)故障恢復(fù)機(jī)房制冷已不再可能�？照{(diào)系統(tǒng)短時(shí)間停止運(yùn)行都會(huì)造成機(jī)房內(nèi)熱量的快速堆積，并引發(fā)設(shè)備高溫宕機(jī)，因此保障空調(diào)系統(tǒng)安全穩(wěn)定運(yùn)行的供電系統(tǒng)的重要性也進(jìn)一步凸顯。

　　3. 高功率密度數(shù)據(jù)中心水冷空調(diào)系統(tǒng)的供電設(shè)計(jì)注意事項(xiàng)

　　新一代數(shù)據(jù)中心典型的空調(diào)水冷系統(tǒng)的結(jié)構(gòu)基本都是由下屬三大部分組成：

　　（1） 由冷卻塔+冷卻水泵+冷卻水供水及回水管路組成的空調(diào)冷卻水系統(tǒng)；
　�。�2） 由冷水機(jī)組+冷凍水泵+冷凍水供水、回水管路組成的空調(diào)冷凍水系統(tǒng)；
　�。�3） 由分水器+末端空調(diào)+風(fēng)機(jī)盤管+集水器+冷凍水泵組成的空調(diào)制冷量分配系統(tǒng)。

　　同時(shí)為保證冷凍水供水和冷卻水供水系統(tǒng)均能可靠、穩(wěn)定運(yùn)行，設(shè)計(jì)中將冷水機(jī)組、冷凍水泵、冷卻水泵分水器、集水器、主管路等都設(shè)計(jì)成1+1冗余備份方式。盡管空調(diào)系統(tǒng)的設(shè)計(jì)中采用了冗余等多重保障措施，但若空調(diào)系統(tǒng)供電設(shè)計(jì)中一些缺陷仍然離不開一個(gè)高可靠的供電系統(tǒng)來保證空調(diào)系統(tǒng)可以持續(xù)穩(wěn)定的為數(shù)據(jù)機(jī)房提供制冷。

　　3.1 水冷空調(diào)系統(tǒng)供電方案的常規(guī)設(shè)計(jì)

　　水冷空調(diào)系統(tǒng)供電設(shè)計(jì)中冷凍水泵、冷卻水泵、末端空調(diào)等關(guān)鍵設(shè)備一般采用雙路市電+ATS開關(guān)的冗余型供電方案：

　　對(duì)于采用低壓油機(jī)作為后備電源的數(shù)據(jù)中心，空調(diào)系統(tǒng)一般設(shè)計(jì)為有油機(jī)保障的雙路市電輸入+ATS開關(guān)，正常運(yùn)行時(shí)兩路市電首先饋送至ATS開關(guān)，并可以選擇其中一路作為主用，另一路作為備用。正常運(yùn)行時(shí)由作為主用的一路向水泵、末端空調(diào)等設(shè)備供電，當(dāng)主用路故障是可以自動(dòng)切換至備用路工作。ATS開關(guān)的轉(zhuǎn)換可以在秒級(jí)時(shí)間內(nèi)完成，秒級(jí)的中斷完全滿足空調(diào)系統(tǒng)停止運(yùn)行時(shí)間要求。

　　對(duì)于采用高壓油機(jī)作為后備電源的數(shù)據(jù)中心，由于目前一些地區(qū)的電力主管部門往往會(huì)對(duì)高壓油機(jī)的自動(dòng)投切進(jìn)行限制，人工投切會(huì)延長高壓油機(jī)供電恢復(fù)時(shí)長，因此多數(shù)空調(diào)系統(tǒng)供電設(shè)計(jì)中會(huì)為末端空調(diào)和冷凍水泵配置UPS、EPS等不間斷電源保證在高壓油機(jī)投切器件的連續(xù)供冷。

　　3.2 水冷空調(diào)系統(tǒng)供電方案設(shè)計(jì)中應(yīng)避免“單點(diǎn)故障”

　　在上述兩種常規(guī)設(shè)計(jì)中均采用ATS作為實(shí)現(xiàn)雙路供電自動(dòng)切換的關(guān)鍵器件，可滿足一般但從ATS實(shí)際應(yīng)用效果看ATS仍然存在一定的故障率導(dǎo)致該動(dòng)作不動(dòng)作或誤動(dòng)作等。ATS承載下端所有水泵或末端空調(diào)的負(fù)荷，存在明顯單點(diǎn)故障，ATS故障將導(dǎo)致下端所有設(shè)備斷電。對(duì)于高功率密度的數(shù)據(jù)機(jī)房，ATS故障可造成末端空調(diào)停止供冷機(jī)房溫度快速上升或冷凍水泵停轉(zhuǎn)末端空調(diào)無冷量補(bǔ)充進(jìn)而造成機(jī)房高溫宕機(jī)風(fēng)險(xiǎn)。為避免將所有雞蛋放在一個(gè)籃子中的風(fēng)險(xiǎn)，為末端空調(diào)配電系統(tǒng)增加一個(gè)ATS開關(guān)，將相互間隔的空調(diào)分屬不同配電系統(tǒng)，提高高功率密度數(shù)據(jù)機(jī)房安全性。

　　3.3 水冷空調(diào)系統(tǒng)供電方案設(shè)計(jì)中應(yīng)考慮“連續(xù)制冷”

　　由于高功率密度數(shù)據(jù)機(jī)房在空調(diào)失去制冷條件下機(jī)房溫度累積非常迅速，空調(diào)設(shè)備短時(shí)間停止供冷就可造成IT設(shè)備高溫宕機(jī)。因此在進(jìn)行新一代數(shù)據(jù)中心的規(guī)劃設(shè)計(jì)時(shí)應(yīng)充分考慮到連續(xù)制冷的必要性。一種觀點(diǎn)認(rèn)為，在數(shù)據(jù)中心設(shè)計(jì)階段進(jìn)行負(fù)荷評(píng)估時(shí)往往大于后期實(shí)際裝機(jī)的負(fù)荷，因此認(rèn)為過度強(qiáng)調(diào)連續(xù)制冷一方面會(huì)造成空調(diào)系統(tǒng)配電設(shè)備投資的加大，另一方面還可能造成后期設(shè)備利用率低等問題。但按照IT技術(shù)的發(fā)展趨勢(shì)，每5年左右功率密度會(huì)有一次技術(shù)更新，而數(shù)據(jù)中心一般設(shè)計(jì)生命周期一般不低于30年，因此在數(shù)據(jù)中心的規(guī)劃設(shè)計(jì)階段必須考慮到后期擴(kuò)容和技術(shù)更新。

　　數(shù)據(jù)中心連續(xù)制冷的完整解決方案不僅包括空調(diào)末端、冷凍水泵的不間斷運(yùn)行，還應(yīng)設(shè)置蓄冷罐儲(chǔ)備一定的冷凍水用于冷水機(jī)組停止工作時(shí)可以通過蓄冷罐向空調(diào)水系統(tǒng)補(bǔ)充冷水。為空調(diào)末端和冷凍水泵均配置UPS保持?jǐn)?shù)據(jù)機(jī)房的末端空調(diào)在市電停電、高壓油機(jī)恢復(fù)供電前機(jī)房內(nèi)空氣繼續(xù)循環(huán)流動(dòng)，轉(zhuǎn)將冷凍水管路中冷凍水繼續(xù)被輸送至空調(diào)末端機(jī)房提供冷量，儲(chǔ)存在蓄冷罐內(nèi)的冷凍水補(bǔ)充到管路中為冷凍水管路中繼續(xù)補(bǔ)充冷量以滿足連續(xù)制冷需求。

　　解決空調(diào)系統(tǒng)連續(xù)制冷需增加蓄冷罐、UPS、蓄電池組及管路等，這些會(huì)增加數(shù)據(jù)中心建設(shè)初期的投資，但會(huì)是數(shù)據(jù)中心后期業(yè)務(wù)發(fā)展的適應(yīng)性大大增強(qiáng)。一旦建設(shè)初期未設(shè)計(jì)待后期再行優(yōu)化改造不僅增加帶業(yè)務(wù)改造的風(fēng)險(xiǎn)而且會(huì)造成投資進(jìn)一步加大。目前部分新建數(shù)據(jù)中心出現(xiàn)的因前期未考慮連續(xù)制冷投產(chǎn)后不滿足制冷需求而不得不進(jìn)行改造的案例很值得思考，上述情況的出現(xiàn)一方面因設(shè)計(jì)初期對(duì)功率密度的增長缺乏長期考慮，另一方面對(duì)高功率密度機(jī)房失去制冷情況下的溫升情況缺乏全面認(rèn)識(shí)。

　　3.4 水冷空調(diào)系統(tǒng)供電方案設(shè)計(jì)中應(yīng)考慮啟動(dòng)沖擊電流

　　對(duì)于冷凍水型空調(diào)系統(tǒng)，末端空調(diào)的主要耗電為風(fēng)機(jī)。風(fēng)機(jī)主要為感性負(fù)載，在電流突變時(shí)一般認(rèn)為會(huì)產(chǎn)生較大的沖擊電流，尤其從靜止?fàn)顟B(tài)突然啟動(dòng)，這一點(diǎn)在傳統(tǒng)AC風(fēng)機(jī)上表現(xiàn)更為突出；冷凍水泵則是典型的感性負(fù)載突加負(fù)載時(shí)沖擊電流更大，通常會(huì)達(dá)到額定負(fù)載的6、7倍。基于上述原因，通常認(rèn)為如果給末端空調(diào)和水泵配置不間斷電源（UPS或EPS時(shí)）必須要考慮沖擊電流的容量。但從實(shí)際應(yīng)用看，當(dāng)末端空調(diào)或水泵的市電供電中斷時(shí)UPS蓄電池會(huì)立即通過逆變器承擔(dān)負(fù)荷，此時(shí)風(fēng)機(jī)或電機(jī)仍在高速旋轉(zhuǎn)，其沖擊電流與從靜止?fàn)顟B(tài)突然加載時(shí)完全不同的。末端空調(diào)風(fēng)機(jī)一般功率較小，因此普通UPS完全可以作為備用電源，對(duì)于水泵類負(fù)荷，應(yīng)負(fù)荷較大可選用抗沖擊能力更大的EPS更為合適。

　　3.5 盡可能設(shè)置獨(dú)立的加濕器為機(jī)房加濕

　　在新一代數(shù)據(jù)中心冷水型空調(diào)系統(tǒng)的末端空調(diào)選型時(shí)，部分?jǐn)?shù)據(jù)中心選擇帶加濕加熱功能的末端空調(diào)，但從筆者多年運(yùn)維經(jīng)驗(yàn)建議盡可能將機(jī)房制冷和加濕分開處理。眾所周知，空氣濕度會(huì)隨著溫度的變化而變化，尤其對(duì)于裝機(jī)過程中的數(shù)據(jù)機(jī)房由于機(jī)房安裝的機(jī)柜位置、單機(jī)柜發(fā)熱量等不同必然會(huì)造成不同位置溫度、濕度不同。制冷、加濕、加熱一體的末端空調(diào)為了達(dá)到設(shè)定的溫濕度值難以避免出現(xiàn)加熱與制冷打架、加濕與初始打架現(xiàn)象，大大增加了運(yùn)行功耗。

　　采用專用加濕機(jī)，例如在機(jī)房安裝專用的水膜加濕機(jī)，不僅能耗大大降低而且可以有效避免上述打架現(xiàn)象，降低機(jī)房制冷整體能耗。

　　4. 小結(jié)

　　上述為筆者對(duì)日常運(yùn)維管理工作的一些小的總結(jié)，若有不當(dāng)之處歡迎與同道中朋友相互交流提高。數(shù)據(jù)中心的運(yùn)維管理是一個(gè)復(fù)雜的體系，隨著功率密度的不斷提高將面臨越來越多的問題需要面對(duì)和解決，新一代數(shù)據(jù)中心的運(yùn)維管理必將為各位運(yùn)維管理人員開啟一片新的天地。