如今,全球芯片制造商英特爾公司的數(shù)據(jù)中心設(shè)計達到了一個新高度,該公司設(shè)計制造了一種超高的機架,在同樣的空間內(nèi)可以部署更多的服務器。采用了英特爾核心設(shè)計的新機架高度超過9英尺,結(jié)合了極致密度和能源效率雙重優(yōu)勢。
英特爾公司正在通過數(shù)據(jù)中心的設(shè)計,以提高其龐大的內(nèi)部IT操作的效率和經(jīng)濟性,英特爾公司在全球的59個數(shù)據(jù)中心的服務器超過13萬臺。不久前,該公司將其在圣克拉拉廢棄的一個半導體制造工廠改造成為了一個數(shù)據(jù)中心園區(qū),該數(shù)據(jù)中心園區(qū)的效率和電力容量可以匹配全球最大的超大規(guī)模服務器集群。
英特爾公司在圣克拉拉新數(shù)據(jù)中心內(nèi)的超高機架
在英特爾公司的這個前半導體制造工廠,曾有數(shù)百名工人身著“兔子服”研發(fā)生產(chǎn)了大量的凌動核心處理器,如今,這個地方可能很快成為硅谷最繁忙的數(shù)據(jù)中心之一,因為英特爾公司計劃在未來五年內(nèi)在這里提供30兆瓦的在線計算能力。
在數(shù)據(jù)中心的數(shù)據(jù)大廳里的工廠,英特爾高達9英尺的機架具備放置60臺服務器(60U的高度。該設(shè)計提高了每個機架的縱向和橫向承載服務器的容量,可以讓功率高達43kW的多個服務器部署在一個單一的機架上。為了管理這個功率密度,英特爾公司采用了一個熱通道氣流遏制系統(tǒng)和蒸發(fā)冷卻系統(tǒng)。
極端的密度達到極端的PUE
英特爾公司最新的數(shù)據(jù)中心的能源使用效率PUE為1.06,相當于Facebook公司和谷歌公司最節(jié)能高效的數(shù)據(jù)中心設(shè)施的指標,PUE值是數(shù)據(jù)中心能效的主要晴雨表。該數(shù)據(jù)中心空間為5000平方英尺,電力容量為5兆瓦,功率密度達到了每平方英尺1千瓦。
該數(shù)據(jù)中心的功率密度與英特爾前一代的數(shù)據(jù)中心相比有了顯著的改善,以前的數(shù)據(jù)中心空間為25000平方英尺,電力容量也是相同的5兆瓦。
英特爾IT部門首席技術(shù)官兼高級首席工程師SheshaKrishnapura
SheshaKrishnapura是英特爾IT部門首席技術(shù)官兼首席高級工程師,負責該公司的內(nèi)部數(shù)據(jù)中心的運營。該數(shù)據(jù)中心的90%的電力容量是用于英特爾的芯片設(shè)計和研究操作。
英特爾公司全新的60U機架設(shè)計比標準服務器機架要高得多,標準的機架一般為7英尺高,19英寸寬,可容納42臺機架式服務器(42U)。英特爾機架與標準的服務器、交換機和電源的領(lǐng)先供應商合作。而其網(wǎng)絡(luò)交換機位于在機架底部而不是機架頂部。
英特爾設(shè)計的機架雖然支持19英寸的服務器的部署,但機架寬度更加緊湊,這樣有助于部署更高的功率密度。這使得英特爾能夠在部署25個機架的空間內(nèi)可以容納30個機架。
“我們沒有浪費任何空間,”Krishnapurna說。
雖然機架設(shè)計很酷,但服務器需要更好的冷卻。英特爾公司采用了多個冷卻策略來管理功率密度和能源效率。
提高冷卻效率的幾種方法
英特爾的60U機架系統(tǒng)的外殼中有一個定制的熱通道遏制系統(tǒng),包圍著每側(cè)24個服務器,在兩端設(shè)計了推拉門,當推拉門打開,一股熱氣撲面而來,這顯露出散熱設(shè)計的關(guān)鍵:氣壓。
外殼中有一個較寬的10英尺長的熱通道。在高負荷工作時,通過安置在外殼頂部的冷卻裝置將60U服務器產(chǎn)生的廢熱排出。當負荷較低時,啟動熱通道頂部的大風扇,幫助排出熱量。
部署在D2數(shù)據(jù)大廳的英特爾IT超級計算機,該系統(tǒng)涵蓋15個機架,擁有近1300個計算節(jié)點
當空氣從冷卻裝置排出時,外殼上面的擴散器引導冷卻氣流回流進了房間。房間里的“冷通道”溫度為華氏83度,而熱通道為華氏108度。其溫度可以稍高或更低。
在較高室溫下運行的能力也使得英特爾的數(shù)據(jù)中心更加節(jié)能。數(shù)據(jù)中心的冷卻采用水循環(huán)冷卻,流入冷卻裝置的水溫為華氏78度至80度,而返回的水溫為華氏82度至87度,返回的熱水再流向換熱器,其冷卻的水可以采用中水。加利福尼亞州的干旱,推動當?shù)厮Y源的回收利用。因此利用回收的中水,減少使用飲用水,成為了一個重要的優(yōu)先事項。
而就在D2數(shù)據(jù)大廳,英特爾經(jīng)營的另一個高密度的數(shù)據(jù)中心使用空氣冷卻技術(shù)。空氣通過架空的百葉窗和大型變速風機進入數(shù)據(jù)中心。數(shù)據(jù)大廳設(shè)有31000臺服務器,其中包括英特爾IT超級計算機。目前這個大廳中的超級計算機在世界上最強大的超級計算機前500強排名81,有15個機架1296個服務器節(jié)點。
服務器余熱通過一個大的通風管排出屋外。在寒冷的日子里,這個溫暖的空氣可以被重新混合,以調(diào)節(jié)數(shù)據(jù)大廳的環(huán)境溫度。
圣克拉拉數(shù)據(jù)中心的未來
數(shù)據(jù)中心的創(chuàng)新對英特爾來說并不新鮮,因為英特爾公司就是氣流遏制系統(tǒng)的早期采用者。
Krishnapura介紹說,公司在圣克拉拉的數(shù)據(jù)中心命名為D2數(shù)據(jù)中心,其建設(shè)的目的是保障英特爾公司內(nèi)部數(shù)據(jù)中心的IT業(yè)務運行,提高芯片設(shè)計和計算能力的創(chuàng)新能力,從而為公司提供一個創(chuàng)新的未來。這個面積為69萬英尺的五層建筑的旁邊是諾伊斯羅伯特大廈,是英特爾公司的全球總部。
芯片生產(chǎn)的“潔凈室”是芯片制造工廠的環(huán)境控制的設(shè)施,可避免皮膚的細小顆粒和頭發(fā)落在電路上,造成污染。這就是為什么英特爾的員工穿著“兔子服”出現(xiàn)在該公司的電視廣告的原因,這個芯片工廠于1989年開通運營,生產(chǎn)芯片的工人在進入潔凈室必須先進行淋浴,清洗之后才能進入晶圓車間。
而隨著時間的流逝和技術(shù)的發(fā)展,半導體生產(chǎn)工廠逐步遷出硅谷,并轉(zhuǎn)移到其他國家和其他地區(qū)。2009年這家工廠被關(guān)閉,工廠設(shè)施設(shè)備都被淘汰或拆除。
英特爾芯片生產(chǎn)工人身著“兔子服”,以防污染芯片
而這個曾經(jīng)大規(guī)模生產(chǎn)晶圓業(yè)務工廠黯然落幕,這個倒閉的半導體工廠也為英特爾公司建設(shè)數(shù)據(jù)中心提供了改造機會。
這種趨勢正在得到認真地當新人財富數(shù)據(jù)中心獲得了前希捷工廠在SanJose,將它轉(zhuǎn)換成一個數(shù)據(jù)中心,并降落租賃與一家主要超大規(guī)模租戶。其他工廠改造緊隨其后:
- 2009年,NextGenerationData公司將LG公司在威爾士的半導體工廠改造成了一個空間為75萬平方英尺的數(shù)據(jù)中心。
- 2010年,QTS公司收購了內(nèi)存制造商奇夢達在里士滿附近的一個晶圓廠,并將其改造成了一個空間為100萬平方英尺的數(shù)據(jù)中心,現(xiàn)在擁有眾多的政府和企業(yè)租戶。
- QTS公司隨后在2013年收購德克薩斯歐文的一個芯片工廠,將其改建成為該公司在達拉斯數(shù)據(jù)中心的第一階段項目。
Krishnapura表示,英特爾公司改造圣克拉拉芯片工廠的其中一個原因是這里離工人的家比較近。“因為當時有那么多人在這些工廠工作,我們需要為他們提供更多的工作機會。”Krishnapura說。
Krishnapura認為該數(shù)據(jù)中心將成為英特爾公司業(yè)務發(fā)展的增長引擎,并預計該數(shù)據(jù)中心將以穩(wěn)定的速度增加服務器來支持其研發(fā)。