互聯(lián)網(wǎng)行業(yè)是大數(shù)據(jù)的正兒八經(jīng)的“大客戶”,無論是從海量、速度、實(shí)時(shí)、類型等任何角度都當(dāng)之無愧。在成為用戶最多的中國互聯(lián)網(wǎng)公司后,騰訊這只專下“金蛋”的企鵝所掌握的用戶數(shù)據(jù)量也日益豐富。
如果說阿里巴巴擁有90%以上的電商數(shù)據(jù),百度擁有70%以上的搜索數(shù)據(jù),騰訊的“金蛋”無疑是大量社交、游戲等領(lǐng)域積累的文本、音頻、視頻和關(guān)系類數(shù)據(jù)。這些數(shù)據(jù)是騰訊后來在多元業(yè)務(wù)擴(kuò)展時(shí)屢試不爽的重型武器,有分析人士說,“數(shù)據(jù)挖掘”才是騰訊最具門檻性質(zhì)的技術(shù)。
無論是云,通過網(wǎng)絡(luò)隨需調(diào)用的計(jì)算資源;大數(shù)據(jù),關(guān)聯(lián)的可分析在線數(shù)據(jù);還是各種智能終端,都要依托互聯(lián)網(wǎng),同時(shí)這些工具又幫助互聯(lián)網(wǎng)從中掘金。當(dāng)然,在數(shù)據(jù)成為“金蛋”前還有個(gè)前提,就是獲取數(shù)據(jù),并有效的梳理與標(biāo)簽。
騰訊公司數(shù)據(jù)平臺(tái)助理總經(jīng)理蔣杰曾驕傲地表示,在國內(nèi)互聯(lián)網(wǎng)體系中,騰訊擁有的數(shù)據(jù)覆蓋多個(gè)領(lǐng)域,總存儲(chǔ)數(shù)據(jù)量經(jīng)壓縮處理以后在100PB左右。騰訊QQ目前擁有8億用戶,4億移動(dòng)用戶,在數(shù)據(jù)倉庫存儲(chǔ)的數(shù)據(jù)量單機(jī)群數(shù)量已達(dá)到4400臺(tái),總存儲(chǔ)數(shù)據(jù)量經(jīng)壓縮處理以后在100PB左右,并且這一數(shù)據(jù)還在以日新增200TB到300TB,月增加10%的數(shù)據(jù)量不斷增長,現(xiàn)在騰訊的數(shù)據(jù)平臺(tái)部們正在為1000個(gè)PB做準(zhǔn)備。
如果對(duì)各種TP和PB還缺乏感性認(rèn)識(shí),可以用幾個(gè)每天都會(huì)用到的業(yè)務(wù)說明騰訊目前數(shù)據(jù)量的龐大:僅QQ以及微信用戶每天上傳的照片,就是中國一個(gè)中型互聯(lián)網(wǎng)公司一個(gè)月的數(shù)據(jù)量;2014年除夕夜的高峰時(shí)段,每分鐘有1000萬條微信、3270萬條QQ信息發(fā)出;微信團(tuán)隊(duì)專門為一些高頻祝福語設(shè)置了隱形的彩蛋功能,比如微信內(nèi)容中出現(xiàn)“萬事如意、大吉大利”,屏幕上就會(huì)乒乒乓乓掉落很多桔子……事后統(tǒng)計(jì),除夕當(dāng)天中國人的手機(jī)上共掉落了65億多個(gè)桔子,如果榨成汁,足夠灌滿289個(gè)水立方。
“微模塊”之路
要應(yīng)對(duì)不斷爆炸的業(yè)務(wù)數(shù)據(jù)需求,騰訊的數(shù)據(jù)中心部門一直處于“連跑帶顛”的追趕狀態(tài)。“業(yè)務(wù)部門對(duì)我們的要求經(jīng)常以‘周’甚至‘天’為周期。”騰訊網(wǎng)絡(luò)平臺(tái)部數(shù)據(jù)中心架構(gòu)師李典林表示,正是快速、靈活、可擴(kuò)展、高能效的要求,讓騰訊自然而然地走上了微模塊數(shù)據(jù)中心的道路。
從2010年起,騰訊已經(jīng)推出了幾個(gè)版本的微模塊數(shù)據(jù)中心;經(jīng)過不斷測試驗(yàn)證,目前已經(jīng)形成了定型的版本。目前,騰訊對(duì)微模塊數(shù)據(jù)中心的標(biāo)準(zhǔn)定義是,以若干機(jī)架為基本單位,包含制冷模塊、供配電模塊以及網(wǎng)絡(luò)、布線、監(jiān)控在內(nèi)的獨(dú)立的運(yùn)行單元。“麻雀雖小,五臟俱全”,這是李典林對(duì)騰訊微模塊數(shù)據(jù)中心的形象評(píng)價(jià)。
騰訊的模塊化數(shù)據(jù)中心設(shè)計(jì)遵循“從小到大”的原則,即從機(jī)架、IT微模塊、機(jī)房模塊、建筑單體和園區(qū)逐層設(shè)計(jì);而模塊化數(shù)據(jù)中心建設(shè)遵循“從大到小”的原則,即從園區(qū)、建筑單體、機(jī)房模塊、IT微模塊到機(jī)架逐層實(shí)施。“如果把服務(wù)器看成標(biāo)準(zhǔn)磚頭,機(jī)柜看成廚房/陽臺(tái)/洗手間,微模塊就是小戶型套房。通過微模塊,我們可以不斷復(fù)制堆疊,形成機(jī)房樓,乃至整個(gè)園區(qū)。”
騰訊的微模塊數(shù)據(jù)中心在制冷和供電方式實(shí)現(xiàn)了諸多創(chuàng)新。據(jù)李典林介紹,騰訊的微模塊數(shù)據(jù)中心不再采用傳統(tǒng)的架高地板制冷模式,而是采用了行級(jí)空調(diào)近距離送風(fēng)以及冷通道密封技術(shù),這大大減少了制冷的耗能和成本。
在供電方面,李典林表示,騰訊大多數(shù)數(shù)據(jù)中心已經(jīng)不再采用傳統(tǒng)的UPS,而是轉(zhuǎn)而采用“高壓直流(50%)+市電(50%)”的供電模式。“采用這種供電方案后,市電沒有中間轉(zhuǎn)換損耗,效率高達(dá)100%;高壓直流側(cè)可采用節(jié)能休眠模式,全負(fù)載范圍內(nèi)可以達(dá)到94%以上高效率。因此,綜合供電效率高達(dá)97%。此外,未來還可以無縫升級(jí)成市電主供+高壓直流后備的供電模式,達(dá)到99%以上供電效率。”
位于深圳龍崗區(qū)國人通信科技園的坪山數(shù)據(jù)中心,是深圳聯(lián)通為騰訊量身訂制的數(shù)據(jù)中心,騰訊負(fù)責(zé)合建數(shù)據(jù)中心及微模塊相關(guān)技術(shù)標(biāo)準(zhǔn)和規(guī)范的制定,而中興通訊集團(tuán)下屬的中興網(wǎng)信則擔(dān)任工程設(shè)計(jì)建設(shè)總承包商的角色。由于坪山中心是聯(lián)通根據(jù)騰訊的需求訂制的,因而簡化了傳統(tǒng)運(yùn)營商數(shù)據(jù)中心根據(jù)客戶需求進(jìn)行改造的過程。“標(biāo)準(zhǔn)的模塊化數(shù)據(jù)中心,用戶唯一的界面就是微模塊,不會(huì)出現(xiàn)傳統(tǒng)數(shù)據(jù)中心角落能量不夠或者局部熱點(diǎn)等問題。在智能化方面,我們做了很多觸摸屏,用來隨時(shí)了解運(yùn)行狀況,查看精細(xì)化的報(bào)表,未來還會(huì)與動(dòng)力系統(tǒng)連接起來,達(dá)到智能運(yùn)行。”
“坪山數(shù)據(jù)中心完全由微模塊組成,一期建設(shè)20個(gè)微模塊,二期建設(shè)40多個(gè)微模塊,總共部署了1200多個(gè)機(jī)柜。整個(gè)項(xiàng)目從裝修進(jìn)場到完工,只花了4個(gè)多月的時(shí)間,二期40個(gè)微模塊從進(jìn)場安裝到通過測試驗(yàn)證只用了45天時(shí)間,充分體現(xiàn)了微模塊易復(fù)制、部署速度快的優(yōu)勢。”
在坪山數(shù)據(jù)中心的建設(shè)過程中,騰訊部署了由12個(gè)機(jī)柜和18個(gè)機(jī)柜組成的兩種不同的微模塊。“我們?cè)谟兄拥牡胤讲渴鹩?2個(gè)機(jī)柜組成的微模塊,在沒有柱子的地方部署由18個(gè)機(jī)柜組成的微模塊,這種部署方式幫助我們實(shí)現(xiàn)了空間的靈活利用,”李典林說。此外,微模塊內(nèi)部的電源模塊、行間空調(diào)數(shù)量等可以根據(jù)IT機(jī)柜功率靈活配置數(shù)量,滿足不同功率密度的需求,目前微模塊內(nèi)可支持的最大機(jī)柜功率達(dá)到12KW。
作為工程建設(shè)實(shí)施方的中興網(wǎng)信數(shù)據(jù)業(yè)務(wù)部部長閆朝貴表示:“快速部署和標(biāo)準(zhǔn)化是模塊化數(shù)據(jù)中心的特點(diǎn),兩者缺一不可。在實(shí)施過程中不僅要考慮如何快捷部署,也要考慮產(chǎn)品的標(biāo)準(zhǔn)化和通用性。快速部署是通過組件在工廠預(yù)安裝,到現(xiàn)場快速連接來實(shí)現(xiàn)。而模塊內(nèi)部的機(jī)柜、線槽、電纜、開關(guān)和管道等都采用業(yè)界標(biāo)準(zhǔn)設(shè)計(jì),降低了客戶的維護(hù)成本。”
通過綜合采用各種技術(shù),如高壓直流+市電直供的供電方式、行級(jí)制冷和冷通道密封技術(shù),空調(diào)系統(tǒng)變頻節(jié)能等技術(shù),使氣流循環(huán)的路徑最短,節(jié)能10%以上。“在深圳這樣的亞熱帶城市,數(shù)據(jù)中心PUE(Power Usage Effectiveness,數(shù)據(jù)中心消耗能源總量與IT負(fù)載使用的能源之比,越接近1表明能效越高)保持在1.7是一個(gè)不錯(cuò)的水平了,全國數(shù)據(jù)中心的平均水平在2.0左右,坪山數(shù)據(jù)中心在投產(chǎn)三分之一負(fù)載的情況下PUE值達(dá)到1.5,我們非常有信心在滿負(fù)載的情況下PUE降到1.4。”李典林說。雖然只是小小的0.1的變化,但對(duì)于數(shù)據(jù)中心這樣的耗電大戶來說,PUE每下降0.1,就意味著每年上千萬元電費(fèi)的節(jié)省。
李典林對(duì)于Google、Fecebook等國外互聯(lián)網(wǎng)巨頭的數(shù)據(jù)中心能達(dá)到1.2甚至1.1以下的PUE非常羨慕,但缺乏天然冷源的深圳要達(dá)到這一數(shù)值的可能性幾乎為零,他只能將希望寄托在身處北方的騰訊天津數(shù)據(jù)中心,這座亞洲最大的數(shù)據(jù)中心總建筑面積9.33萬平方米,預(yù)計(jì)服務(wù)器托管能力超過10萬臺(tái),建成后PUE將達(dá)到1.3左右的水平。
作為騰訊第一座大規(guī)模的純模塊化數(shù)據(jù)中心,坪山中心的建設(shè)規(guī)格很高,未來騰訊的微信、游戲等明星業(yè)務(wù)都會(huì)轉(zhuǎn)移到坪山數(shù)據(jù)中心,據(jù)李典林透露,目前微信的備份內(nèi)容已經(jīng)遷移過來。
默認(rèn)路徑
“微模塊數(shù)據(jù)中心將是騰訊未來的數(shù)據(jù)中心建設(shè)思路。”李典林說。微模塊數(shù)據(jù)中心在互聯(lián)網(wǎng)行業(yè)得到賞識(shí)和推廣,源于其特點(diǎn)與互聯(lián)網(wǎng)公司的需求有眾多契合,這里面最重要的是:創(chuàng)新技術(shù)傾向與掌控力、快、靈活、標(biāo)準(zhǔn)與規(guī)模。
大型互聯(lián)網(wǎng)公司的業(yè)務(wù)多變性,對(duì)服務(wù)器、網(wǎng)絡(luò)、IDC資源的彈性需求非常大,因此互聯(lián)網(wǎng)公司一般擁有較強(qiáng)的技術(shù)團(tuán)隊(duì),把控著從服務(wù)器到網(wǎng)絡(luò)設(shè)備,再到數(shù)據(jù)中心系統(tǒng)的優(yōu)化定制——將自己對(duì)業(yè)務(wù)的需求轉(zhuǎn)化為定制硬件需求,并以產(chǎn)品化的思維進(jìn)行開發(fā)和快速迭代,這是互聯(lián)網(wǎng)公司的區(qū)別于傳統(tǒng)商業(yè)IDC或企業(yè)數(shù)據(jù)中心的地方。
根據(jù)IDC數(shù)據(jù)中心趨勢研究人員Michelle Bailey的說法,數(shù)據(jù)中心的模塊化模式有望在未來5年內(nèi)成為建造數(shù)據(jù)中心幾乎默認(rèn)的方法,模塊化數(shù)據(jù)中心將成為未來數(shù)據(jù)中心發(fā)展的趨勢之一。
“其實(shí),目前國內(nèi)對(duì)數(shù)據(jù)中心的投資力度其實(shí)并不低于4G。”閆朝貴表示,正是因?yàn)閲鴥?nèi)風(fēng)起云涌的數(shù)據(jù)中心投資熱,讓多年聚焦海外市場的中興網(wǎng)信回歸國內(nèi)市場,也帶回了在蘇丹、白俄羅斯等地多個(gè)國際公認(rèn)最高規(guī)格的Tier4數(shù)據(jù)中心及國家級(jí)數(shù)據(jù)中心的設(shè)計(jì)建設(shè)經(jīng)驗(yàn)。而相比起國外流行一時(shí)的集裝箱式數(shù)據(jù)中心,微模塊化數(shù)據(jù)中心的部署方式似乎更討得國內(nèi)客戶的歡心。
與傳統(tǒng)數(shù)據(jù)中心相比,采用微模塊化的數(shù)據(jù)中心擴(kuò)展性成為一大亮點(diǎn)——數(shù)據(jù)中心的管理員只需要根據(jù)用戶的不同需求將相應(yīng)數(shù)量的微模塊安放到位,在各模塊之間連接主干鏈路就可以完成網(wǎng)絡(luò)的擴(kuò)展。
作為數(shù)據(jù)中心基礎(chǔ)設(shè)施的重要組成部分,將網(wǎng)絡(luò)、供電、制冷、消防、監(jiān)控等等采用模塊化方案部署后,數(shù)據(jù)中心的建設(shè)方式發(fā)生了較大變化——將數(shù)據(jù)中心的設(shè)計(jì)和大部分施工轉(zhuǎn)移到工廠進(jìn)行預(yù)先定制,在將各功能模塊運(yùn)輸?shù)浆F(xiàn)場,以“搭積木”方式配合客戶投資和業(yè)務(wù)發(fā)展需求進(jìn)行搭建,從而靈活實(shí)現(xiàn)分期建設(shè),大大提升數(shù)據(jù)中心效率。
互聯(lián)網(wǎng)企業(yè)數(shù)據(jù)中心建設(shè)多采用模塊化建設(shè),一個(gè)或幾個(gè)微模塊支持某一類型的應(yīng)用,當(dāng)新應(yīng)用功能出現(xiàn)時(shí),相應(yīng)的增加新數(shù)據(jù)中心微模塊,如Google、Facebook、Yahoo等都開始采用微模塊方式建設(shè)其數(shù)據(jù)中心。這些巨頭從IT設(shè)備層面深度定制,微模塊設(shè)計(jì)更為精簡和標(biāo)準(zhǔn)化,都是云時(shí)代IT及基礎(chǔ)設(shè)施深度定制的經(jīng)典案例,也是國內(nèi)數(shù)據(jù)中心微模塊未來發(fā)展的方向。