大數(shù)據(jù)很火,從今天開幕的英特爾年度盛會(huì)IDF上就能看出端倪。
與往年一樣,重磅主題演講人之一,英特爾高級(jí)副總裁兼數(shù)據(jù)中心及互聯(lián)系統(tǒng)事業(yè)部總經(jīng)理柏安娜,在介紹英特爾數(shù)據(jù)中心戰(zhàn)略時(shí)特別強(qiáng)調(diào),英特爾將持續(xù)投資Hadoop,為開源社區(qū)提供代碼,面向至強(qiáng)優(yōu)化發(fā)行,提供硬件增強(qiáng)的壓縮功能。
據(jù)她介紹,早期成果已經(jīng)在中國(guó)有客戶部署Hadoop,如中國(guó)移動(dòng)和中國(guó)聯(lián)通等運(yùn)營(yíng)商,應(yīng)對(duì)3G甚至4G系統(tǒng)啟用之后呼叫數(shù)據(jù)大幅增長(zhǎng)導(dǎo)致傳統(tǒng)計(jì)費(fèi)系統(tǒng)出現(xiàn)的難題。
“執(zhí)行Hadoop的方案背后離不開存儲(chǔ)設(shè)備的支持,必須有很高的性能和效率。”在中國(guó)移動(dòng)的案例中,最大挑戰(zhàn)是提供實(shí)時(shí)呼叫數(shù)據(jù)記錄,每天實(shí)時(shí)檢索30天的記錄,每秒生成30萬(wàn)條記錄,每秒35MB,每月計(jì)費(fèi)數(shù)據(jù)達(dá)到90TB。
她提到了數(shù)據(jù)中心在交付實(shí)時(shí)信息和服務(wù)的個(gè)人計(jì)算體驗(yàn)中所扮演的重要角色,以及英特爾在提供數(shù)據(jù)分析所需要的硬件及軟件、提高智能設(shè)備和數(shù)據(jù)中心基礎(chǔ)設(shè)施功能上所邁出的創(chuàng)新步伐。
隨后,英特爾副總裁兼平臺(tái)事業(yè)部總經(jīng)理Jason Waxman在演講中,介紹數(shù)據(jù)分析支持浙江智能電網(wǎng)的案例,最大挑戰(zhàn)是提高電網(wǎng)效率,內(nèi)存數(shù)據(jù)庫(kù)要支持100TB和100萬(wàn)個(gè)并發(fā)請(qǐng)求,傳感器更是多達(dá)1億個(gè)以上,最總不僅決策速度提高了60倍,而且減少了電力浪費(fèi)和碳排放。
2013年底之前英特爾加速擴(kuò)展基于22納米制程工藝的數(shù)據(jù)中心處理器產(chǎn)品線計(jì)劃,支持擁有更高成本效益和更高能效的數(shù)據(jù)中心基礎(chǔ)設(shè)施。在數(shù)據(jù)中心產(chǎn)品組合中,面向微型服務(wù)器的英特爾凌動(dòng)S1200處理器發(fā)布4個(gè)月后,全新專為存儲(chǔ)設(shè)備定制的英特爾凌動(dòng)S12x9處理器也隨之亮相
談到所謂的數(shù)據(jù)中心機(jī)架“重塑”,目前騰訊和百度都十分關(guān)注提高機(jī)架密度和降低運(yùn)營(yíng)成本。在數(shù)據(jù)中心內(nèi)機(jī)架方面,可以將散熱和供電等系統(tǒng)進(jìn)行整合,甚至未來(lái)能夠把存儲(chǔ)和計(jì)算等核心資源聚合到一起,提高效能和降低成本。
基于這個(gè)設(shè)想,騰訊、阿里巴巴、百度和中國(guó)電信發(fā)起了名為“天蝎”(Scorpio)項(xiàng)目,英特爾擔(dān)任技術(shù)顧問(wèn)。整機(jī)柜的理念把服務(wù)器的功能放入機(jī)架中,例如把風(fēng)扇從機(jī)柜中移走,做成風(fēng)扇墻提高效率和加強(qiáng)散熱,通過(guò)重新設(shè)計(jì)機(jī)架機(jī)械尺寸整個(gè)機(jī)架密度提升一倍甚至更高,從進(jìn)一步推動(dòng)標(biāo)準(zhǔn)化。
為什么在數(shù)據(jù)中心機(jī)架重塑這個(gè)項(xiàng)目上互聯(lián)網(wǎng)公司和運(yùn)營(yíng)商走在了前面?天蝎項(xiàng)目輪席主席Eric Chen解釋說(shuō),之前廠商各自有不同的標(biāo)準(zhǔn),用戶之間沒(méi)有合作,所以提出的需求不同,不僅有多套整機(jī)柜,而且國(guó)外通用產(chǎn)品無(wú)法拿來(lái)直接運(yùn)行。
正式啟動(dòng)天蝎項(xiàng)目之后,廠商和運(yùn)營(yíng)商整合各自需求,開發(fā)一套通用產(chǎn)品。“2012年是天蝎的元年。去年底,百度采用200個(gè)整機(jī)柜,天蝎技術(shù)每年節(jié)省4200萬(wàn)運(yùn)營(yíng)費(fèi)用。今年和明年將有更多整機(jī)貴落地。未來(lái)的天蝎2.0將充分利用風(fēng)火水電,從服務(wù)器轉(zhuǎn)移到數(shù)據(jù)中心機(jī)架,這個(gè)高級(jí)階段中解耦(Disaggregation)是關(guān)鍵技術(shù)。”
他表示:“隨著整機(jī)柜成為主流技術(shù),如Facebook OCP的OpenRack項(xiàng)目,我們非常愿意和Facebook一起合作推動(dòng)標(biāo)準(zhǔn)化。”
在下午的IDF 2013大數(shù)據(jù)專場(chǎng)中,記者則更為詳盡地了解到與上午主題演講相關(guān)的大數(shù)據(jù)一體機(jī)和Hadoop的信息。
在英特爾大數(shù)據(jù)一體機(jī)方面,參考設(shè)計(jì)主要針對(duì)智慧城市、智能交通、電信、金融和醫(yī)療等目標(biāo)市場(chǎng),為渠道和本地OEM提供一體化的方案,包括DCSG/PEG、DSD、SSD、NSG和ISG在內(nèi)的多個(gè)英特爾部門參與,負(fù)責(zé)服務(wù)器、一體化集成、Hadoop發(fā)行版、優(yōu)化、固態(tài)盤、前端和邊緣服務(wù)器接入
下午的會(huì)場(chǎng)還同時(shí)發(fā)布了最新的Hadoop發(fā)行版2.3版本。演講人特別介紹了新版本在處理非結(jié)構(gòu)化數(shù)據(jù)方面的兩個(gè)應(yīng)用實(shí)例。其一,某市交通管理在線應(yīng)用中,需要實(shí)時(shí)存儲(chǔ)和獲取路口的實(shí)時(shí)交通狀況圖片;其二,某銀行存儲(chǔ)大量交易記錄備注或交易證據(jù)掃描照片,并允許柜員及客戶在線查詢這些記錄