IBM Power靜態(tài)大數(shù)據(jù)解決方案基于IBM天合應(yīng)用服務(wù)器(PowerLinux)和GPFS-FPO或HDFS并行文件系統(tǒng),再上面是Platform Symphony管理軟件、InfoSphere BigInsight分析工具或開(kāi)源Hadoop,形成軟硬一體化的解決方案。“Symphony是同類(lèi)中最佳的MapReduce執(zhí)行方案,對(duì)計(jì)算密集型大數(shù)據(jù)應(yīng)用優(yōu)勢(shì)明顯;BigInsight在Hadoop框架上增加了IBM獨(dú)特的技術(shù)優(yōu)勢(shì),如安全管理和工作流等,并融入了IBM獨(dú)特的數(shù)據(jù)分析、機(jī)器學(xué)習(xí)和文本數(shù)據(jù)分析挖掘等技術(shù)。”
IBM系統(tǒng)與科技部大中華區(qū)Power Systems產(chǎn)品總監(jiān)李紅女士介紹大數(shù)據(jù)方案
李紅女士特別提到了GPFS-FPO并行文件系統(tǒng),它支持1000個(gè)節(jié)點(diǎn),支持遠(yuǎn)程復(fù)制、支持大規(guī)模的水平擴(kuò)展,支持Symphony和BigInsight,并且經(jīng)過(guò)多家數(shù)據(jù)庫(kù)廠(chǎng)商認(rèn)證。對(duì)于需要先行排序的Sort操作,提供2~3倍Hadoop性能,對(duì)于文件檢索等查找工作,提供17倍開(kāi)源Hadoop的效率,是一個(gè)更加適合大規(guī)模應(yīng)用的并行文件系統(tǒng)。
大數(shù)據(jù)應(yīng)用并不僅僅是靜態(tài)的,還包括GPS、醫(yī)療檢測(cè)分析、天氣預(yù)報(bào)、金融交易等實(shí)時(shí)數(shù)據(jù)分析,為此,IBM提供了Power流數(shù)據(jù)解決方案,同樣基于天合應(yīng)用服務(wù)器和GPFS-FPO并行文件系統(tǒng)。“實(shí)時(shí)大數(shù)據(jù)處理對(duì)內(nèi)存要求高, Power對(duì)大內(nèi)存的支持非常符合;實(shí)時(shí)性大數(shù)據(jù)應(yīng)用中有大量數(shù)據(jù)在流動(dòng),對(duì)網(wǎng)絡(luò)帶寬要求高,這方面Power也有天然優(yōu)勢(shì)”,李紅女士表示。
數(shù)據(jù)倉(cāng)庫(kù)是最傳統(tǒng)的數(shù)據(jù)應(yīng)用類(lèi)型,是文本型關(guān)系型數(shù)據(jù)庫(kù)分析,比如經(jīng)營(yíng)分析系統(tǒng)。在數(shù)據(jù)倉(cāng)庫(kù)方面IBM也有著完善的解決方案。李紅女士介紹說(shuō),IBM Power系統(tǒng)采用集中式架構(gòu),具有強(qiáng)大的向上擴(kuò)展能力,為OLTP和OLAP應(yīng)用提供了性能保障;Power平臺(tái)的RAS特性更加適合數(shù)據(jù)庫(kù)所要求的苛刻可靠性;DB2 PureScale能夠?qū)崿F(xiàn)對(duì)Power集中式架構(gòu)的進(jìn)一步增強(qiáng),性能及可靠性大幅提高。
在數(shù)據(jù)集市方面,李紅女士介紹了IBM獨(dú)有的DB2 BLU加速器技術(shù)。BLU加速器采用內(nèi)存列式計(jì)算方式,能夠動(dòng)態(tài)移動(dòng)無(wú)用數(shù)據(jù),這就降低了硬件平臺(tái)的內(nèi)存要求;無(wú)需解壓就能使用壓縮數(shù)據(jù),更加快速高效。“DB2 BLU+Power的組合,報(bào)告和分析能夠快8~25倍,在一些十余年測(cè)試中可能高達(dá)1000倍;客戶(hù)測(cè)試結(jié)果達(dá)到10倍存儲(chǔ)空間節(jié)省。”
李紅女士認(rèn)為,IBM Power平臺(tái)大數(shù)據(jù)解決方案的優(yōu)勢(shì)還表現(xiàn)在技術(shù)的傳承和完整性方面:“Power傳承了以前的數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘、數(shù)據(jù)集市、業(yè)務(wù)數(shù)據(jù)庫(kù)的優(yōu)勢(shì),和以前的系統(tǒng)鏈接可以做平滑無(wú)縫的鏈接,還可以拓展新的需求,如開(kāi)源的、非結(jié)構(gòu)化數(shù)據(jù)、流數(shù)據(jù)分析等,都可以集成到新的方案里。IBM提供的不光是一個(gè)硬件,是一整套的解決方案。”
IBM大中華區(qū)副總裁及系統(tǒng)與科技部Power Systems總經(jīng)理侯淼先生認(rèn)為,IBM Power平臺(tái)的另一大優(yōu)勢(shì)是長(zhǎng)期的投入和對(duì)客戶(hù)的承諾,今年,IBM聯(lián)合谷歌、NV等廠(chǎng)商成立了OpenPower聯(lián)盟,并宣布投入10億美金投入Linux和Power平臺(tái)的開(kāi)源創(chuàng)新,推出基于PowerLinux的天合應(yīng)用服務(wù)器,并在北京成立Power Systems Linux中心,這些投入為IBM Power大數(shù)據(jù)解決方案提供了有力支撐。
IBM大數(shù)據(jù)方案電信行業(yè)顯身手
電信運(yùn)營(yíng)商每天要處理大量的數(shù)據(jù),有著天然的大數(shù)據(jù)“金礦”,故而電信成為中國(guó)最早涉足大數(shù)據(jù)分析應(yīng)用的行業(yè)之一,北京電信正是一個(gè)典型的例子。據(jù)介紹,北京電信有著豐富的“數(shù)據(jù)資產(chǎn)”,通過(guò)判定用戶(hù)的使用習(xí)慣實(shí)現(xiàn)精準(zhǔn)的定向營(yíng)銷(xiāo)、制定符合用戶(hù)習(xí)慣的資費(fèi)政策,或者通過(guò)用戶(hù)興趣愛(ài)好提供有針對(duì)性的網(wǎng)絡(luò)便利性服務(wù),成為北京電信新的利潤(rùn)增長(zhǎng)點(diǎn)。
北京電信選擇了基于IBM PowerLinux天合應(yīng)用服務(wù)器的大數(shù)據(jù)解決方案建立了大數(shù)據(jù)分析平臺(tái),實(shí)現(xiàn)了獨(dú)立的DPI流量即席查詢(xún)功能,并開(kāi)展了有針對(duì)性的內(nèi)容與應(yīng)用推薦營(yíng)銷(xiāo)。負(fù)責(zé)北京電信大數(shù)據(jù)平臺(tái)搭建工作的北京信合運(yùn)通科技有限公司華北大區(qū)技術(shù)總監(jiān)徐振介紹說(shuō),相比9臺(tái)x86服務(wù)器,4臺(tái)PowerLinux服務(wù)器在測(cè)試中每核加載速度是x86內(nèi)核的11.18倍,每核處理能力是x86內(nèi)核的9.63倍。Symphony提供了可視化界面,簡(jiǎn)化了人員的操作。
IBM大數(shù)據(jù)方案的表現(xiàn)獲得了徐振的認(rèn)可,他表示,PowerLinux是性能與成本平衡的硬件平臺(tái),GPFS-FPO并行文件系統(tǒng)要更加成熟可靠,Symphony更加適合計(jì)算密集型應(yīng)用。
PowerLinux天合應(yīng)用服務(wù)器是IBM Power家族中一條獨(dú)特的產(chǎn)品線(xiàn),將PowerLinux服務(wù)器、Linux操作系統(tǒng)、VAD(增值分銷(xiāo)商)合作伙伴的軟件打包在一起,形成以應(yīng)用為導(dǎo)向的解決方案。據(jù)侯淼先生介紹,天合應(yīng)用服務(wù)器獲得了中國(guó)市場(chǎng)的肯定,獲得了高速增長(zhǎng),今年第三季度的銷(xiāo)售額達(dá)到上半年的一倍。