欧美,精品,综合,亚洲,好吊妞视频免新费观看,免费观看三级吃奶,一级a片女人自慰免费看

 首頁 > 新聞 > 國內(nèi) >

華為首創(chuàng)HIMM模型,為高效處理圖數(shù)據(jù)提供新方向

2013-12-16 11:02:13   作者:   來源:CTI論壇   評論:0  點擊:


  CTI論壇(ctiforum)12月16日消息(記者 凡易):華為今日宣布,中央研究院香農(nóng)實驗室在2013Hadoop中國技術(shù)峰會(China Hadoop Summit 2013)上提出業(yè)界首創(chuàng)的HIMM (Hybrid Iterative Matrix Multiplication) 模型。使用該模型表達的圖數(shù)據(jù)挖掘算法能夠獲得10倍的性能提升,這對于大數(shù)據(jù)處理的實時性具有重要意義。

  Hadoop中國技術(shù)峰會于2013年11月23日在北京圓滿落幕。作為本年度大中華地區(qū)規(guī)模最大的Hadoop技術(shù)峰會,本屆大會的主題是“掘金大數(shù)據(jù)”。 華為香農(nóng)實驗室的首席研究員顏友亮發(fā)表了“HiGraph:一種面向圖計算的領(lǐng)域編程語言”的演講,介紹了華為香農(nóng)實驗室在圖計算以及Spark(Berkeley AMP Lab開發(fā)的一種基于內(nèi)存計算的并行計算框架)上所取得的研究成果。

  “大數(shù)據(jù)時代的一個重要方面就是圖的規(guī)模越來越大。”顏友亮說,“Facebook人際關(guān)系網(wǎng),包含頂點數(shù)目超過10億。其他網(wǎng)絡(luò)的規(guī)模也在數(shù)千萬頂點左右。這使得這些圖上的大量應(yīng)用,例如好友推薦、尋找最短路徑等無法準實時地得到結(jié)果。”

  華為香農(nóng)實驗室提出業(yè)界首創(chuàng)的HIMM模型,與傳統(tǒng)圖計算模型相比,具有操作更簡單,接口更實用,編程更輕松等優(yōu)點。算法開發(fā)者使用了HIMM模型,不僅可以用矩陣的方式來表達圖結(jié)構(gòu),而且還可以用自定義的矩陣運算來表達圖上的各種操作,并通過提供一整套圖計算算子來實現(xiàn)高效的并行圖算法。在底層框架上,基于HIMM的圖計算框架HiGraph會根據(jù)不同的硬件環(huán)境實現(xiàn)有針對性的一些優(yōu)化措施,使得HiGraph的性能相比于業(yè)界獲得顯著提升。通過測試Pagerank和單源最短路徑的算法,結(jié)果顯示:在集群環(huán)境模式下,HiGraph借助Spark在迭代計算上的優(yōu)勢,相比其他的解決方案如Bagel和Giraph,HiGraph的性能提高3倍到20倍;在單機環(huán)境模式下,HiGraph充分利用了多核的并行處理能力,實現(xiàn)最大化的并行加速設(shè)計,使得在業(yè)界開源方案的性能上獲得了至少10倍的提升。

  “我們的HiGraph性能比業(yè)界高出了一個數(shù)量級,能夠在秒級完成PageRank、單源最短路徑等算法,完全能夠勝任大數(shù)據(jù)處理實時性的要求。”顏友亮說道。

  HIMM模型與HiGraph框架對于完善香農(nóng)實驗室在高性能計算研究的布局具有重要意義。華為香農(nóng)實驗室也將繼續(xù)在圖計算領(lǐng)域和Spark框架上發(fā)力,并進一步完善HiGraph,為華為的大數(shù)據(jù)研究提供了堅實基礎(chǔ),助力華為更好地進駐大數(shù)據(jù)領(lǐng)域。

分享到: 收藏

專題