2013年12月5-6日,中國(guó)最具影響、規(guī)模最大的大數(shù)據(jù)領(lǐng)域技術(shù)盛會(huì)——2013中國(guó)大數(shù)據(jù)技術(shù)大會(huì)(Big Data Technology Conference 2013,BDTC 2013)在北京世紀(jì)金源大飯店隆重開(kāi)幕。
大數(shù)據(jù)時(shí)代已經(jīng)到來(lái)
2013年,大數(shù)據(jù)應(yīng)用帶來(lái)了令人矚目的成績(jī)。作為新的重要資源,世界各國(guó)都在加快大數(shù)據(jù)的戰(zhàn)略布局,制定戰(zhàn)略規(guī)劃。美國(guó)奧巴馬政府發(fā)起了《大數(shù)據(jù)研究和發(fā)展倡議》,斥資2億美元用于大數(shù)據(jù)研究;英國(guó)政府預(yù)計(jì)在大數(shù)據(jù)和節(jié)能計(jì)算研究上投資1.89億英鎊;法國(guó)政府宣布投入1150萬(wàn)歐元,用于7個(gè)大數(shù)據(jù)市場(chǎng)研發(fā)項(xiàng)目;日本在新一輪IT振興計(jì)劃中,將發(fā)展大數(shù)據(jù)作為國(guó)家戰(zhàn)略層面提出,重點(diǎn)關(guān)注大數(shù)據(jù)應(yīng)用技術(shù),如社會(huì)化媒體、新醫(yī)療、交通擁堵治理等公共領(lǐng)域的應(yīng)用。中國(guó)的“基礎(chǔ)研究大數(shù)據(jù)服務(wù)平臺(tái)應(yīng)用示范項(xiàng)目”正在啟動(dòng),有關(guān)部門(mén)正在積極研究相關(guān)發(fā)展目標(biāo)、發(fā)展原則、關(guān)鍵技術(shù)等方面的頂層設(shè)計(jì)。
云計(jì)算、物聯(lián)網(wǎng)、智慧城市、移動(dòng)互聯(lián),新技術(shù)與應(yīng)用的不斷涌現(xiàn),加速了“大數(shù)據(jù)”時(shí)代的到來(lái)。大數(shù)據(jù),已經(jīng)超越數(shù)據(jù)本身,轉(zhuǎn)向了數(shù)據(jù)的資產(chǎn)化和服務(wù)化,轉(zhuǎn)向了挖掘與分析數(shù)據(jù)所帶來(lái)的新商業(yè)價(jià)值,轉(zhuǎn)向了以技術(shù)維護(hù)國(guó)家安全利益,與此同時(shí),為信息服務(wù)產(chǎn)業(yè)和傳統(tǒng)商業(yè)模式帶來(lái)了巨大的機(jī)遇與挑戰(zhàn)。
在這樣的背景下,由中國(guó)計(jì)算機(jī)學(xué)會(huì)(CCF)主辦,CCF大數(shù)據(jù)專(zhuān)家委員會(huì)承辦,中國(guó)科學(xué)院計(jì)算技術(shù)研究所與CSDN共同協(xié)辦的2013中國(guó)大數(shù)據(jù)技術(shù)大會(huì)在京隆重舉行。包括李國(guó)杰、陸汝鈐、Ion Stoica、Dhabaleswar Panda等國(guó)內(nèi)外院士在內(nèi)的近50位專(zhuān)家和業(yè)界領(lǐng)袖探討了大數(shù)據(jù)技術(shù)生態(tài)系統(tǒng)的現(xiàn)狀和發(fā)展趨勢(shì)。
大會(huì)為期兩天,以“應(yīng)用驅(qū)動(dòng)的架構(gòu)與技術(shù)”為主題,共設(shè)立“大數(shù)據(jù)架構(gòu)與系統(tǒng)”、“大數(shù)據(jù)技術(shù)”、“大數(shù)據(jù)應(yīng)用”、“大數(shù)據(jù)研究與發(fā)展”,“大數(shù)據(jù)基準(zhǔn)測(cè)試(Benchmark)”五大技術(shù)分論壇,并首次增加“2013中國(guó)智能交通與大數(shù)據(jù)技術(shù)峰會(huì)”和“傳統(tǒng)行業(yè)如何駕馭大數(shù)據(jù)總裁研討會(huì)”。作為分論壇數(shù)量最多的一屆大會(huì),2013中國(guó)大數(shù)據(jù)技術(shù)大會(huì)預(yù)計(jì)參會(huì)人數(shù)首次突破2000人。
大會(huì)內(nèi)容涵蓋數(shù)據(jù)的獲取與清理、傳輸、存儲(chǔ)、計(jì)算、挖掘、展現(xiàn)、開(kāi)發(fā)平臺(tái)與應(yīng)用市場(chǎng)等方面,覆蓋了數(shù)據(jù)生產(chǎn)的全生命周期。除了Hadoop 2.0系統(tǒng)YARN、BDAS/Spark、飛天等基礎(chǔ)架構(gòu)外,還探討了HDFS、HBase、Hive等Hadoop生態(tài)系統(tǒng)重要技術(shù),Storm等流式計(jì)算,Impala和Drill等實(shí)時(shí)計(jì)算,以及NoSQL、NewSQL和BigSQL等的最新進(jìn)展。本次大會(huì)特別強(qiáng)調(diào)大數(shù)據(jù)的行業(yè)應(yīng)用,有互聯(lián)網(wǎng)、金融、電信、交通、醫(yī)療各領(lǐng)域的創(chuàng)新案例剖析,對(duì)大數(shù)據(jù)資源的法律法規(guī)、大數(shù)據(jù)商業(yè)利用的政策管制等也有深入討論。
大會(huì)主會(huì),技術(shù)領(lǐng)袖聚而論道
作為已成功舉辦了六屆的技術(shù)會(huì)議,BDTC 2013匯聚了業(yè)內(nèi)精英,講師陣容盛大。12月5日,第一天主會(huì)場(chǎng),十余位技術(shù)領(lǐng)袖探討大數(shù)據(jù)技術(shù)生態(tài)系統(tǒng)的現(xiàn)狀和發(fā)展趨勢(shì)。
Apache HBase項(xiàng)目管理委員會(huì)主席Michael Stack的“The State of Apache Hbase”主題演講分享了HBase的現(xiàn)狀和將來(lái);UC Berkeley計(jì)算機(jī)教授、AMPLab共同創(chuàng)始人、Spark、Mesos核心設(shè)計(jì)者Ion Stoica、IEEE Fellow、俄亥俄州立大學(xué)計(jì)算機(jī)系教授Dhabaleswar Panda帶來(lái)了國(guó)際最新技術(shù)思想和實(shí)踐經(jīng)驗(yàn)。
在大數(shù)據(jù)技術(shù)與應(yīng)用的洪流中,國(guó)內(nèi)互聯(lián)網(wǎng)公司、運(yùn)營(yíng)商,以及傳統(tǒng)IT制造商已經(jīng)站到最前線。百度、騰訊、阿里、中國(guó)移動(dòng)的技術(shù)領(lǐng)袖們?cè)俅尉凼,理念碰撞。百度大?shù)據(jù)首席架構(gòu)師林仕鼎講述“新計(jì)算時(shí)代”,騰訊數(shù)據(jù)平臺(tái)部助理總經(jīng)理蔣杰解密“大數(shù)據(jù)處理的規(guī);c實(shí)時(shí)化演進(jìn)”,阿里飛天平臺(tái)總架構(gòu)師唐洪分享“飛天開(kāi)放平臺(tái)”,中國(guó)移動(dòng)研究院院長(zhǎng)黃曉慶和程序主席孫少陵剖析“大數(shù)據(jù)實(shí)時(shí)處理技術(shù)發(fā)展趨勢(shì)及中國(guó)移動(dòng)實(shí)踐和展望”,工信部電信研究院政經(jīng)所互聯(lián)網(wǎng)部主任馬志剛解讀“數(shù)據(jù)開(kāi)放共享問(wèn)題研究”,帶來(lái)創(chuàng)新思考的火花。
主題論壇,實(shí)戰(zhàn)出發(fā)分享經(jīng)驗(yàn)
12月6日,在“大數(shù)據(jù)架構(gòu)與系統(tǒng)”、“大數(shù)據(jù)技術(shù)”、“大數(shù)據(jù)應(yīng)用”、“大數(shù)據(jù)研究與發(fā)展”,“大數(shù)據(jù)基準(zhǔn)測(cè)試(Benchmark)”、“2013中國(guó)智能交通與大數(shù)據(jù)技術(shù)峰會(huì)”,以及“傳統(tǒng)行業(yè)如何駕馭大數(shù)據(jù)”等七大分論壇中,來(lái)自于Hortonworks、Cloudera、LinkedIn、阿里巴巴、騰訊、百度、中國(guó)移動(dòng)、華為、搜狐、Intel、小米科技、奇虎360、海爾、去哪兒等海內(nèi)外一線IT公司的60余位工程師精英,從現(xiàn)實(shí)出發(fā)將問(wèn)題和解決方案講深講透。
“大數(shù)據(jù)架構(gòu)與系統(tǒng)”匯聚Apache、Hortonworks、LinkedIn、VMware、阿里、騰訊、智明星通、百川通聯(lián)等一線專(zhuān)家,重在研討大數(shù)據(jù)架構(gòu)與系統(tǒng)實(shí)踐經(jīng)驗(yàn)。其中,Hortonworks技術(shù)總監(jiān)Gunther Hagleitner及高級(jí)技術(shù)專(zhuān)家Ted Yu分享了HBase與HOYA,Hadoop 2與YARN的最新技術(shù)實(shí)踐;LinkedIn Hadoop核心團(tuán)隊(duì)成員俞晨杰就“LinkedIn大數(shù)據(jù)應(yīng)用和Azkaban”做經(jīng)驗(yàn)分享;阿里數(shù)據(jù)平臺(tái)事業(yè)部海量數(shù)據(jù)技術(shù)專(zhuān)家羅李的“構(gòu)建一個(gè)跨機(jī)房的Hadoop集群”和騰訊數(shù)據(jù)中心資深專(zhuān)家翟艷堂的“騰訊大規(guī)模Hadoop集群實(shí)踐”從不同層面深入探討互聯(lián)網(wǎng)行業(yè)的Hadoop集群實(shí)踐。
“大數(shù)據(jù)技術(shù)”意在探討大數(shù)據(jù)技術(shù)方向,分享實(shí)戰(zhàn)成果。其中,百度系統(tǒng)部資深系統(tǒng)研發(fā)工程師胡殿明的“基于大數(shù)據(jù)的硬盤(pán)故障預(yù)測(cè)”,浙江大學(xué)教授何曉飛的“機(jī)器學(xué)習(xí)與大數(shù)據(jù)”,北京大學(xué)“百人計(jì)劃”研究員、北京大學(xué)信息科學(xué)技術(shù)學(xué)院博士生導(dǎo)師袁曉如的“大數(shù)據(jù)時(shí)代可視化和可視分析的機(jī)遇與挑戰(zhàn)”從不同維度展示大數(shù)據(jù)技術(shù)應(yīng)用方向。巨杉數(shù)據(jù)庫(kù)CTO王濤的“基于Cloudera Impala的非關(guān)系型數(shù)據(jù)庫(kù)SQL執(zhí)行引擎”,奇虎360技術(shù)經(jīng)理趙健博“奇虎360超大規(guī)模HBase集群增強(qiáng)與改進(jìn)”和阿里搜索事業(yè)部高級(jí)技術(shù)專(zhuān)家王峰的“阿里搜索實(shí)時(shí)流計(jì)算技術(shù)”則在技術(shù)細(xì)節(jié)方面更加突出實(shí)戰(zhàn)處理。
“大數(shù)據(jù)應(yīng)用”關(guān)注的是技術(shù)在行業(yè)中的應(yīng)用落地。工業(yè)和信息化部電信研究院專(zhuān)家魏凱、中國(guó)移動(dòng)經(jīng)分(BI/DW)系統(tǒng)規(guī)劃項(xiàng)目負(fù)責(zé)人何鴻凌、英特爾數(shù)據(jù)中心軟件部首席架構(gòu)師陳奇、騰訊精準(zhǔn)推薦中心廣告推薦負(fù)責(zé)人薛偉、宏源證券研究所副所長(zhǎng)易歡歡,與搜狐、海爾、小米、數(shù)據(jù)堂、阿里巴巴的技術(shù)專(zhuān)家們攜手帶來(lái)一場(chǎng)大數(shù)據(jù)應(yīng)用的盛宴。
“大數(shù)據(jù)研究與發(fā)展”與“大數(shù)據(jù)基準(zhǔn)測(cè)試(Benchmark)”論壇中,來(lái)自俄亥俄州立大學(xué)、中國(guó)科學(xué)院、中科院計(jì)算所、西北工業(yè)大學(xué)、清華大學(xué)、中國(guó)人民大學(xué)和華東師范大學(xué)的專(zhuān)家學(xué)者們就大數(shù)據(jù)基準(zhǔn)測(cè)試展開(kāi)深入探討,共議大數(shù)據(jù)發(fā)展中技術(shù)方向與基準(zhǔn)測(cè)試標(biāo)準(zhǔn)。
與此同時(shí),“2013中國(guó)智能交通與大數(shù)據(jù)技術(shù)高峰論壇”和“傳統(tǒng)行業(yè)如何駕馭大數(shù)據(jù)總裁研討會(huì)”,突出交通行業(yè)實(shí)踐,貫通企業(yè)高層。上海市城鄉(xiāng)建設(shè)和交通發(fā)展研究院主任何承、北京市交通運(yùn)行監(jiān)測(cè)調(diào)度中心(TOCC)副主任張可、深圳市綜合交通運(yùn)行指揮中心總工程師高工關(guān)志超從不同維度分析上海、北京、深圳的交通大數(shù)據(jù)應(yīng)用現(xiàn)狀與存在問(wèn)題。奇虎360科技有限公司首席技術(shù)官譚曉生,IBM大中華區(qū)智慧城市首席規(guī)劃師岳梅櫻,中國(guó)移動(dòng)通信研究院云計(jì)算系統(tǒng)部大數(shù)據(jù)產(chǎn)品開(kāi)發(fā)室技術(shù)經(jīng)理徐萌,百度LBS技術(shù)總監(jiān)顧維灝從大數(shù)據(jù)安全、智能交通設(shè)計(jì)、中國(guó)移動(dòng)大數(shù)據(jù)領(lǐng)域應(yīng)用實(shí)踐、導(dǎo)航地圖與定位系統(tǒng)應(yīng)用等角度提供創(chuàng)新的思考。而來(lái)自互聯(lián)網(wǎng)和傳統(tǒng)行業(yè)的總裁們,就大數(shù)據(jù)對(duì)傳統(tǒng)行業(yè)形成的影響和沖擊,運(yùn)用大數(shù)據(jù)驅(qū)動(dòng)商業(yè)模式創(chuàng)新,平衡大數(shù)據(jù)應(yīng)用過(guò)程中的高投入與不易量化的產(chǎn)出等問(wèn)題,展開(kāi)了深入探討與碰撞。
資源互通,繁榮產(chǎn)業(yè)生態(tài)系統(tǒng)
會(huì)上正式發(fā)布的《大數(shù)據(jù)熱點(diǎn)問(wèn)題與2014年發(fā)展趨勢(shì)報(bào)告》和《中國(guó)大數(shù)據(jù)技術(shù)與產(chǎn)業(yè)發(fā)展白皮書(shū)》,代表了百余位技術(shù)專(zhuān)家在大數(shù)據(jù)典型應(yīng)用現(xiàn)狀、大數(shù)據(jù)技術(shù)體系現(xiàn)狀、大數(shù)據(jù)IT產(chǎn)業(yè)鏈與生態(tài)環(huán)境、大數(shù)據(jù)人才資源、大數(shù)據(jù)發(fā)展趨勢(shì)與建議等方面的深入思考,為未來(lái)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展奠定堅(jiān)實(shí)的理論基礎(chǔ)。
除此以外,第一屆CCF大數(shù)據(jù)學(xué)術(shù)會(huì)議(CCF Big Data 2013)與第一屆中國(guó)大數(shù)據(jù)技術(shù)創(chuàng)新與創(chuàng)業(yè)大賽與BDTC 2013形成聯(lián)動(dòng),資源互通,共同繁榮大數(shù)據(jù)產(chǎn)業(yè)生態(tài)系統(tǒng)。
秉承開(kāi)源與分享的精神,BDTC 2013同步公開(kāi)講師演講PPT,所有技術(shù)愛(ài)好者都可以第一時(shí)間獲得核心技術(shù)資料,分享到來(lái)自一線專(zhuān)家的實(shí)踐經(jīng)驗(yàn),展望大數(shù)據(jù)技術(shù)與應(yīng)用更為廣闊的發(fā)展未來(lái)。作為大數(shù)據(jù)技術(shù)與應(yīng)用深度結(jié)合的新起點(diǎn),BDTC 2013已經(jīng)成為產(chǎn)業(yè)界、科技界與政府部門(mén)密切合作的新平臺(tái),為推動(dòng)我國(guó)大數(shù)據(jù)的產(chǎn)學(xué)研用做出了重大貢獻(xiàn)。
歷屆大數(shù)據(jù)技術(shù)大會(huì)背景介紹:
從2008年60人規(guī)模的Hadoop in China沙龍到2012年上千人的技術(shù)大會(huì),伴隨著大數(shù)據(jù)技術(shù)大會(huì)的發(fā)展,歷屆大數(shù)據(jù)技術(shù)大會(huì)見(jiàn)證了中國(guó)大數(shù)據(jù)技術(shù)與應(yīng)用的變革。
本次大會(huì)的前身是“Hadoop與大數(shù)據(jù)技術(shù)”大會(huì)。Hadoop高可靠、高容錯(cuò)、高擴(kuò)展、高效率的特性使其在同類(lèi)的分布式系統(tǒng)中異軍突起,并在眾多行業(yè)和科研領(lǐng)域中被廣泛采用。為了更好地發(fā)揚(yáng)Hadoop的開(kāi)源精神,擴(kuò)大Hadoop技術(shù)在中國(guó)的影響,促進(jìn)Hadoop技術(shù)愛(ài)好者之間的交流,中科院計(jì)算所于2008年發(fā)起并組織了第一屆Hadoop技術(shù)沙龍,并于2009年創(chuàng)建了Hadoop開(kāi)源社區(qū)(hadooper.cn),同年11月,Hadoop in China 2009大會(huì)在京成功召開(kāi)。此后,隨著Hadoop技術(shù)越來(lái)越受到各界的青睞,Hadoop中國(guó)云計(jì)算大會(huì)也從沙龍發(fā)展成一個(gè)知名的技術(shù)會(huì)議,2011年第五屆“Hadoop中國(guó)2011云計(jì)算大會(huì)”千人共聚一堂,共話技術(shù)發(fā)展。
2012年,面對(duì)大數(shù)據(jù)所帶來(lái)的巨大挑戰(zhàn)與機(jī)遇,中國(guó)計(jì)算機(jī)學(xué)會(huì)于10月正式成立了大數(shù)據(jù)專(zhuān)家委員會(huì),意在探討大數(shù)據(jù)的核心科學(xué)與技術(shù)問(wèn)題,推動(dòng)大數(shù)據(jù)學(xué)科方向的建設(shè)與發(fā)展,同時(shí)構(gòu)建面向大數(shù)據(jù)產(chǎn)學(xué)研用的學(xué)術(shù)交流、技術(shù)合作與數(shù)據(jù)共享平臺(tái)。為了迎接大數(shù)據(jù)時(shí)代的到來(lái),Hadoop中國(guó)云計(jì)算大會(huì)與CSDN大數(shù)據(jù)技術(shù)大會(huì)合并為“Hadoop與大數(shù)據(jù)技術(shù)大會(huì)”。
2013年,大數(shù)據(jù)技術(shù)與應(yīng)用的發(fā)展速度一日千里。大數(shù)據(jù),已經(jīng)超越數(shù)據(jù)本身,轉(zhuǎn)向數(shù)據(jù)的資產(chǎn)化和服務(wù)化,轉(zhuǎn)向挖掘與分析數(shù)據(jù)帶來(lái)新商業(yè)價(jià)值,轉(zhuǎn)向以技術(shù)維護(hù)國(guó)家安全利益,并為信息服務(wù)產(chǎn)業(yè)和傳統(tǒng)商業(yè)模式帶來(lái)了巨大的機(jī)遇與挑戰(zhàn)。為此,大會(huì)正式更名為“中國(guó)大數(shù)據(jù)技術(shù)大會(huì)(Big Data Technology Conference,BDTC)”。