前言:為了準確描述中國大數(shù)據(jù)市場和技術發(fā)展趨勢,解析大數(shù)據(jù)發(fā)展的各階段對IT技術的需求,2013年6月,中橋國際調研咨詢(以下簡稱中橋)對中國480家最終用戶的IT管理者和專業(yè)人員,就大數(shù)據(jù)市場和技術發(fā)展趨勢展開了調查。之后中橋首席分析師王叢,將結合其在歐美數(shù)據(jù)中心領域十幾年的市場調研積累,對中國大數(shù)據(jù)市場趨勢的調查數(shù)據(jù)進行解析,以詮釋中國大數(shù)據(jù)市場和技術趨勢。同時,會通過在線講座( www.webinars-china.com ),和中國讀者解讀中國大數(shù)據(jù)市場趨勢,以及大數(shù)據(jù)對IT技術、IT架構、IT管理以及IT格局的影響。中橋結合對中國大數(shù)據(jù)市場的的調研數(shù)據(jù)和分析,將分成四個系列對“中國大數(shù)據(jù)價值和趨勢”進行解讀。在系列1里,中橋將主要就大數(shù)據(jù)分析未來24個月以及企業(yè)的大數(shù)據(jù)分析重點投入進行解析。
大數(shù)據(jù)分析未來24個月市場趨勢
我們在大數(shù)據(jù)的調研中了解到,中國各型企業(yè)正在逐步意識到大數(shù)據(jù)的業(yè)務價值和商業(yè)價值,并且鑒于數(shù)據(jù)量的迅猛增長和大數(shù)據(jù)分析所帶來的巨大價值,在未來24個月內,不論是企業(yè)級(78.1%)還是中小企業(yè)用戶(71.8%),都將會在大數(shù)據(jù)分析上進行投入,通過部署新的數(shù)據(jù)分析方案來提高大數(shù)據(jù)創(chuàng)造價值的效率。這其中,考慮未來12-24個月在新的數(shù)據(jù)分析方案上進行投入的中小企業(yè)用戶比例甚至高于企業(yè)級用戶,鑒于中小企業(yè)在中國市場的龐大數(shù)量,可以想見這將對大數(shù)據(jù)分析形成一股極大的推動力。
大數(shù)據(jù)分析的演進過程
我們再從大數(shù)據(jù)分析的不同階段來看,大數(shù)據(jù)是一個演進過程。傳統(tǒng)商業(yè)智能通過增加數(shù)據(jù)類型和數(shù)據(jù)來源、提高分析速度,應對越來越多的數(shù)據(jù)子集,逐步演進為大數(shù)據(jù)數(shù)據(jù)分析。大數(shù)據(jù)通過IT創(chuàng)造價值的兩個主要維度是數(shù)據(jù)分析頻率、數(shù)據(jù)來源和種類,主要分為三個階段。
第一階段:批量分析:數(shù)據(jù)主要以來自企業(yè)內部結構化數(shù)據(jù)(如生產、管理數(shù)等據(jù))為主。目的是通過數(shù)據(jù)分析降低生產開支,提高資金周轉和物流效率,提高業(yè)務智能決策能力。這一階段用戶主要IT投資重點是如何提高數(shù)據(jù)分析頻率,以及增加大數(shù)據(jù)分析數(shù)據(jù)種類,為逐步向大數(shù)據(jù)分析架構演進做好IT架構和資源,大數(shù)據(jù)分析流程準備。
第二階段:近實時分析:數(shù)據(jù)分析類型從傳統(tǒng)的結構化數(shù)據(jù)逐步演進為結構化,非結構化(音視頻、社群等)和半結構化數(shù)據(jù)(包括系統(tǒng)日志、客戶信息)。除了降低生產開支,提高決策效率的同時,通過大數(shù)據(jù)分析提升利潤和銷售增長,以及提升優(yōu)質客源獲取和持有效率成為主要目的。數(shù)據(jù)分析子集數(shù)量相對批量分析更大。近實時分析對從分析準備、處理到呈現(xiàn)的時效性更強,提高了對數(shù)據(jù)處理能力和分析速度的要求。
第三階段:實時分析:數(shù)據(jù)來源和種類更加豐富,不僅限于企業(yè)內部的生產數(shù)據(jù)、用戶數(shù)據(jù)和社群網(wǎng)站,還會納入來自于第三方數(shù)據(jù)(競爭實時監(jiān)控,目標用戶群體采購行為監(jiān)控等)。主要目的是可以通過實時分析,通過前瞻性,實現(xiàn)業(yè)務突破創(chuàng)新。通過系統(tǒng)驅動實時“行動”,提升企業(yè)在全球市場核心競爭力,優(yōu)化企業(yè)優(yōu)質資源持有率。此外,實時分析對于數(shù)據(jù)分析和根據(jù)分析結構觸發(fā)動態(tài)業(yè)務決策(價格、庫存、打包服務)速度要求更為苛刻。不僅給計算、網(wǎng)絡提出更高要求,也大大提高了對數(shù)據(jù)存儲容量、性能和動態(tài)資源配置能力要求。
不同規(guī)模企業(yè)的數(shù)據(jù)分析投入重點
再從大數(shù)據(jù)分析環(huán)節(jié)來看,整個分析過程從數(shù)據(jù)采集管理,到數(shù)據(jù)分析呈現(xiàn)主要包括以下四大環(huán)節(jié):
- 數(shù)據(jù)采集管理:將企業(yè)內部數(shù)據(jù)有效采集管理。逐步形成從數(shù)據(jù)采集階段的數(shù)據(jù)分類管理規(guī)范化和標準化。
- ETL:大數(shù)據(jù)分析的準備工作,從不同的應用實現(xiàn)數(shù)據(jù)的抽取、清理、轉換、加載。
- 分析:根據(jù)業(yè)務需求進行批量,近實時或實時分析。
- 呈現(xiàn):將大數(shù)據(jù)的分析結果呈現(xiàn),以支撐智能的戰(zhàn)略決策和業(yè)務決策,或者自動化根據(jù)實時數(shù)據(jù)分析觸發(fā)商業(yè)行為,加大業(yè)務對市場的反應效率和利潤的捕捉能力。
那么就上述4個環(huán)節(jié),不同規(guī)模的企業(yè)側重點又將如何呢?中橋的調研結果顯示,未來12個月,企業(yè)級用戶的大數(shù)據(jù)相關IT投入重點放在數(shù)據(jù)分析ETL(抽取,遷移,加載)和商業(yè)智能(BI),占比均為50%;中小企業(yè)的IT投入重點則在數(shù)據(jù)倉庫(50.5%)和ETL(抽取,遷移,加載)(41.6%)。這也與不同企業(yè)所處的數(shù)據(jù)分析階段有關。
具體來說,企業(yè)級用戶正從大數(shù)據(jù)分析第一階段,向第二階段演進,更側重于如何通過大數(shù)據(jù)分析和商業(yè)智能(BI)最大限度地提高用戶使用體驗,降低優(yōu)質客戶流失。中小企業(yè)側重于如何通過商業(yè)智能提高生產效率,利潤和發(fā)展空間;如何通過對用戶采購行為分析,判斷潛在業(yè)務發(fā)展空間,通過業(yè)務創(chuàng)新,實現(xiàn)以“小”搏“大”、以“速度”搏“規(guī)模”的目的。
目前中國市場大數(shù)據(jù)分析集中在如何完善商業(yè)智能效率
此外,中橋還對中國市場大數(shù)據(jù)分析的IT投入進行了調研,結果顯示,未來24個月,企業(yè)的IT投入大多數(shù)都將圍繞數(shù)據(jù)的商業(yè)智能(BI)展開。未來12個月,31.4%的受訪者選擇整合不同業(yè)務數(shù)據(jù),實現(xiàn)商業(yè)智能這一方面進行IT投入,還有30.1%的受訪者選擇在提高結構化數(shù)據(jù)(如數(shù)據(jù)庫)商業(yè)智能效率上進行最重要的IT投入。未來12-24個月,選擇整合數(shù)據(jù)以實現(xiàn)商業(yè)智能的比例為22.9%;選擇提高結構化數(shù)據(jù)(如數(shù)據(jù)庫)商業(yè)智能效率的比例為22.4%。這表明數(shù)據(jù)的商業(yè)智能和商業(yè)效率是大數(shù)據(jù)時代企業(yè)的焦點,也直接影響到企業(yè)的業(yè)務發(fā)展和數(shù)據(jù)的價值挖掘。
大數(shù)據(jù)分析對企業(yè)的IT資源也存在一定的需求,包括分析方式、計算節(jié)點、存儲技術、IT架構 ,中橋將在系列2里進行詳解。