前言:為了準(zhǔn)確描述中國(guó)大數(shù)據(jù)市場(chǎng)和技術(shù)發(fā)展趨勢(shì),解析大數(shù)據(jù)發(fā)展的各階段對(duì)IT技術(shù)的需求,2013年6月,中橋調(diào)研咨詢(以下簡(jiǎn)稱中橋)對(duì)中國(guó)480家最終用戶的IT管理者和專業(yè)人員,就大數(shù)據(jù)市場(chǎng)和技術(shù)發(fā)展趨勢(shì)展開了調(diào)查。中橋首席分析師王叢結(jié)合其在歐美數(shù)據(jù)中心領(lǐng)域十幾年的市場(chǎng)調(diào)研積累,對(duì)中國(guó)大數(shù)據(jù)市場(chǎng)趨勢(shì)的調(diào)查數(shù)據(jù)進(jìn)行解析,以詮釋中國(guó)大數(shù)據(jù)市場(chǎng)和技術(shù)趨勢(shì)。同時(shí),會(huì)通過在線講座(www.webinars-china.com )和中國(guó)讀者解讀中國(guó)大數(shù)據(jù)市場(chǎng)趨勢(shì),以及大數(shù)據(jù)對(duì)IT技術(shù)、架構(gòu)、管理以及格局的影響。中橋結(jié)合中國(guó)大數(shù)據(jù)市場(chǎng)的調(diào)研數(shù)據(jù)和分析,將分成四個(gè)系列對(duì)“中國(guó)大數(shù)據(jù)價(jià)值和趨勢(shì)”進(jìn)行解讀。
在之前的系列1和2中,中橋就大數(shù)據(jù)分析的發(fā)展趨勢(shì)以及對(duì)IT資源的需求進(jìn)行了解析。接下來,針對(duì)大數(shù)據(jù)分析的重要一環(huán)—存儲(chǔ),中橋?qū)⒔Y(jié)合市場(chǎng)熱門的存儲(chǔ)技術(shù)如閃存、固態(tài)盤等,來從存儲(chǔ)性能、數(shù)據(jù)保護(hù)等角度進(jìn)行分析。
通過前文的相關(guān)數(shù)據(jù)分析,我們已經(jīng)了解到,隨著大數(shù)據(jù)時(shí)代應(yīng)用數(shù)量、應(yīng)用數(shù)據(jù)量和使用者數(shù)量的增長(zhǎng),系統(tǒng)對(duì)存儲(chǔ)IOPS以及OLTP和OLAP的要求越來越高。傳統(tǒng)存儲(chǔ)也越來越無(wú)法滿足業(yè)務(wù)關(guān)鍵應(yīng)用的性能需求,這驅(qū)動(dòng)了中國(guó)企業(yè)未來24個(gè)月新存儲(chǔ)的部署。而固態(tài)盤、閃存技術(shù)作為新型存儲(chǔ),已經(jīng)得到越來越多的企業(yè)的青睞。中橋的調(diào)查數(shù)據(jù)也驗(yàn)證了這一點(diǎn)。企業(yè)采用固態(tài)盤或閃存技術(shù)的主要原因排列如下:提高桌面虛擬化的性能、提高OLAP性能需求、滿足業(yè)務(wù)關(guān)鍵應(yīng)用性能和低延遲要求、提高虛機(jī)密度應(yīng)用性能等。而桌面虛擬化、OLAP高要求、業(yè)務(wù)關(guān)鍵應(yīng)用、低延遲以及高虛擬機(jī)密度也正是大數(shù)據(jù)時(shí)代的典型特點(diǎn)。
圖1. 選擇固態(tài)盤或閃存技術(shù)的主要原因(來源:中橋國(guó)際調(diào)研咨詢的調(diào)查報(bào)告)
那么對(duì)于中國(guó)企業(yè)而言,所選擇的新型存儲(chǔ)技術(shù)應(yīng)該以什么樣的指標(biāo)來權(quán)衡,才能確保整個(gè)大數(shù)據(jù)分析流程平穩(wěn)、高效運(yùn)行?中橋?qū)ζ髽I(yè)的調(diào)查結(jié)果顯示(圖2),存儲(chǔ)高可擴(kuò)展性、高可用性和并行處理能力是企業(yè)評(píng)估大數(shù)據(jù)存儲(chǔ)最重要的三個(gè)因素。高可擴(kuò)展性可以確保企業(yè)的IT能夠隨著數(shù)據(jù)量的增長(zhǎng)和性能需求進(jìn)行擴(kuò)展,以滿足海量數(shù)據(jù)的存儲(chǔ)和處理需求;高可用性則能夠保證大數(shù)據(jù)分析過程的平穩(wěn)、無(wú)間斷運(yùn)行,確保了業(yè)務(wù)連續(xù)性;高并行處理能力則能夠確保在大數(shù)據(jù)處理過程中同時(shí)進(jìn)行更多數(shù)據(jù)的處理,高效地完成數(shù)據(jù)分析,從而將分析結(jié)果轉(zhuǎn)化為業(yè)務(wù)決策,加快產(chǎn)品或技術(shù)的面市周期。此外,低延遲、自動(dòng)分層存儲(chǔ)以及10GbE支持等也是用戶評(píng)估大數(shù)據(jù)存儲(chǔ)的重要考核因素。
圖2 . 評(píng)估數(shù)據(jù)分析存儲(chǔ)技術(shù)的重要指標(biāo)來源:中橋國(guó)際調(diào)研咨詢的調(diào)查報(bào)告
我們?cè)贀Q一個(gè)角度來繼續(xù)解讀一下存儲(chǔ)。眾所周知,不同類型的數(shù)據(jù),其生命周期也是不同的,而根據(jù)數(shù)據(jù)類型和生命周期來進(jìn)行存儲(chǔ)資源分配,則能夠有效提高存儲(chǔ)利用率,這對(duì)于大數(shù)據(jù)的存儲(chǔ)開支非常關(guān)鍵。此外,數(shù)據(jù)的有效管理也決定著生產(chǎn)應(yīng)用的性能。中橋調(diào)查結(jié)果顯示(圖3),大量中國(guó)用戶所采用的數(shù)據(jù)庫(kù)面臨著性能壓力(84.4%),且沒能有效地進(jìn)行數(shù)據(jù)的歸檔和清理,其中,24.6%的受訪企業(yè)甚至不進(jìn)行數(shù)據(jù)歸檔和清理,還有高達(dá)34.9%的受訪企業(yè)采取手動(dòng)方式來進(jìn)行數(shù)據(jù)歸檔和清理。將非活躍數(shù)據(jù)從主存儲(chǔ)資源上清理出來,并根據(jù)數(shù)據(jù)類型和生命周期進(jìn)行分層存儲(chǔ)和歸檔,盡可能提高存儲(chǔ)利用率的同時(shí),還能夠確保生產(chǎn)應(yīng)用性能的穩(wěn)定性,為數(shù)據(jù)分析提供所需的性能,有效降低主存儲(chǔ)開支,延緩存儲(chǔ)采購(gòu)周期。
圖3. 數(shù)據(jù)的歸檔和清理來源:中橋國(guó)際調(diào)研咨詢的調(diào)查報(bào)告
在大數(shù)據(jù)時(shí)代,海量數(shù)據(jù)給企業(yè)帶來的不僅僅是系統(tǒng)性能和存儲(chǔ)難題,數(shù)據(jù)保護(hù)也是企業(yè)的一大焦點(diǎn)。中橋調(diào)研結(jié)果顯示(圖4),用戶就面臨的數(shù)據(jù)保護(hù)挑戰(zhàn)排列如下:“數(shù)據(jù)備份影響業(yè)務(wù)性能”(25.1%)、“數(shù)據(jù)保護(hù)網(wǎng)絡(luò)帶寬需求大”(20.7%)、“分級(jí)存儲(chǔ)讀寫性能不能滿足要求”(19.3%)。這表明,在大數(shù)據(jù)時(shí)代,海量數(shù)據(jù)的備份和保護(hù)以及分級(jí)存儲(chǔ),將對(duì)業(yè)務(wù)性能帶來很大影響,包括對(duì)網(wǎng)絡(luò)帶寬的影響。這也從側(cè)面再一次表明數(shù)據(jù)的分級(jí)存儲(chǔ)對(duì)企業(yè)的重要性。
圖4大數(shù)據(jù)數(shù)據(jù)保護(hù)的最大挑戰(zhàn)來源:中橋國(guó)際調(diào)研咨詢的調(diào)查報(bào)告
數(shù)據(jù)是大數(shù)據(jù)時(shí)代通過IT創(chuàng)造價(jià)值的“種子”。在大數(shù)據(jù)分析的四個(gè)重要環(huán)節(jié)中——數(shù)據(jù)采集和存儲(chǔ)、數(shù)據(jù)清理和整合、數(shù)據(jù)分析、分析呈現(xiàn)——滿足大數(shù)據(jù)演進(jìn)過程中對(duì)容量、性能和業(yè)務(wù)連續(xù)性的需求,提升資源利用率降低存儲(chǔ)開支,不僅能保護(hù)好大數(shù)據(jù)這個(gè)“種子”,也是選擇大數(shù)據(jù)存儲(chǔ)的重要考慮因素。