錢嶺：中國移動大云計劃介紹
2010/10/14
2010年10月12日消息，ICT中國 2010高層論壇在京隆重召開。論壇由工業(yè)和信息化部主辦，于2005年首次舉辦，已成功舉辦5屆，是國內(nèi)信息通信領(lǐng)域最具知名度和影響力的重要會議活動。 本屆論壇匯聚業(yè)內(nèi)專家學(xué)者，將為產(chǎn)、學(xué)、研、銷四方搭建一個廣闊開放的溝通交流平臺。中國移動通信研究院高級工程師錢嶺演講題目是中國移動大云計劃。
錢嶺：各位領(lǐng)導(dǎo)，專家下午好，我來自中國移動通信研究院錢嶺，今天非常高興有機會分享一下中國移動在云計算研究結(jié)果，就是中國移動研究院大云計劃。下午匯報分成三個部分，一個部分簡單的概述一下云計算在06、07、08乃至2010年之后它的發(fā)展情況。第二部分，著重會介紹一下中國移動大云項目的開發(fā)和一些應(yīng)用情況。第三部分，會簡要介紹一下云計算目前我們認為云計算面臨的一些挑戰(zhàn)，以及對國家層面有一些什么樣的建議。
這張片子簡單預(yù)測并且回顧云計算市場發(fā)展情況，最左邊這張圖是一個Gatner新技術(shù)曲線，可以看到云計算這個詞的出現(xiàn)，企事業(yè)是比較早的，但是08、09年我們發(fā)現(xiàn)它是一個增長趨勢。根據(jù)它的預(yù)測，今年以后的二到五年之內(nèi)會成為一個主流應(yīng)用。右邊這張圖其實是體現(xiàn)了在美國IT比較發(fā)達的國家里面，他們排名前50名網(wǎng)站，實際上是大中型網(wǎng)站，他們采用公有云產(chǎn)業(yè)增長情況。今天七八九三個月實際上它的增長出現(xiàn)了一些減少，但是依然是增長趨勢，基本月增長5%，而此前增長率在90%左右。到2012年80%財富一千強企業(yè)將使用云計算服務(wù)。
各國政府都投入了非常大的精力關(guān)注云計算，并且實施和推廣云計算應(yīng)用，我們看到里面最重要的一個美國政府稅收監(jiān)控網(wǎng)站是世界上第一個遷移公有云之上的政府網(wǎng)站，包括歐盟，印度，新加坡，韓國，日本，他們的基本情況除了關(guān)注以外，已經(jīng)開始采取一些行動。
他們主要有幾個方面的一些想法，第一方面會考慮來引導(dǎo)規(guī)范化云計算，這個已經(jīng)有點太熱了，大家的提法非常多。另外一點，很多政府企業(yè)想把政務(wù)系統(tǒng)遷移到云計算上來，就以美國這個網(wǎng)站為例，一年可以節(jié)省30多萬美元，2011年會往上增加50萬美元的樣子，其實也不是很大的網(wǎng)站，但是通過遷移可以節(jié)約很多運營管理開支。
這里面另外一個值得注意的就是新加坡，因為他們有一個位置的優(yōu)勢，他周圍連了很多東南亞國家，所以他們在這方面投入很大，很多運營商也把數(shù)據(jù)中心建在新加坡，他們希望成為亞洲云計算的樞紐。
云計算標(biāo)準(zhǔn)化和開源活動，實際上云計算領(lǐng)域里面更活躍的是開源組織，我們注意到有一些開源組織，包括Hardoop系列的，另外一個KIM做開源虛擬機系統(tǒng)，另外一個是開源虛擬機信息系統(tǒng)。這個行業(yè)重點組織已經(jīng)參與這方面的工作，并且有一些初步成果。像DMTF成立了相關(guān)的云計算工作組，也發(fā)表了一些跟虛擬化相關(guān)的，成立OCSI工作組，SNA成立了CDM云存儲規(guī)范，OGF規(guī)范了用戶接口。在云計算圖中基本上每一個關(guān)注的領(lǐng)域，或者研發(fā)領(lǐng)域都有標(biāo)準(zhǔn)化組織在參與，當(dāng)然開源組織是一定有的。
現(xiàn)在云計算方面一些巨人也好，或者傳統(tǒng)很強勢的公司也好，他們都在以某種方式進入云計算這個領(lǐng)域，包括微軟，包括Google，都是從自己所擅長領(lǐng)域，微軟以操作系統(tǒng)和虛擬計劃這塊作為一個切入點進入云計算領(lǐng)域。像Google GAM從云計算服務(wù)方面入手。AWS從虛擬化，從云計算存儲方面入手，所有大公司都是通過自己研發(fā)，以及引進，或者是聯(lián)合或者是收購的方式來擴充自己在云計算方面占有的一些資源和能力。他們?yōu)檫_到什么樣的目標(biāo)？他們?yōu)榱藢崿F(xiàn)完整的云計算系統(tǒng)站，形成企業(yè)核心競爭力。這一點上我們很迫切的需要一個標(biāo)準(zhǔn)化接口，或者這樣的機構(gòu)，把這些企業(yè)現(xiàn)在做的工作用一種標(biāo)準(zhǔn)方式讓所有人在當(dāng)中跨越或者遷移，但是目前不是很成功，但是已經(jīng)可以看到很多這樣的流派了。
在云計算系統(tǒng)站里面，可以簡單介紹一下，其實下面基礎(chǔ)設(shè)施，包括計算系統(tǒng)，存儲系統(tǒng)，和網(wǎng)絡(luò)系統(tǒng)，再往上就是一個核心軟件系統(tǒng)，這里面包括并行計算，一些任務(wù)負載均衡，再有就是應(yīng)用能力，傳統(tǒng)的中間件，數(shù)據(jù)庫，但是所有這些東西都是必須基于一種水平擴展的能力，并不像傳統(tǒng)那樣我增加服務(wù)器的處理器的能力，而不是通過增加數(shù)量，水平化來增加計算能力增強，同時又保證系統(tǒng)可靠性。
上面介紹云計算這個產(chǎn)業(yè)發(fā)展情況綜述信息，接下來著重介紹中國移動大云項目的一些開發(fā)和應(yīng)用情況。我們大運技術(shù)路線非常清晰，以高性能，低成本，高可用性，高擴展性設(shè)計理念為目標(biāo)，并不追求很昂貴軟件來解決性能擴展性問題，相反用廉價的系統(tǒng)，搭建一些開源軟件系統(tǒng)，當(dāng)然也會基于軟件系統(tǒng)成熟之后把里面的一些技術(shù)架構(gòu)分析清楚之后，我們自己會研發(fā)里面的相關(guān)的基礎(chǔ)類的軟件。然后同時會用軟件解決系統(tǒng)高可用，可靠性問題，然后通過增加服務(wù)器間的數(shù)量，增加很水平的擴展類似Google云計算這樣的架構(gòu)。中國移動大云項目最早啟動于與2007年3月份，這個項目主要目的是研究院為了打造中國移動基礎(chǔ)設(shè)施而設(shè)立的項目，一方面為了研究關(guān)鍵技術(shù)，另一方面做產(chǎn)品圓形開發(fā)工作。一方面滿足中國移動內(nèi)部使用，滿足中國移動內(nèi)部智能系統(tǒng)對運算高性能，低成本，可擴展，高個靠性的計算需求和存儲的需求，
08年10月份研究院已經(jīng)建立250個節(jié)點軟件平臺，包括軟件硬件系統(tǒng)，09年8在內(nèi)部發(fā)布1.0系統(tǒng)，目前已經(jīng)有一個1024結(jié)點云計算平臺，今年第二屆云計算大會上發(fā)布大云2.0，希望在明年年終或者年底的時候會有一個新版本的大云產(chǎn)品。
介紹1024節(jié)點大規(guī)模實驗室，目前這張圖上可以看到有很多服務(wù)器和交換機系統(tǒng)，總共擁有CPU5200多個核，10T內(nèi)存，2.8P硬盤形成大規(guī)模網(wǎng)絡(luò)系統(tǒng)。在上面布署很多研發(fā)應(yīng)用，數(shù)據(jù)挖掘應(yīng)用，BC—EC應(yīng)用，結(jié)構(gòu)化海量數(shù)據(jù)管理平臺應(yīng)用。這張片子介紹大云技術(shù)架構(gòu)。
從下往上看，一個是硬件層面的東西，然后在上面軟件系統(tǒng)我們基于開源linux，把下面計算資源虛擬化，再一個云計算平臺層，藍顏色的部分又分成兩部分，一個是能力層，一個是平臺層，能力層包括海量數(shù)據(jù)分布數(shù)據(jù)系統(tǒng)，包括結(jié)構(gòu)化數(shù)據(jù)系統(tǒng)，包括開發(fā)程序設(shè)計環(huán)境，云計算安全，還有云計算集成管理系統(tǒng)，很基礎(chǔ)性，適用所有能力應(yīng)用。再往上就是中間件和數(shù)據(jù)集，包括云計算，包括彈性計算的一個核，這里面有一個研發(fā)的產(chǎn)品線。再往上可以支撐管理信息系統(tǒng)，支撐一些互聯(lián)網(wǎng)應(yīng)用。
云計算系統(tǒng)被稱為BC—EC，根據(jù)用戶需求提供不同配置的X86虛擬服務(wù)器，根據(jù)用戶要求可以提供不同的CPU、內(nèi)存、硬盤，空間配置。支持用戶自服務(wù)，并可按用戶實際使用量計費，提供方便快捷的系統(tǒng)部署和應(yīng)用恢復(fù)，提供強大的系統(tǒng)監(jiān)控功能，對系統(tǒng)里面虛擬機和硬件，以及各類硬件做一些監(jiān)控，當(dāng)然我們安全性也是必不可少，用戶申請一組服務(wù)組之間是相互隔離的，當(dāng)然組的力度可以從1到N，安全管理和防護。
第二個就是并行計算執(zhí)行環(huán)境，如果比較了解Google架構(gòu)的話，這就是一個很類似的系統(tǒng)，這個系統(tǒng)主要目標(biāo)用來解決海量數(shù)據(jù)存儲和分析，在電信行業(yè)、運營商里面會有很大的應(yīng)用市場，當(dāng)然在互聯(lián)網(wǎng)企業(yè)也是一樣，現(xiàn)在在多數(shù)互聯(lián)網(wǎng)企業(yè)內(nèi)部做數(shù)據(jù)分析，都會做開源做數(shù)據(jù)存儲和分析，這個系統(tǒng)針對自己應(yīng)用的需求，以及解決了現(xiàn)在現(xiàn)存系統(tǒng)當(dāng)中的一些問題。MapReduce有比較高的性能，提供多隊列、多優(yōu)先級任務(wù)的管理。HyperDfs提供了數(shù)據(jù)的可靠性，也提高了系統(tǒng)高可用性，對磁盤故障發(fā)現(xiàn)更為迅速，也并且能夠進行及時處理，可以在線提供更換磁盤的一種能力。這個系統(tǒng)一般不會單獨來使用，用戶可能看不到這樣一套系統(tǒng)，可以看到另外兩套系統(tǒng)。一個是Huge Table系統(tǒng)，用戶可以有一些傳統(tǒng)應(yīng)用，或者網(wǎng)關(guān)應(yīng)用可以很快移植過來。第一可靠性，通過數(shù)據(jù)沉余提供可靠性，大容量，支持PB級的數(shù)據(jù)存儲能力，低成本，基于PC架構(gòu)，無需專用存儲。高性能，TB級數(shù)據(jù)量下秒級別的索引查詢能力、快速數(shù)據(jù)加載、高速數(shù)據(jù)并行寺廟能力。我們還提供了一些語言用的接口，提供了JDBC/ODBC/SQL接口，提供鍵值訪問接口。
并行數(shù)據(jù)挖掘系統(tǒng)是最早研發(fā)并且最早得到應(yīng)用的一個系統(tǒng)，它主要的作用對大量的數(shù)據(jù)，用戶定義一些可視化操作，定義一些流程，操作這些流程運行，在線可視化執(zhí)行這些流行，對數(shù)據(jù)復(fù)雜的處理過程都得到了簡化，是以SaaS應(yīng)用模式的海量并行數(shù)據(jù)挖掘。
另外一個系統(tǒng)對象文件存儲系統(tǒng)，在互聯(lián)網(wǎng)應(yīng)用當(dāng)中我們還有很多應(yīng)用場景對小文件進行存儲和訪問，包括音樂基地里面MP3文件下載，或者圖片很多的內(nèi)容，這一部分內(nèi)容需要涉及一種更為有針對性的系統(tǒng)。在這個基礎(chǔ)上設(shè)計了BC—NAS系統(tǒng)，這個系統(tǒng)有幾個主要特點，第一高度可擴展性，基于環(huán)的數(shù)據(jù)冗余條度策略，系統(tǒng)性能隨節(jié)點規(guī)模線性增長。索引、數(shù)據(jù)及狀態(tài)信息分離，便于部署及橫向擴展。這個接口提供FTP接口，標(biāo)準(zhǔn)文件系統(tǒng)接口，客戶端訪問接口。
另外能力層方面，大云搜索引擎核，BC—EC，我們在很多業(yè)務(wù)上都存在搜索問題，不一定對網(wǎng)頁做索引，對一些文字做索引，這里面有一些通用搜索引擎核針對上述應(yīng)用，把應(yīng)用數(shù)據(jù)做一些針對性的權(quán)限管理，做一些訪問控制，用戶使用這個系統(tǒng)的時候就會使用搜索引擎一些簡單應(yīng)用�，F(xiàn)在直接通過類似輸入密碼可以查詢到所需要的信息，未來可能有很多領(lǐng)域都起到一個搜索引擎的應(yīng)用，它有類似于數(shù)據(jù)庫的一個能力。
我們發(fā)布大云1.0的時候同時建立大云開發(fā)者社區(qū)，大家有興趣可以通過上面這個連接訪問我們大云開發(fā)者社區(qū)，這個社區(qū)當(dāng)中我們會提供一些分享用戶體驗信息，同時提供一些資料供大家使用，也提供一些互動能力，可以提一些問題，關(guān)于大云平臺使用的問題。當(dāng)然更重要當(dāng)中會提供一些用戶的申請，現(xiàn)在已經(jīng)發(fā)布有一百多個ID了。
接下來我介紹一下我們在研發(fā)研究過程中會發(fā)現(xiàn)云計算面臨的一些挑戰(zhàn)，以及我們會給出一些相關(guān)的建議。目前面臨挑戰(zhàn)主要幾個方面，一個是應(yīng)用及數(shù)據(jù)安全，即便未來相信像人群都會像相信銀行一樣相信云計算平臺，要解決這個問題，怎么樣克服內(nèi)部安全性，以及內(nèi)部跨云安全性。內(nèi)部云各個部門信息也需要考慮，怎么樣保證它的安全非常重要。另外一個互操作標(biāo)準(zhǔn)化，很多強勢IT企業(yè)紛紛進入云計算領(lǐng)域，形成不同技術(shù)流派，特別是云計算平臺里面，平臺以服務(wù)，平臺不一樣，接口都不一樣，用戶存續(xù)數(shù)據(jù)方式不一樣。很容易產(chǎn)生用戶被鎖定的問題，目前的話，有很多標(biāo)準(zhǔn)化機構(gòu)做這件事情，但沒有形成統(tǒng)一標(biāo)準(zhǔn)，這也是比較長期的過程。
第三個就是服務(wù)質(zhì)量保證，一旦出現(xiàn)網(wǎng)絡(luò)故障的時候會容易造成停服，怎么解決這個問題，是不是需要客戶端計算，或者采取遷移策略，結(jié)果服務(wù)質(zhì)量的問題。
另外一個挑戰(zhàn)對于企業(yè)的挑戰(zhàn)，我們實施云計算以后，會發(fā)現(xiàn)云計算里面，因為它的架構(gòu)問題，水平擴展，所以它對技術(shù)架構(gòu)有一些人進行它的維護管理，也有把很多散落在各個業(yè)務(wù)系統(tǒng)當(dāng)中的應(yīng)用和數(shù)據(jù)整合在一起，這樣的話就變成一個集中計算了，集中計算可能對原來分布式或者是在各個地方分布的云計算就會產(chǎn)生一些不同的特征，可能在組織管理層面也會造成一些挑戰(zhàn)。然后傳統(tǒng)企業(yè)，IT的運營管理也會因此而產(chǎn)生一些影響、壓力和阻力。
最后，用這張片總結(jié)一下我今天的介紹，我們對未來云計算發(fā)展有這樣三點建議。第一個國家需要對云計算相關(guān)企業(yè)提供政策性支持，加強對云計算推廣應(yīng)用，促進產(chǎn)業(yè)鏈成熟。第二，建立國家級云計算標(biāo)準(zhǔn)化體系，實現(xiàn)云計算平臺之間的互聯(lián)互通。需要從更高層面提供，而不是行業(yè)機構(gòu)這種層面比較低一些。第三，加強數(shù)據(jù)安全等級保護，數(shù)據(jù)安全和用戶隱私保護方面制度制定。這方面讓用戶更加信任，比較相信云計算平臺，我今天介紹這么多，謝謝大家！
賽迪網(wǎng)