8月28日-29日,全球容器技術(shù)大會(huì)在京舉行,京東作為目前擁有超大規(guī)模Docker應(yīng)用的廠商應(yīng)邀參加本次會(huì)議。會(huì)上,京東云平臺(tái)首席架構(gòu)師、系統(tǒng)技術(shù)部負(fù)責(zé)人劉海鋒發(fā)表主題演講《京東彈性計(jì)算云:軟件定義數(shù)據(jù)中心與容器集群調(diào)度》,對(duì)京東彈性計(jì)算云的誕生、目前的應(yīng)用情況及未來(lái)發(fā)展前景進(jìn)行了詳細(xì)闡述。在互聯(lián)網(wǎng)+時(shí)代,隨著非結(jié)構(gòu)化數(shù)據(jù)、緩存容量、消息傳遞、在線服務(wù)、機(jī)器數(shù)量等需求的暴增,彈性計(jì)算云技術(shù)受到業(yè)內(nèi)的極高關(guān)注。京東作為這一技術(shù)的成功實(shí)踐者,通過(guò)劉海鋒的演講為其他企業(yè)和廠商提供了非常有價(jià)值的參考。
大發(fā)展帶來(lái)技術(shù)挑戰(zhàn)
京東近年來(lái)業(yè)務(wù)高速發(fā)展,呈現(xiàn)出多元化態(tài)勢(shì),除了京東商城之外,金融、京東到家、智能、拍拍、海外等業(yè)務(wù)也都齊頭并進(jìn),這些業(yè)務(wù)都具有自己特殊的業(yè)務(wù)流程,對(duì)底層的技術(shù)架構(gòu)提出了越來(lái)越高的要求。搜索、圖片、廣告、訂單、Hadoop、Spark、MPI等都占據(jù)了不同的機(jī)器資源,造成服務(wù)器規(guī)模呈指數(shù)級(jí)增長(zhǎng)。越來(lái)越多的硬件設(shè)備,通過(guò)傳統(tǒng)的人工方式難以有效分配和管理服務(wù)器資源,協(xié)同工作效率低且資源浪費(fèi)很大。
面對(duì)這些挑戰(zhàn),京東于2014年8月開(kāi)始部署彈性計(jì)算云技術(shù)。彈性計(jì)算云是京東公司級(jí)別戰(zhàn)略項(xiàng)目,它基于Docker簡(jiǎn)化了應(yīng)用的部署和擴(kuò)容,提高了系統(tǒng)的伸縮能力。系統(tǒng)架構(gòu)可以這樣簡(jiǎn)潔定義:彈性計(jì)算云 = 軟件定義數(shù)據(jù)中心 + 容器集群調(diào)度。整個(gè)項(xiàng)目分成兩層架構(gòu),底層為基礎(chǔ)平臺(tái),系統(tǒng)名JDOS,通過(guò)“OpenStack married with Docker”來(lái)實(shí)現(xiàn)基礎(chǔ)設(shè)施資源的軟件管理,Docker取代VM成為一等公民,但這個(gè)系統(tǒng)目標(biāo)是統(tǒng)一生產(chǎn)物理機(jī)、虛擬機(jī)與輕量容器;上層為應(yīng)用平臺(tái),系統(tǒng)名CAP,集成部署監(jiān)控日志等工具鏈,實(shí)現(xiàn)“無(wú)需申請(qǐng)服務(wù)器,直接上線”,并進(jìn)行業(yè)務(wù)特定的、數(shù)據(jù)驅(qū)動(dòng)的容器集群調(diào)度與彈性伸縮。
彈性計(jì)算云經(jīng)過(guò)一年的部署和實(shí)踐,已經(jīng)成功地為618、11.11、12.12等大型電商促銷節(jié)日承擔(dān)了技術(shù)保證,成功展示了這一技術(shù)的系統(tǒng)擴(kuò)展性、穩(wěn)定性、容災(zāi)能力、運(yùn)維能力、緊急故障處理能力。舉例來(lái)說(shuō),像618這樣的大型促銷,為了應(yīng)對(duì)流量的急劇變化,需要提前增容。之前的方式需要提前審批、部署界面選擇、打包、機(jī)器分配……不僅流程長(zhǎng),而且節(jié)日過(guò)后,也很少有人還會(huì)想到去減少硬件設(shè)備,無(wú)形中造成極大浪費(fèi),F(xiàn)在借助彈性計(jì)算云,業(yè)務(wù)與硬件解耦,可進(jìn)行全自動(dòng)化維護(hù),直接部署,平臺(tái)實(shí)現(xiàn)統(tǒng)一控制,隨流量自動(dòng)擴(kuò)容,自動(dòng)縮減,中間環(huán)節(jié)全部取消,資源利用率大幅提升,而成本卻明顯降低。
彈性計(jì)算云的整體發(fā)展及未來(lái)
自2014年8月份開(kāi)始Docker的應(yīng)用以來(lái),京東彈性計(jì)算云項(xiàng)目經(jīng)過(guò)一年的發(fā)展,逐漸做到了一定規(guī)模。在2015年的618,京東線上共運(yùn)行了超過(guò)了11000個(gè)Docker實(shí)例以及幾百個(gè)KVM虛擬機(jī)。彈性計(jì)算云項(xiàng)目作為今年618的擴(kuò)容與災(zāi)備資源池,是國(guó)內(nèi)甚至世界上最大規(guī)模的Docker應(yīng)用之一。隨著業(yè)務(wù)的發(fā)展以及IDC的增加,今年預(yù)計(jì)京東的Docker實(shí)例數(shù)目將達(dá)到十萬(wàn)級(jí)數(shù)量,大部分應(yīng)用程序都會(huì)通過(guò)容器技術(shù)來(lái)發(fā)布和管理。劉海鋒透露,技術(shù)團(tuán)隊(duì)目前正在開(kāi)發(fā)測(cè)試線上全流程、平臺(tái)化服務(wù),實(shí)現(xiàn)在線離線業(yè)務(wù)的統(tǒng)一調(diào)度。
目前,彈性計(jì)算云已經(jīng)成為京東基礎(chǔ)云服務(wù)的核心。京東主要的一些核心應(yīng)用比如商品詳情頁(yè)、圖片展現(xiàn)、秒殺、配送員訂單詳情等等都部署在彈性云中。目前大家在瀏覽京東網(wǎng)站時(shí)看到的圖片與商品詳情,其實(shí)都是有彈性預(yù)測(cè)的,而京東彈性云在里面承擔(dān)了大約90%的訪問(wèn)量。換句話來(lái)說(shuō),目前用戶在京東上的每一次瀏覽,背后都有著京東彈性云項(xiàng)目的支撐。
劉海鋒在會(huì)議上還透露,京東彈性計(jì)算云將全面落地并不斷推動(dòng)基礎(chǔ)架構(gòu)的演進(jìn),實(shí)現(xiàn)應(yīng)用與物理資源的完全解耦。技術(shù)解放生產(chǎn)力,通過(guò)彈性計(jì)算云實(shí)現(xiàn)全自動(dòng)維護(hù),管理所有的硬件設(shè)備,成為業(yè)務(wù)的基石,保證流暢可靠的用戶體驗(yàn)。
關(guān)于京東(JD.com):
京東(JD.com)是中國(guó)領(lǐng)先的自營(yíng)式電商企業(yè),在《財(cái)富》中文版公布的“2015中國(guó)企業(yè)500強(qiáng)”中,京東是中國(guó)收入規(guī)模最大的互聯(lián)網(wǎng)企業(yè)。京東為消費(fèi)者提供愉悅的在線購(gòu)物體驗(yàn)。通過(guò)內(nèi)容豐富、人性化的網(wǎng)站和移動(dòng)客戶端,京東以富有競(jìng)爭(zhēng)力的價(jià)格,提供具有豐富品類及卓越品質(zhì)的商品和服務(wù),并且以快速可靠的方式送達(dá)消費(fèi)者。京東擁有龐大的倉(cāng)儲(chǔ)設(shè)施,其規(guī)模在全國(guó)電商行業(yè)中處于領(lǐng)先地位。截至2015年6月30日,京東在全國(guó)范圍內(nèi)擁有7大物流中心,在44座城市運(yùn)營(yíng)了166個(gè)大型倉(cāng)庫(kù),擁有4142個(gè)配送站和自提點(diǎn),覆蓋全國(guó)范圍內(nèi)的2043個(gè)區(qū)縣。2015年,京東很驕傲入選納斯達(dá)克100指數(shù)。