與CES之類熱熱鬧鬧的展會(huì)不同,F(xiàn)AST會(huì)議本身聚焦在存儲(chǔ)行業(yè),就連知乎上都幾乎無人提及,正是這樣,反倒讓這個(gè)會(huì)上的干貨滿滿。
這個(gè)會(huì)通常在每年2月份在美國(guó)舊金山灣區(qū)各城市輪流舉辦,今年的FAST’18舉辦地是在灣區(qū)北部奧克蘭,2月的奧克蘭迎來了全球存儲(chǔ)領(lǐng)域的專家、學(xué)者以及產(chǎn)業(yè)界人士。
當(dāng)然,很多專家其實(shí)是從臨近的山景城、西雅圖過來,這很不“全球”。倒是我們的團(tuán)隊(duì)既有從杭州、北京也有西雅圖、硅谷過去的,可見其實(shí)在此地我們卻成了體現(xiàn)“全球”的最佳標(biāo)簽。
隨著阿里巴巴在存儲(chǔ)領(lǐng)域的技術(shù)深入,我們?cè)谠拼鎯?chǔ)領(lǐng)域、大規(guī)模實(shí)踐方面有了極大的突破,同時(shí)也需要得到同行們?cè)谲浻布惑w、新介質(zhì)方面的輸入。
于是,這個(gè)大會(huì)上可以看到很多阿里巴巴的元素。是的,我們?nèi)χС至诉@個(gè)技術(shù)盛會(huì),有存儲(chǔ)專家團(tuán)隊(duì)也有阿里云盤古存儲(chǔ)系統(tǒng),有展臺(tái)也有專場(chǎng),與技術(shù)來一個(gè)全面擁抱。
兩大整體感受:新介質(zhì)與中國(guó)面孔
在奧克蘭的四天時(shí)間里,我們一行人每天都按照自己的研究方向擠在各個(gè)報(bào)告廳里。除了各自關(guān)注的領(lǐng)域的進(jìn)展外,也接觸到了不少擴(kuò)展的知識(shí)和應(yīng)用,以及學(xué)術(shù)界最新的一些研究方向和思路。
在奧克蘭的四天時(shí)間里,我們一行人每天都按照自己的研究方向擠在各個(gè)報(bào)告廳里。除了各自關(guān)注的領(lǐng)域的進(jìn)展外,也接觸到了不少擴(kuò)展的知識(shí)和應(yīng)用,以及學(xué)術(shù)界最新的一些研究方向和思路。
回來之后,我們梳理了一下本屆FAST整體感受:
圖為FAST’18 當(dāng)中的一場(chǎng)會(huì)議
1、新一代存儲(chǔ)介質(zhì)話題最熱,將迎來行業(yè)的變革
不難看出,近年來新硬件層出不窮給存儲(chǔ)行業(yè)帶來革命式發(fā)展,如何改造軟件讓新硬件發(fā)揮全部出能力是學(xué)術(shù)屆和工業(yè)屆面臨的共同難題。
從今年發(fā)表的文章數(shù)量來看,新一代存儲(chǔ)介質(zhì)毫無疑問是最熱門的領(lǐng)域。
技術(shù)報(bào)告分為8個(gè)Session,共23篇論文,其中1/3論文與本地存儲(chǔ)系統(tǒng)有關(guān)(硬件+本地文件系統(tǒng)),最佳論文兩篇,分別是:“Protocol-AwareRecovery for Consensus-Based Storage“解決故障副本的快速修復(fù)問題;”Barrier-EnabledIO Stack for Flash Storage“解決fsync引入的高延遲問題。
2、存儲(chǔ)技術(shù)領(lǐng)域的中國(guó)面孔迅速增多
另一大感受是參會(huì)嘉賓中有非常多的中國(guó)面孔,23篇論文中第一作者是華人的有8篇,其中清華大學(xué)有兩篇論文入選(派出了大概6名參會(huì)人員),這當(dāng)然是一個(gè)巨大的進(jìn)步。
但如果我們?nèi)タ创髸?huì)的聯(lián)席主席以及ProgramCommittee名單的話,又會(huì)發(fā)現(xiàn)已經(jīng)有數(shù)位中國(guó)學(xué)者,但尚未有中國(guó)大學(xué)及公司入列。這是一個(gè)最好的標(biāo)尺:我們?nèi)孕璐蟀汛蟀训呐,中?guó)技術(shù)人要用技術(shù)贏得贊譽(yù)。
工業(yè)界最關(guān)注阿里云的增強(qiáng)型云盤(ESSD) 百萬IOPS與百微秒延時(shí)
接著說下在FAST上阿里巴巴分享了哪些技術(shù)。
在FAST展臺(tái)上,我們著重展示的是「盤古」分布式存儲(chǔ),以及基于盤古存儲(chǔ)的多個(gè)云服務(wù)、自研的雙模式 SSD 等。當(dāng)中,近期發(fā)布的增強(qiáng)型云盤(ESSD)又是被問及最多的產(chǎn)品,面對(duì)達(dá)到百萬 IOPS和單路百微秒延時(shí)的技術(shù)實(shí)現(xiàn),用蘋果文案風(fēng)來說就是:“真的問,問了又問”。
“增強(qiáng)型云盤是我們做的第四代塊存儲(chǔ)產(chǎn)品,它采用了全用戶態(tài)協(xié)議棧,通過用戶態(tài)polling 模式驅(qū)動(dòng)程序架構(gòu)如 SPDK、DPDK,避免了傳統(tǒng)軟件中的線程切換和系統(tǒng)調(diào)用開銷,因此能達(dá)到極低延時(shí)和高 IOPS的用戶體驗(yàn)。”我們也是“答了又答”,深入交流的部分就不在此貼了。
同行則比較關(guān)心增強(qiáng)型云盤單路延時(shí)100us與寫透盤掉電不丟數(shù)據(jù)這兩點(diǎn)。
中國(guó)的電商和云計(jì)算如今在海外也成了技術(shù)招牌,但凡提及雙11峰值,接下去的提問就會(huì)接踵而至。“如何在復(fù)用現(xiàn)有硬件不增加成本的情況下,滿足電商交易峰值流量。”、“峰值對(duì)于存儲(chǔ)的準(zhǔn)備工作與日常有哪些不同”……
這方面阿里巴巴采用計(jì)算存儲(chǔ)分離和在線離線混跑技術(shù),將電商容器和數(shù)據(jù)庫(kù)等延時(shí)敏感的應(yīng)用和離線數(shù)據(jù)作業(yè)部署在同一批機(jī)器上,根據(jù)交易量動(dòng)態(tài)調(diào)整兩者資源占用比例,實(shí)現(xiàn)電商全鏈路的彈性部署。
從提問者身上可以非常明顯地看到,對(duì)于技術(shù)人來說,其實(shí)特別羨慕這類極端的峰值場(chǎng)景,帶來的經(jīng)驗(yàn)和技術(shù)積累特別的“濃縮”。我想,真正的技術(shù)人還真是一樣:有問題最好啊,我來解嘛。
當(dāng)然了,技術(shù)人與平臺(tái)也是相輔相成的。“如果沒有如此牛逼的舞臺(tái)(技術(shù)),何處安放我牛逼的技術(shù)(何以造就牛逼的平臺(tái))”。
同行評(píng)價(jià):“這是FAST上第一次有云計(jì)算公司愿意分享技術(shù)實(shí)現(xiàn)”
除了展臺(tái),阿里巴巴組織的“阿里之夜”報(bào)告專場(chǎng)也是熱鬧非凡。
阿里云首席架構(gòu)師唐洪等在會(huì)上分享了我們?cè)诖笠?guī)模分布式存儲(chǔ)領(lǐng)域的實(shí)踐經(jīng)驗(yàn)。來自 NAS 團(tuán)隊(duì)的陸慶達(dá)在會(huì)上分享了我們?nèi)绾巫龅酵瑫r(shí)支持NFS和SMB。
說到這里,阿里云 NAS 服務(wù)是全球首個(gè)同時(shí)支持 NFS 和 SMB 的云文件系統(tǒng)服務(wù)。NFS 和 SMB 原本是為傳統(tǒng)存儲(chǔ)設(shè)計(jì)的協(xié)議,至今已經(jīng)二十余年歷史。如何將它和云存儲(chǔ)的大規(guī)?蓴U(kuò)展架構(gòu)結(jié)合起來是 NAS 服務(wù)設(shè)計(jì)的難點(diǎn)。
圖為基于盤古存儲(chǔ)系統(tǒng)的阿里云NAS服務(wù)架構(gòu)
這場(chǎng)分享會(huì)從原定的1個(gè)小時(shí)延長(zhǎng)至1個(gè)半小時(shí),會(huì)議結(jié)束后大家拉著討論一些技術(shù)點(diǎn)一直到了晚上10點(diǎn)。
來自存儲(chǔ)工業(yè)界組織SNIA的Michael Oros特意找到我同事致謝說,“這是FAST上第一次有云計(jì)算公司愿意分享技術(shù)實(shí)現(xiàn),希望未來多多支持存儲(chǔ)標(biāo)準(zhǔn)化工作。”