DAL是X國(guó)一家大型遠(yuǎn)洋運(yùn)輸公司，業(yè)務(wù)包含航運(yùn)、倉(cāng)儲(chǔ)、陸運(yùn)、貨物裝卸、船舶管理等。白天營(yíng)業(yè)時(shí)間，大約處理10W筆左右的貨物交易訂單。夜間非營(yíng)業(yè)時(shí)間，需要進(jìn)行數(shù)據(jù)整合、數(shù)據(jù)備份等操作，用于制定倉(cāng)儲(chǔ)計(jì)劃、船舶調(diào)度計(jì)劃。為了不影響第二天的日間營(yíng)業(yè)，夜間操作必須在凌晨6點(diǎn)之前全部完成。2013年初，DAL計(jì)劃增加至北美的航線，預(yù)計(jì)每天交易訂單數(shù)量會(huì)增長(zhǎng)到15W筆。當(dāng)前系統(tǒng)無(wú)法在規(guī)定時(shí)間內(nèi)消化15W筆交易數(shù)據(jù)，而交易數(shù)據(jù)每延遲一天，DAL將損失近10萬(wàn)歐元。通過(guò)分析，主要性能瓶頸出現(xiàn)在數(shù)據(jù)庫(kù)與磁盤的并發(fā)訪問(wèn)量和響應(yīng)時(shí)延上。在業(yè)務(wù)壓力增大時(shí)，原存儲(chǔ)系統(tǒng)IO時(shí)延急劇上升，在峰值時(shí)期IOPS達(dá)到20W左右，此時(shí)存儲(chǔ)IO平均時(shí)延高達(dá)8ms。高時(shí)延IO導(dǎo)致數(shù)據(jù)庫(kù)運(yùn)行中80%的時(shí)間被用于IO等待，從而導(dǎo)致批處理時(shí)間過(guò)長(zhǎng)。要徹底解決數(shù)據(jù)庫(kù)性能問(wèn)題，必須讓存儲(chǔ)系統(tǒng)在高IOPS壓力的同時(shí)將時(shí)延控制在一個(gè)比較低的水平。最終，將15W筆交易訂數(shù)據(jù)處理時(shí)間縮短至規(guī)定時(shí)間內(nèi)，支撐業(yè)務(wù)順利擴(kuò)張。

　　尋找IT效率提升的最佳途徑

　　隨著企業(yè)數(shù)據(jù)中心所承載的業(yè)務(wù)越來(lái)越多，數(shù)據(jù)越來(lái)越頻繁的流動(dòng)和使用，對(duì)更低時(shí)延，更高服務(wù)級(jí)別保證等特性的訴求也將愈發(fā)明顯。各行各業(yè)的應(yīng)用千差萬(wàn)別，無(wú)論是全面的企業(yè)資源計(jì)劃，還是用戶關(guān)系管理，抑或是企業(yè)生產(chǎn)過(guò)程中的采購(gòu)、生產(chǎn)、分銷等流程，企業(yè)管理中的財(cái)務(wù)、人事、分析決策，都離不開(kāi)成熟度的高性能IT系統(tǒng)支撐。在公共事務(wù)領(lǐng)域，同樣也經(jīng)歷著這樣的變化。隨著云計(jì)算和服務(wù)器虛擬化進(jìn)程的加速，IT設(shè)備需要從滿足從單一應(yīng)用走向面向多業(yè)務(wù)整合。用戶對(duì)等待的時(shí)間和結(jié)果的可獲得性都有越來(lái)越高的要求，這對(duì)企業(yè)IT系統(tǒng)的事務(wù)響應(yīng)時(shí)間、并發(fā)處理能力、查詢作業(yè)的時(shí)間長(zhǎng)度提出了苛刻挑戰(zhàn)，越來(lái)越多的用戶開(kāi)始關(guān)心IT系統(tǒng)的效率優(yōu)化�？偸窍氡M各種辦法提升性能，比如增加服務(wù)器的數(shù)量、提升服務(wù)器配置、讓服務(wù)器的負(fù)載低于10%等等。這些手段無(wú)一例外都是習(xí)慣性加強(qiáng)服務(wù)器以滿足應(yīng)用數(shù)據(jù)庫(kù)性能需求的思維定勢(shì)，使得大部分用戶環(huán)境中計(jì)算能力超出存儲(chǔ)能力，卻沒(méi)有真正消除性能瓶頸。華為通過(guò)對(duì)近百個(gè)有類似問(wèn)題的用戶系統(tǒng)的調(diào)查顯示，約87%的系統(tǒng)性能問(wèn)題出現(xiàn)在存儲(chǔ)子系統(tǒng)與應(yīng)用數(shù)據(jù)庫(kù)的交互上。換言之，存儲(chǔ)子系統(tǒng)的響應(yīng)時(shí)延、并發(fā)訪問(wèn)量決定了應(yīng)用系統(tǒng)的響應(yīng)時(shí)延與并發(fā)量，成為整個(gè)系統(tǒng)的性能瓶頸。

　　存儲(chǔ)系統(tǒng)響應(yīng)時(shí)間，即時(shí)延，正變成一個(gè)用戶關(guān)注的指標(biāo)，特別是對(duì)于很多企業(yè)關(guān)鍵應(yīng)用（mission-critical business）來(lái)講，決定最終用戶的體驗(yàn)，不僅僅看IO吞吐量，時(shí)延也是非常關(guān)鍵的指標(biāo)。通過(guò)提供穩(wěn)定的低時(shí)延保證，一方面可以保證和改善用戶體驗(yàn)，另一方面能夠減少服務(wù)器的數(shù)量，還會(huì)在空間、能耗等方面給用戶帶來(lái)更多價(jià)值。反過(guò)來(lái)，時(shí)延的改善能促進(jìn)應(yīng)用系統(tǒng)對(duì)IOPS的需求。對(duì)于一個(gè)數(shù)據(jù)密集型的應(yīng)用，如果數(shù)據(jù)訪問(wèn)的時(shí)延降低了90%，那么客戶對(duì)IOPS的需求就可能會(huì)最多提升10倍。特別是針對(duì)OLTP、OLAP這些應(yīng)用，這樣的情況會(huì)表現(xiàn)得非常明顯，收益也會(huì)是巨大的。另外，高性能計(jì)算、虛擬桌面等領(lǐng)域?qū)Ω逫OPS也有很大的需求。

　　特別強(qiáng)調(diào)一點(diǎn)，這里講的是時(shí)延保證，即應(yīng)用響應(yīng)的最大時(shí)延，換算成專業(yè)術(shù)語(yǔ)是99%以上I/O的時(shí)延。而非傳統(tǒng)意義上的平均時(shí)延。99%的時(shí)延比平均時(shí)延對(duì)應(yīng)用有更大的價(jià)值，原因在于當(dāng)前大多數(shù)應(yīng)用都是在線數(shù)據(jù)密集型應(yīng)用，一個(gè)用戶的請(qǐng)求會(huì)產(chǎn)生多個(gè)并發(fā)的訪問(wèn)，影響最終對(duì)用戶應(yīng)用的是這些并發(fā)訪問(wèn)中最慢的那個(gè)響應(yīng)。99%的時(shí)延正好可以體現(xiàn)這一要求，而平均時(shí)延則顯得沒(méi)有多少意義。這就是業(yè)界對(duì)99%的時(shí)延強(qiáng)烈關(guān)注的主要原因。如下圖所示，隨著業(yè)務(wù)壓力不斷增長(zhǎng)，存儲(chǔ)系統(tǒng)處理的IO數(shù)目不斷增多，而在面對(duì)大IO壓力（如百萬(wàn)級(jí)IOPS）的情況下仍能保持持續(xù)穩(wěn)定的低時(shí)延才是支撐應(yīng)用快速響應(yīng)的關(guān)鍵因素。

　　<1ms穩(wěn)定時(shí)延--一扇即將開(kāi)啟的大門

　　那么對(duì)用戶來(lái)說(shuō)，時(shí)延究竟要低到什么程度才能更好的滿足應(yīng)用的需求？1ms的時(shí)延已經(jīng)成為一個(gè)分水嶺，成為閃存存儲(chǔ)系統(tǒng)和磁盤存儲(chǔ)系統(tǒng)的重要差異，系統(tǒng)必須要設(shè)計(jì)提供一種良好的分布式并發(fā)機(jī)制，解決大規(guī)模并發(fā)訪問(wèn)下低時(shí)延的保證問(wèn)題。當(dāng)我們將時(shí)延降低1-2個(gè)數(shù)量級(jí)時(shí)，我們仿佛進(jìn)入了一個(gè)全新的世界。原來(lái)感覺(jué)很快的處理，現(xiàn)在可能已經(jīng)變得慢起來(lái)。就像汽車與飛機(jī)，速度也就差1個(gè)數(shù)量級(jí)，但它們?cè)谠O(shè)計(jì)中關(guān)注完全不同的問(wèn)題。當(dāng)我們將存儲(chǔ)時(shí)延降低至300-500us時(shí)， iscsi協(xié)議帶來(lái)的接近100us的延遲已經(jīng)變得難以接受，而這在傳統(tǒng)的10ms總時(shí)延的設(shè)備上根本無(wú)需關(guān)注。微秒級(jí)時(shí)延讓我們進(jìn)入了新的世界，我們需要以探索的精神，重新審視一下請(qǐng)求處理的各個(gè)環(huán)節(jié)，硬件和軟件、架構(gòu)和協(xié)議，使得每一個(gè)處理達(dá)到us級(jí)的精準(zhǔn)控制。

　　傳統(tǒng)以磁盤為中心的存儲(chǔ)，時(shí)延最大出現(xiàn)在磁盤數(shù)據(jù)的訪問(wèn)，要想實(shí)現(xiàn)微秒級(jí)的時(shí)延目標(biāo)，是完全不可能的事情。但隨著閃存的規(guī)模應(yīng)用，大量關(guān)鍵數(shù)據(jù)可以放置到SSD上，完全可以使得數(shù)據(jù)的訪問(wèn)小于1ms。SSD是依靠低時(shí)延來(lái)支撐高IOPS的，這與堆砌HDD來(lái)增加并發(fā)能力進(jìn)而提高IOPS的做法，是完全不同的，而事實(shí)上低時(shí)延更能夠幫助業(yè)務(wù)系統(tǒng)提升性能，并減少在存儲(chǔ)基礎(chǔ)設(shè)施上的投資。SSD內(nèi)部的控制器支持多通道并發(fā)訪問(wèn)后端的NAND Flash，所以SSD在支持低響應(yīng)時(shí)延的同時(shí)也支持真正的多并發(fā)，從而將性能發(fā)揮出來(lái)。

　　時(shí)延問(wèn)題的本質(zhì)是存儲(chǔ)介質(zhì)的問(wèn)題，如果選擇HDD，時(shí)延就只能到達(dá)10ms水平；如果選擇閃存，則可以控制在1ms，乃至300us水平；如果選擇DRAM，則可以控制在100us，最佳可以控制的10us。盡管介質(zhì)是最為本質(zhì)的選擇，但最終結(jié)果往往并不是僅僅選擇合適的介質(zhì)就能完全決定的。時(shí)延的問(wèn)題是一個(gè)相當(dāng)復(fù)雜的問(wèn)題，介質(zhì)只是里面最關(guān)鍵的一個(gè)環(huán)節(jié)，一個(gè)存儲(chǔ)請(qǐng)求，從IO接口進(jìn)入存儲(chǔ)系統(tǒng)，到最后從IO接口返回給用戶，要經(jīng)過(guò)多個(gè)臨界資源的處理（CPU、鎖、Cache、存儲(chǔ)介質(zhì)、內(nèi)聯(lián)網(wǎng)絡(luò)、IO接口等等），要進(jìn)入多個(gè)隊(duì)列排隊(duì)，每次排隊(duì)和處理都會(huì)帶來(lái)時(shí)延。再加上優(yōu)先級(jí)的爭(zhēng)奪，OS調(diào)度帶來(lái)的干擾，特別是在要求越來(lái)越高的時(shí)延要求下，軟件處理和協(xié)議棧開(kāi)銷也將成為被重點(diǎn)關(guān)注的對(duì)象。

　　閃存與系統(tǒng)深度融合--微秒級(jí)時(shí)延的設(shè)計(jì)思想

　　首先，必須要針對(duì)閃存的特性設(shè)計(jì)，而不僅僅是在傳統(tǒng)陣列的設(shè)計(jì)上更新閃存盤。眾所周知，傳統(tǒng)陣列是圍繞著緩存（Cache）展開(kāi)的，一般使用比較節(jié)省內(nèi)存、但是操作相對(duì)較為耗時(shí)的樹(shù)形數(shù)據(jù)結(jié)構(gòu)來(lái)作為cache的索引表，由于HDD的速度并不夠快，通過(guò)Cache技術(shù)，傳統(tǒng)陣列能夠提供讀命中，以降低讀時(shí)延；能夠提供回寫，以降低寫時(shí)延。這種設(shè)計(jì)思路導(dǎo)致如果我們直接將SSD插入傳統(tǒng)陣列，只能發(fā)揮SSD的一小部分性能。而對(duì)于閃存陣列，情況則發(fā)生了變化。SSD的時(shí)延大約只有數(shù)十到數(shù)百us，比HDD低出1個(gè)數(shù)量級(jí)以上。在這種情況下，針對(duì)傳統(tǒng)存儲(chǔ)陣列所設(shè)計(jì)的索引表所引入的時(shí)延，變得突出起來(lái)，會(huì)極大地影響SSD性能的發(fā)揮。于是在閃存陣列系統(tǒng)中，必須要選擇一種不同于傳統(tǒng)存儲(chǔ)陣列的數(shù)據(jù)結(jié)構(gòu)來(lái)作為cache索引表。新的數(shù)據(jù)結(jié)構(gòu)可以適當(dāng)多占一些內(nèi)存，但是操作（查找、插入、刪除）時(shí)延一定要很低。雖然這會(huì)導(dǎo)致較高的CPU占用率和內(nèi)存占用率，但為了得到更好的性能，我們不能也無(wú)需在閃存陣列上設(shè)計(jì)復(fù)雜的Cache，應(yīng)盡量釋放CPU來(lái)處理更多的IO。由此看來(lái)，系統(tǒng)的瓶頸點(diǎn)在不同的系統(tǒng)上發(fā)生了遷移，于是在設(shè)計(jì)和開(kāi)發(fā)時(shí)，需要向關(guān)鍵路徑要時(shí)間、向非關(guān)鍵路徑要資源。傳統(tǒng)存儲(chǔ)陣列是拿時(shí)間換空間，而閃存陣列是拿空間換時(shí)間。

　　另一方面，對(duì)于HDD，隨機(jī)訪問(wèn)和順序訪問(wèn)的數(shù)據(jù)吞吐量差異超過(guò)100倍，而對(duì)于SSD，其隨機(jī)訪問(wèn)和順序訪問(wèn)的吞吐量差異只有2-4倍。因?yàn)镠DD的順序訪問(wèn)和隨機(jī)訪問(wèn)之間存在巨大的數(shù)據(jù)交換速率差異，因此傳統(tǒng)存儲(chǔ)陣列中的各種各樣cache算法，都是圍繞如何盡量順序訪問(wèn)HDD來(lái)設(shè)計(jì)的。而SSD的順序訪問(wèn)和隨機(jī)訪問(wèn)之間，數(shù)據(jù)交換速率差異沒(méi)有那么大，情況發(fā)生了巨大的變化。這反映了一個(gè)事實(shí)：適用于HDD的cache淘汰算法，不一定適用于SSD。實(shí)際上，在閃存陣列中，我們更關(guān)心的問(wèn)題是，cache中的數(shù)據(jù)是否做到了按閃存頁(yè)面對(duì)齊和補(bǔ)滿、是否有效防止了一次性訪問(wèn)數(shù)據(jù)對(duì)cache造成了污染、選擇淘汰對(duì)象時(shí)的開(kāi)銷是否合理。通過(guò)基于SSD的專利淘汰算法，能夠有效識(shí)別并區(qū)分順序訪問(wèn)產(chǎn)生的數(shù)據(jù)、臨時(shí)訪問(wèn)產(chǎn)生的數(shù)據(jù)、熱數(shù)據(jù)，并迅速找出低價(jià)值數(shù)據(jù)進(jìn)行淘汰，同時(shí)深度配合華為自研SSD顆粒特性，選擇臟數(shù)據(jù)下刷到SSD時(shí)，盡量匹配SSD的閃存頁(yè)面粒度和ECC校驗(yàn)，從而有效減小SSD的寫懲罰和寫放大。

　　隨著云計(jì)算和服務(wù)器虛擬化進(jìn)程的加速，前端服務(wù)器的整合帶來(lái)了后端存儲(chǔ)網(wǎng)絡(luò)和存儲(chǔ)設(shè)備的整合，整合的背后，導(dǎo)致存儲(chǔ)設(shè)備需要從滿足單一應(yīng)用走向面向多業(yè)務(wù)的整合。存儲(chǔ)行業(yè)正在發(fā)生深刻地革命性的變化，云計(jì)算推動(dòng)了數(shù)據(jù)中心的整合，也將推動(dòng)存儲(chǔ)走向融合和統(tǒng)一。閃存作為新介質(zhì)，正在承擔(dān)主存的使命，驅(qū)動(dòng)著存儲(chǔ)架構(gòu)的變化，向用戶和應(yīng)用提供新的存儲(chǔ)評(píng)價(jià)指標(biāo)——一致性的低時(shí)延。華為通過(guò)將閃存與系統(tǒng)深度融合，完全圍繞著閃存特點(diǎn)來(lái)設(shè)計(jì)，充分發(fā)揮閃存高IOPS、低時(shí)延的優(yōu)勢(shì)、規(guī)避閃存擦寫次數(shù)有限的劣勢(shì)，力求為企業(yè)用戶提供百萬(wàn)級(jí)IOPS、微秒級(jí)穩(wěn)定時(shí)延的存儲(chǔ)服務(wù)，滿足企業(yè)數(shù)據(jù)中心的長(zhǎng)期需求。