下面這篇文章摘選自《VMware 軟件定義存儲(chǔ)》第 6 章。文末有贈(zèng)書規(guī)則。
Web-Scale 這一詞的概念，最早是由 Gartner 在 2013 年提出，指的是一種架構(gòu)方法，基于這種方法超大規(guī)模云提供商（如 Google，Amazon，F(xiàn)acebook，Netflix 和其他廠商等）可以為大型企業(yè) IT 組織和服務(wù)提供商提供所需的服務(wù)保障能力，建立和運(yùn)維一個(gè)極大規(guī)模的基礎(chǔ)設(shè)施平臺(tái)。同時(shí)，Web-Scale 的目的也不僅僅是構(gòu)建極大規(guī)模的基礎(chǔ)架構(gòu)，還可通過一套固定的流程和架構(gòu)標(biāo)準(zhǔn)化來提高基礎(chǔ)架構(gòu)運(yùn)營(yíng)的敏捷性。
Web-Scale 不是一項(xiàng)單一的技術(shù)，它是一種適用于任意規(guī)模數(shù)據(jù)中心的架構(gòu)和管理的方法論，借助于標(biāo)準(zhǔn)化和可重復(fù)的構(gòu)建塊（building-block）的設(shè)計(jì)方法，構(gòu)建滿足不同業(yè)務(wù)需求的基礎(chǔ)架構(gòu)。
以下是大型企業(yè) IT 組織或云服務(wù)提供商在考慮構(gòu)建基于 Web-Scale 的基礎(chǔ)架構(gòu)時(shí)的關(guān)鍵要求：
- 能夠在 x86 服務(wù)器上提供超融合架構(gòu)（HCI）平臺(tái)，具有完全集成的計(jì)算和存儲(chǔ)組件。
- 能夠以分布式方式提供數(shù)據(jù)和應(yīng)用服務(wù)，包括集群范圍內(nèi)分發(fā)資源的能力。
- 系統(tǒng)基礎(chǔ)架構(gòu)的高可用和自我修復(fù)，包括能夠提供故障隔離和分布式系統(tǒng)恢復(fù)能力。
- 通過軟件定義的數(shù)據(jù)中心概念提供 API 驅(qū)動(dòng)的自動(dòng)化，以及通過底層基礎(chǔ)架構(gòu)監(jiān)控進(jìn)行綜合分析。
- 為工作負(fù)載提供關(guān)鍵服務(wù)需求時(shí)，具備跨平臺(tái)同時(shí)托管多種應(yīng)用類型的能力。
如第 4 章“使用 Virtual SAN 實(shí)現(xiàn)策略驅(qū)動(dòng)的存儲(chǔ)設(shè)計(jì)”所強(qiáng)調(diào)的，Virtual SAN 集群具有強(qiáng)大的可擴(kuò)展性，vSphere 6 中最多可以配置 64 個(gè)節(jié)點(diǎn)，可以輕松支持成千上萬的虛擬機(jī)工作負(fù)載。在設(shè)計(jì) Web-Scale 的 Virtual SAN 平臺(tái)時(shí)，您有兩種基本的設(shè)計(jì)策略：
- 縱向擴(kuò)展：每個(gè) Virtual SAN 主機(jī)都有更多的存儲(chǔ)資源可用，但總體 Virtual SAN 節(jié)點(diǎn)數(shù)較少。
- 橫向擴(kuò)展：通過增加 Virtual SAN 節(jié)點(diǎn)數(shù)量來擴(kuò)展，但最終占據(jù)更大的總體空間。
在 Web-Scale 的架構(gòu)設(shè)計(jì)中，架構(gòu)師通常要同時(shí)考慮縱向擴(kuò)展和橫向擴(kuò)展。設(shè)計(jì)上不僅僅考慮每個(gè) Virtual SAN 集群是否擁有更少的較大資源主機(jī)或更小的節(jié)點(diǎn)，還要更多的結(jié)合用戶的業(yè)務(wù)情況設(shè)計(jì)構(gòu)建塊，結(jié)合縱向和橫向擴(kuò)展架構(gòu)搭建一個(gè)標(biāo)準(zhǔn)和可控的基礎(chǔ)架構(gòu)。
6.1 縱向擴(kuò)展架構(gòu)
Virtual SAN 環(huán)境中的縱向擴(kuò)展策略是指增加每個(gè)主機(jī)上可用的存儲(chǔ)資源的數(shù)量。這可以通過增加每個(gè)磁盤組中的容量磁盤數(shù)量或增加每個(gè) Virtual SAN 主機(jī)上的磁盤組數(shù)量來實(shí)現(xiàn)。Virtual SAN 是完全支持將容量磁盤添加到現(xiàn)有磁盤組的，如圖 6.1 所示。企業(yè)或服務(wù)提供商在設(shè)計(jì) Web-Scale 架構(gòu)時(shí)會(huì)為磁盤組配置定義好的構(gòu)建塊標(biāo)準(zhǔn)，例如按 1:4 比例配置混合磁盤組，一塊閃存盤為四塊容量機(jī)械磁盤提供寫入緩存和讀取緩存。
Virtual SAN 支持由一塊耐久性高的閃存設(shè)備和最多七塊容量磁盤組成磁盤組，這七塊容量磁盤可以是機(jī)械硬盤，也可以是閃存盤，取決于設(shè)計(jì)上要使用的磁盤組類型。此外，Virtual SAN 集群中的每個(gè)主機(jī)最多可以支持五個(gè)磁盤組，每個(gè)磁盤組都為分布式 Virtual SAN 數(shù)據(jù)存儲(chǔ)的總?cè)萘刻峁┐鎯?chǔ)資源。
如第 4 章所述，使用多個(gè)較小的磁盤組而不是單個(gè)大型磁盤組，可以減少故障域，當(dāng)容量磁盤故障時(shí)重建的組件也會(huì)相應(yīng)變少，從而重建的時(shí)間會(huì)更快。使用多個(gè)較小的磁盤組，如圖 6.2 所示，性能也得到了提升，在混合模型中性能提升更加明顯。在磁盤組架構(gòu)中使用更多的閃存設(shè)備，使得閃存和容量存儲(chǔ)之間的比例變小，更多的數(shù)據(jù)將會(huì)駐留在閃存設(shè)備高速的讀取緩存中，Virtual SAN 將獲得更好的性能。
綜上所述，Virtual SAN 的配置很重要。為了在分布式 Virtual SAN 數(shù)據(jù)存儲(chǔ)上獲得一致性的性能，建議在集群中的所有節(jié)點(diǎn)上采用統(tǒng)一的磁盤組配置。并且從 Virtual SAN 集群 Web-Scale 架構(gòu)角度來說，更加不建議對(duì) Virtual SAN 不同的節(jié)點(diǎn)采用不同的配置。
Web-Scale 架構(gòu)設(shè)計(jì)中的縱向擴(kuò)展部分還要考慮每個(gè) Virtual SAN 主機(jī)的存儲(chǔ) I / O 控制器的數(shù)量。在不同存儲(chǔ)控制器上創(chuàng)建磁盤組時(shí)，會(huì)降低故障域，同時(shí)控制器隊(duì)列分布在所有的存儲(chǔ)控制器上，會(huì)帶來更加出色的存儲(chǔ)性能。
另一個(gè)設(shè)計(jì)上的考慮點(diǎn)還包括使用 SAS 擴(kuò)展器代替額外的存儲(chǔ)控制器。這種存儲(chǔ)技術(shù)可以超出普通存儲(chǔ)控制器 8、12、16 或 24 塊驅(qū)動(dòng)盤的限制，最大限度的利用 SAS 存儲(chǔ)擴(kuò)展器的存儲(chǔ)能力。
SAS 擴(kuò)展器將額外的驅(qū)動(dòng)盤放在單個(gè)存儲(chǔ)控制器后面，比添加存儲(chǔ)控制器更加節(jié)省成本。然而，SAS 擴(kuò)展器的性能和可靠性應(yīng)被視為設(shè)計(jì)上的風(fēng)險(xiǎn)。通常不推薦將 SAS 擴(kuò)展器包含在任何 VirtualSAN 平臺(tái)中。
【編者 Peter Ye 按開始】
VMware 建議避免調(diào)整 SAS Expander（擴(kuò)展卡）：
- SAS Expander不需要驅(qū)動(dòng)，通常對(duì)系統(tǒng)來說是透明的，所以用戶比較難注意到 Expander 的存在；
- Build Your Own 不支持 Expander；
- vSAN SAS Expander 注意事項(xiàng)的細(xì)節(jié)
- 除了 DELL R730XD，每超過 8 塊盤，再需要額外的存儲(chǔ)控制器
http://cormachogan.com/2015/07/27/sas-expander-support-on-virtual-san/
通過 vSAN 認(rèn)證的，支持 SAS Expander 的，也就是說一個(gè)控制器可以支持超過 8 塊盤的，為數(shù)不多。目前 DELL 有 R730XD（24 塊盤）、HPE 有 DL380 Gen10 with SAS Expander（24 塊盤）
- 多數(shù)情況下，每個(gè)控制器僅支持最多 8 塊盤 ，有的支持 16 塊盤
舉例：LSI MegaRAID SAS 9260-16i 支持 16 個(gè)內(nèi)部端口，也即最多 16 塊盤；9261-8i 只支持 8 個(gè)內(nèi)部端口，也即支持最多 8 塊盤。
參考：vSAN 硬件快速參考指南
https://www.vmware.com/resources/compatibility/vsan_profile.html?locale=zh_CN
SAS 擴(kuò)展器僅在就緒節(jié)點(diǎn)中支持。請(qǐng)查看就緒節(jié)點(diǎn)列表以獲得支持。如果 SAS 擴(kuò)展器不支持就緒節(jié)點(diǎn)，則每個(gè)控制器僅支持 8 個(gè)或 16 個(gè)驅(qū)動(dòng)器（具體取決于控制器型號(hào)）。如果需要 8 個(gè)或 16 個(gè)以上的驅(qū)動(dòng)器，請(qǐng)額外添加一個(gè)控制器。
【編者 Peter Ye 按結(jié)束】
圖 6.1 磁盤組縱向擴(kuò)展策略（增加容量磁盤）
圖 6.2 磁盤組縱向擴(kuò)展策略（增加磁盤組）
6.2 橫向擴(kuò)展架構(gòu)
橫向擴(kuò)展策略是指將新主機(jī)添加到 Virtual SAN 集群中，同時(shí)增加存儲(chǔ)資源和計(jì)算資源。這里需要說明的是，Virtual SAN 計(jì)算資源的橫向擴(kuò)展是可以獨(dú)立于存儲(chǔ)單獨(dú)實(shí)現(xiàn)的，但增加 Virtual SAN 節(jié)點(diǎn)無法只擴(kuò)展存儲(chǔ)資源，除非使用基于 DAS 的 JBOD 硬件。
Virtual SAN 支持在正常操作期間熱添加節(jié)點(diǎn)和磁盤組，無需停機(jī)。然而，與數(shù)據(jù)中心的大多數(shù)物理硬件打補(bǔ)丁需要進(jìn)入維護(hù)窗口一樣，Virtual SAN 這些操作通常建議應(yīng)在軟件維護(hù)窗口期執(zhí)行。
圖 6.3 說明了 Virtual SAN 如何擴(kuò)展以滿足最苛刻的企業(yè)或服務(wù)提供商的環(huán)境需求。Web-Scale 架構(gòu)下的單個(gè) Virtual SAN 集群最大 64 個(gè)節(jié)點(diǎn)可以輕松支持?jǐn)?shù)以萬計(jì)的虛擬工作負(fù)載。
圖 6.3 基于 Virtual SAN 的 vSphere 集群縱向擴(kuò)展和橫向擴(kuò)展到 8 個(gè)主機(jī)
6.3 基于 vSphere 主機(jī)集群的 Web-Scale 設(shè)計(jì)
Virtual SAN 集群是共享存儲(chǔ)資源的邊界。因此，在規(guī)劃多個(gè)大型集群的設(shè)計(jì)時(shí)，請(qǐng)考慮以下關(guān)鍵注意事項(xiàng)：
- 容量規(guī)劃：盡管用較少數(shù)量的大型集群（大型集群指的是單個(gè)集群節(jié)點(diǎn)數(shù)多）來規(guī)劃未來擴(kuò)展可能更為簡(jiǎn)單，但在總體主機(jī)數(shù)量固定的前提下，從單個(gè)集群容納的主機(jī)數(shù)量上限角度去考慮構(gòu)建塊設(shè)計(jì)，能更好的實(shí)現(xiàn)集群橫向擴(kuò)展。例如，16個(gè)24節(jié)點(diǎn)的集群和6個(gè)64節(jié)點(diǎn)的集群相比，總體主機(jī)數(shù)量相同，但前者24節(jié)點(diǎn)集群顯然更適合按照構(gòu)建塊方式來進(jìn)行集群橫向擴(kuò)展。
- 硬件成本：由于 Virtual SAN 集群需要一定數(shù)量的備用存儲(chǔ)資源防止出現(xiàn)故障，在考慮 Web-Scale 時(shí)，數(shù)量巨大的較小資源的 Virtual SAN 集群會(huì)導(dǎo)致硬件成本更高。
- 安全：在多租戶或多業(yè)務(wù)環(huán)境中，將租戶或業(yè)務(wù)組放到專門的 Virtual SAN 集群是分割負(fù)載的一個(gè)好方法，并通過基于角色的訪問控制（Role-based Access Control，RBAC）控制訪問。
- 性能：在多租戶或多業(yè)務(wù)環(huán)境中，將租戶工作負(fù)載或特定業(yè)務(wù)應(yīng)用放到專門的 Virtual SAN 集群，確保設(shè)計(jì)的資源始終為這些用戶和應(yīng)用使用。
6.4 構(gòu)建塊集群和 Web-Scale 橫向擴(kuò)展架構(gòu)
Virtual SAN 集群設(shè)計(jì)的一個(gè)簡(jiǎn)單并可擴(kuò)展的方法是構(gòu)建塊方法，這個(gè)方法也被多個(gè)云服務(wù)提供商和大型企業(yè)私有云客戶使用。構(gòu)建塊的每個(gè)集群都是一個(gè)標(biāo)準(zhǔn)的資源容器，提供簡(jiǎn)單、可擴(kuò)展的計(jì)算和存儲(chǔ)資源。按照這種方法，不僅可以實(shí)現(xiàn)跨數(shù)據(jù)中心擴(kuò)展，還可以保證擴(kuò)展的一致性，消除配置偏差，減少運(yùn)維工作量。這種方法同時(shí)也是最簡(jiǎn)單和最有效的方式，以靈活的解決方案，滿足大型企業(yè) IT 組織和云服務(wù)提供商的 Web-Scale 和平臺(tái)擴(kuò)展需求。這種構(gòu)建塊方法通過對(duì) Virtual SAN 主機(jī)、集群和服務(wù)器機(jī)柜的配置制定構(gòu)建標(biāo)準(zhǔn)，使得管理和支持基礎(chǔ)架構(gòu)的工作變得更加便利。
在大規(guī)模部署時(shí)，標(biāo)準(zhǔn)化的構(gòu)建塊對(duì)基礎(chǔ)架構(gòu)的可管理性和可支持性至關(guān)重要，它通過對(duì) Virtual SAN 主機(jī)和集群的物理和邏輯配置標(biāo)準(zhǔn)化，消除了大規(guī)模部署時(shí)的差異性。在 Virtual SAN 的 vSphere 集群中主要通過 vSphere 主機(jī)配置文件（Host Profile）實(shí)現(xiàn)標(biāo)準(zhǔn)化，主機(jī)配置文件可以跨主機(jī)和 Virtual SAN 的集群保持構(gòu)建塊配置的一致性。
6.5 Web-Scale 架構(gòu)的物理資源設(shè)計(jì)
對(duì)于設(shè)計(jì)一個(gè)可擴(kuò)展且規(guī)模達(dá)到數(shù)百甚至數(shù)千臺(tái)主機(jī)，提供 PB 級(jí)存儲(chǔ)，并支持大型復(fù)雜網(wǎng)絡(luò)的虛擬基礎(chǔ)架構(gòu)，如何提高擴(kuò)展性是一個(gè)關(guān)鍵問題。在擴(kuò)展大型物理 Virtual SAN 平臺(tái)同時(shí)又要保證平臺(tái)可控，符合合規(guī)性以及保障安全，從規(guī)劃擴(kuò)展性的第一天開始，就要采用預(yù)定義的構(gòu)建塊方法進(jìn)行設(shè)計(jì)。
此外，每個(gè)主機(jī)的安裝和配置過程都應(yīng)該標(biāo)準(zhǔn)化，讓每個(gè)組件的安裝步驟保持一致。物理組件配置的標(biāo)準(zhǔn)化對(duì)于 Web-Scale 基礎(chǔ)架構(gòu)的可管理性、一致性和可支持性等方面至關(guān)重要。整個(gè)過程的標(biāo)準(zhǔn)化消除了差異性，減少了補(bǔ)丁管理涉及的工作量，提供了一個(gè)更加靈活的構(gòu)建塊解決方案。
盡管 Virtual SAN 平臺(tái)配置和擴(kuò)展的一些方面可能取決于硬件供應(yīng)商，但這些也應(yīng)該是 Web-Scale 的 Virtual SAN 平臺(tái)設(shè)計(jì)需要考慮的一部分。圖 6.4 所示的示例描述了一個(gè)常見的構(gòu)建塊場(chǎng)景。
在這個(gè)例子中，每個(gè) Web-Scale 的單元由 96 個(gè)機(jī)架式 Virtual SAN 主機(jī)組成，配置為四個(gè) 24 節(jié)點(diǎn)集群，主機(jī)平均安放在六個(gè)服務(wù)器機(jī)柜中。每個(gè) Web-Scale 的單元還包含兩個(gè) 48 端口 10GbE 交換機(jī)和兩個(gè) 1GbE IPMI 管理交換機(jī)，用于帶外連接。每個(gè)單元設(shè)計(jì)為 Virtual SAN 提供多個(gè)故障域，以及計(jì)算和網(wǎng)絡(luò)資源。
本示例中的 Web-Scale 單元的數(shù)量可以根據(jù)設(shè)計(jì)要求，以及軟硬件限制，相應(yīng)地進(jìn)行橫向擴(kuò)展。
如圖 6.5 所示，每個(gè)包含 96 臺(tái)主機(jī)的 Web-Scale 單元可以橫向擴(kuò)展，并在多個(gè)數(shù)據(jù)中心可用性區(qū)域和物理數(shù)據(jù)中心之間形成一個(gè)真正的 Web-Scale 平臺(tái)。
本示例中，每個(gè) Web-Scale 單元中的 vSphere 組件由單個(gè) vCenter Server 實(shí)例進(jìn)行管理。表 6.1 提供了此構(gòu)建塊 Web-Scale 架構(gòu)的每個(gè)組件的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源清單。
圖 6.4 Web-Scale 單元邏輯架構(gòu)設(shè)計(jì)
表 6.1 構(gòu)建塊 Web-Scale 架構(gòu)擴(kuò)展性示例
注意： 在此示例中，IOPS 基于 70％ 讀取和 80％ 混合（隨機(jī)）I/O 負(fù)載
圖 6.5 Web-Scale 單元數(shù)據(jù)中心橫向擴(kuò)展策略
這個(gè)例子只是 Web-Scale 平臺(tái)架構(gòu)中的一種。這種級(jí)別的可擴(kuò)展的 Virtual SAN 物理基礎(chǔ)架構(gòu)平臺(tái)設(shè)計(jì)非常復(fù)雜，它在 Web-Scale 構(gòu)建塊設(shè)計(jì)方面的關(guān)鍵考量點(diǎn)如下：
- 平臺(tái)增長(zhǎng)預(yù)期
- 硬件可用性和交貨周期
- 物理硬件擴(kuò)展性限制（如管理工具）
- 建設(shè)費(fèi)用支出和硬件折舊考慮
- 數(shù)據(jù)中心電源，空間，區(qū)域及冷卻限制
6.6 Web-Scale 葉脊架構(gòu)
傳統(tǒng)的三層（核心、匯聚和訪問）網(wǎng)絡(luò)拓?fù)浼軜?gòu)，雖然對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)出數(shù)據(jù)中心進(jìn)行過優(yōu)化，但并不適用于 Web-Scale 的 Virtual SAN 平臺(tái)跨機(jī)架內(nèi)部數(shù)據(jù)傳輸。
另一方面，在第 4 章中介紹的葉-脊（Leaf-Spine）架構(gòu)使用一個(gè)多重拓?fù)�，通過使用等價(jià)多路徑（ECMP）來主動(dòng)管理兩個(gè)端點(diǎn)之間的多個(gè)路徑。此外，Spine 設(shè)備使用高端口計(jì)數(shù)平臺(tái)并基于層疊式 Clos（或胖樹）的設(shè)計(jì)實(shí)現(xiàn)部署，無需再使用其他交換機(jī)組件。葉-脊（Leaf-Spine）拓?fù)涞年P(guān)鍵特性與 Web-Scale 的 Virtual SAN 平臺(tái)相關(guān)，包括：
- 可變長(zhǎng)度的 Spine 使用 E
- AN 集群都應(yīng)使用專有的 VLAN 進(jìn)行隔離復(fù)制和工作負(fù)載。這將 VirtualSAN 集群流量與任何外部干擾隔離開來，更方便地進(jìn)行故障排查。
- 在 Virtual SAN 6 中，為了使 Virtual SAN 集群能夠支持 64 個(gè)節(jié)點(diǎn)，必須在集群所有主機(jī)上設(shè)置三個(gè)選項(xiàng)：
1. 集群中每個(gè)主機(jī)設(shè)置高級(jí)選項(xiàng)，增加節(jié)點(diǎn)支持：
esxcli system settings advanced set -o/VSAN/goto11 -i 1
圖 6.6 Web-Scale 葉-脊架構(gòu)
2. 增加 TCP / IP 堆大�。�
esxcli system settings advanced set –o/Net/TcpipHeapMax –i 1024
3. 將客戶端限制設(shè)置為 65，最多允許 64 臺(tái)主機(jī)：
esxcli system settings advanced set -o/CMMDS/clientLimit 65
必須重新啟動(dòng)所有主機(jī)才能使這些更改生效。此外，還應(yīng)該查看 VMware 知識(shí)庫上相關(guān)文章的最新配置建議。
此外，Web-Scale 擴(kuò)展設(shè)計(jì)包括以下最大值：
- 在 Virtual SAN 5.5 中集群最多 32 個(gè)節(jié)點(diǎn)，6.2 中集群最多 64 個(gè)節(jié)點(diǎn)。
- 每個(gè)混合磁盤組中都只能使用一個(gè)緩存閃存設(shè)備。
- 每個(gè)磁盤組可以使用 1 到 7 個(gè)容量機(jī)械磁盤或容量閃存設(shè)備。
- 每個(gè)主機(jī)最多有 5 個(gè)磁盤組。
- Virtual SAN 5.5 VMDK 大小最多為 2TB， 6.2 中最大 62 TB。
- Virtual SAN 5.5 中每個(gè)主機(jī)最多可容納 100 個(gè)虛擬機(jī)，6.2 每個(gè)主機(jī)的虛擬機(jī)數(shù)為 200。
除了這些設(shè)計(jì)最大值外，表 6.2 還強(qiáng)調(diào)了在規(guī)劃大型 Virtual SAN 部署時(shí)需遵守的最大值。
表 6.2 Virtual SAN 6.0、6.1、或 6.2 最大值
