Al/ML集群互聯(lián)對HPC和數據中心互聯(lián)提出新挑戰(zhàn)
伴隨著帶寬增長,AI/ML集群規(guī)模從幾百張加速卡到上萬張擴展,集群互聯(lián)距離從數十米到上百米延伸,Al/ML集群互聯(lián)對低功耗和低延遲需求迫切,現(xiàn)有電交換面臨瓶頸。由此,也對HPC的發(fā)展提出了更高要求:第一、HPC集群規(guī)模需要靈活配置;第二、HPC網絡要求長期穩(wěn)定運行。
此外,大規(guī)模數據中心互聯(lián)也面臨著新的挑戰(zhàn):挑戰(zhàn)一:Spine交換機成為性能瓶頸;挑戰(zhàn)2:隨著端口速率從100G->200G->400G->800G演進,能效提升進入平臺期。
OCS全光交換方案適配新挑戰(zhàn)
OCS全光交換方案可以很好應對上述需求和挑戰(zhàn)。OCS具備全光交換優(yōu)點,光信號完全透明傳輸,支持光纖中任意速率/任意調制格式/任意通信波長光信號交換,具有無時鐘抖動,無延遲,不讀取數據,無泄漏風險等特點,也支持SDN使能控制。目前在以Google為代表的TPUv4高性能計算中心和Jupiter數據中心已成功應用。
基于OCS全光交換有效提升了Google TPU v4集群互聯(lián)可靠性,在主機可靠性降到99.0%仍能保證TPU切片有較好的性能,可使系統(tǒng)的性能提升6倍以上。在取得以上這些收益的同時,光交換互聯(lián)方案包括OCS、光模塊及光纖占總體超算節(jié)點成本<5%、功耗<3%。
Google Jupiter數據中心網絡方案在Spine層引入光線路交換(OCS),采用SDN動態(tài)調整拓撲路由適配,流量工程可適應秒~分鐘級變化;拓撲工程可適應以天為單位變化,適配異質速率和實時應用通信模式。可用于大流量拓撲重構、網絡擴容、多速率共存等場景。從收益方面看,網絡CAPEX降低30%,功耗下降40%。Fabric拓撲重構速度提升10倍以上。流完成時間(FCT)提升10%,吞吐量提升30%。
OCS全光交換技術應用廣泛,前景不容小覷
張華表示,從上述兩個Google方案中已經全面的展示了OCS全光交換技術優(yōu)勢。目前OCS全光交換應用較廣泛的核心技術主要包括:DirectLight技術、2D/3D MEMS技術以及其他光開關技術。
其中,DirectLight技術采用壓電陶瓷材料帶動準直器旋轉,空間直接耦合對準(“針尖對麥芒”),實現(xiàn)任意端口光路切換,目前矩陣規(guī)模最大576*576。DirectLight技術的最要特點為:插損等光學性能指標優(yōu)異,抗震性佳(可抗里氏8級以上地震),能實現(xiàn)靈活的光信號交換,支持“暗光纖(無光)”模式下光信號單路雙向對傳等。
基于DirectLight壓電陶瓷技術的矩陣光開關自從2003年商用化以來,已經廣泛應用于各種場合,例如智能監(jiān)控系統(tǒng)、國際空間站、數據中心/超算中心等等。目前累計現(xiàn)網運行時間150億+端口小時,4500+套系統(tǒng)已鋪設,300+個客戶在使用。其穩(wěn)定性和可靠性已經得到充分驗證。
最后,張華總結到,隨著數據中心OCS應用進一步下沉(Spine->Leaf),需要更快切換速度、小端口低成本OCS,能適配TOR與匯聚交換機之間突發(fā)流量。未來隨著集群規(guī)模擴展,將需要更大端口OCS,同時需提升OCS可靠性和插回損性能,DirectLight OCS技術方案會有更廣闊應用前景。