Yahoo!是一家全球知名的互聯(lián)網(wǎng)公司,擁有過(guò)8億的活躍用戶,提供了60多個(gè)全球化產(chǎn)品,分別部署在20多個(gè)國(guó)家或地區(qū)的數(shù)十萬(wàn)臺(tái)服務(wù)器之上,然而雅虎全球的運(yùn)維團(tuán)隊(duì)卻僅有數(shù)百人。下面,我們通過(guò)雅虎北京全球研發(fā)中心高級(jí)系統(tǒng)運(yùn)維工程師劉元概述的三個(gè)方面來(lái)了解雅虎的技術(shù)運(yùn)維體系,剖析超大規(guī)模網(wǎng)絡(luò)應(yīng)用的運(yùn)維挑戰(zhàn),走進(jìn)Yahoo!數(shù)據(jù)中心!以下為原文:
基礎(chǔ)設(shè)施
“工欲善其事,必先利其器”——需要支撐超大規(guī)模的網(wǎng)絡(luò)應(yīng)用,超大規(guī)模的全球基礎(chǔ)設(shè)施是必不可少的。所以我們先看Yahoo!數(shù)據(jù)中心和全球的骨干網(wǎng)絡(luò)有哪些特別的設(shè)計(jì)和考慮,來(lái)幫支撐超大規(guī)模的互聯(lián)網(wǎng)應(yīng)用。
首先通過(guò)兩張圖片(圖1)來(lái)了解Yahoo!數(shù)據(jù)中心。我們的數(shù)據(jù)中心大多是自主設(shè)計(jì)和建造的,尤其在北美地區(qū),我們自主設(shè)計(jì)并建造了三個(gè)超大規(guī)模的數(shù)據(jù)中心。這三個(gè)數(shù)據(jù)中心初期設(shè)計(jì)的容量均為20兆瓦,大概可容納25000到30000臺(tái)服務(wù)器及相應(yīng)網(wǎng)絡(luò)設(shè)備,并均有能力通過(guò)后續(xù)容量擴(kuò)展至50兆瓦以上。
如果有參觀過(guò)國(guó)內(nèi)數(shù)據(jù)中心,或者有數(shù)據(jù)中心建設(shè)經(jīng)驗(yàn)的同學(xué)可能會(huì)有所了解。影響數(shù)據(jù)中心建設(shè)的最主要因素往往不是網(wǎng)絡(luò)帶寬,而是電力和制冷。所以,雅虎通過(guò)近20年的經(jīng)驗(yàn)積累,在這兩方面沉淀了大量的專(zhuān)利技術(shù)以提高數(shù)據(jù)中心的密集度。我們自行設(shè)計(jì)機(jī)架及其電源模塊以保證所有機(jī)架都能滿負(fù)荷工作,同時(shí)實(shí)現(xiàn)所有電源的遠(yuǎn)程網(wǎng)絡(luò)控制,這樣可以有效的提升可維護(hù)性,降低現(xiàn)場(chǎng)工程師的工作負(fù)擔(dān)。滿架的服務(wù)器機(jī)架還有另一個(gè)好處:所有的服務(wù)器都是前吸冷風(fēng),后排熱風(fēng),我們將服務(wù)器機(jī)架相對(duì)排列(面對(duì)面,背對(duì)背),這樣就可以實(shí)現(xiàn)冷熱風(fēng)道的隔離,甚至完全密封熱風(fēng)通道,促使冷空氣在均勻通過(guò)所有服務(wù)器散熱后,由熱風(fēng)通道排出。這樣不僅降低了制冷面積,還提升了散熱效率。通過(guò)建設(shè)超大規(guī)模的數(shù)據(jù)中心,我們不僅增加了數(shù)據(jù)中心的密集度,提升了單個(gè)數(shù)據(jù)中心的計(jì)算能力,滿足了日益增長(zhǎng)的超大規(guī)模應(yīng)用需求,同時(shí)還能提升數(shù)據(jù)中心現(xiàn)場(chǎng)工程師的管理效率,降低維護(hù)成本。此外,我們也不斷聚焦新技術(shù)的采用以降低能源消耗。我們數(shù)據(jù)中心通過(guò)精心的設(shè)計(jì),實(shí)現(xiàn)PUE(能源使用效率=總體能源消耗/IT設(shè)備能源消耗,越接近1代表能源效率越高)僅為1.08的業(yè)界領(lǐng)先水平。
除了數(shù)據(jù)中心是我們自行設(shè)計(jì)并建造的,我們?nèi)虻墓歉删W(wǎng)絡(luò)也是自主設(shè)計(jì)。我們通過(guò)自行鋪設(shè)光纜或租用運(yùn)營(yíng)商網(wǎng)絡(luò),構(gòu)建了自己的Yahoo!全球骨干網(wǎng)。所有的網(wǎng)絡(luò)設(shè)備都由我們的網(wǎng)絡(luò)運(yùn)維團(tuán)隊(duì)管理,核心網(wǎng)絡(luò)均是多鏈路冗余,實(shí)現(xiàn)單點(diǎn)網(wǎng)絡(luò)故障的自動(dòng)轉(zhuǎn)移,而不依賴網(wǎng)絡(luò)運(yùn)營(yíng)商提供的SLA。
圖2 全球骨干網(wǎng)絡(luò)示意圖(不代表Yahoo!全球骨干網(wǎng)絡(luò)設(shè)計(jì))
我們的全球骨干網(wǎng)絡(luò)均為高帶寬互聯(lián),區(qū)域內(nèi)我們提供10Gbps-40Gbps乃至北美地區(qū)的200Gbps互聯(lián)帶寬,洲際間也提供20Gbps的多鏈路冗余。骨干網(wǎng)絡(luò)主要是傳輸雅虎內(nèi)部數(shù)據(jù),分發(fā)應(yīng)用所需的數(shù)據(jù)到全球所有數(shù)據(jù)中心,收集全球用戶訪問(wèn)數(shù)據(jù)到后端計(jì)算網(wǎng)格進(jìn)行匯總和計(jì)算。
Yahoo!全球骨干網(wǎng)絡(luò)除了與傳統(tǒng)運(yùn)營(yíng)商網(wǎng)絡(luò)互聯(lián)互通,以方便最終用戶能通過(guò)其運(yùn)營(yíng)商網(wǎng)絡(luò)快速接入雅虎的各項(xiàng)服務(wù),同時(shí)我們還與其他的大型互聯(lián)網(wǎng)公司有交換網(wǎng)絡(luò)連接,這樣我們與其他大型互聯(lián)網(wǎng)公司間的數(shù)據(jù)交換(如郵件數(shù)據(jù)交換)即可通過(guò)我們的交換網(wǎng)絡(luò)傳輸,不再依賴于運(yùn)營(yíng)商網(wǎng)絡(luò)。這樣不僅提高了交換能力,更大范圍降低對(duì)網(wǎng)絡(luò)運(yùn)營(yíng)商的依賴性。