日前,全球第二大獨(dú)立搜索引擎和最大的中文搜索引擎百度建立了全新的綠色數(shù)據(jù)中心。全新構(gòu)建的數(shù)據(jù)中心充分滿足了百度日益龐大的訪問(wèn)量、搜索量帶來(lái)的后臺(tái)運(yùn)算需求,還讓百度擁有了更加綠色、節(jié)能、環(huán)保的IT基礎(chǔ)架構(gòu)設(shè)施,為百度的健康、可持續(xù)發(fā)展奠定了良好的基礎(chǔ)。
全新的數(shù)據(jù)中心由1617臺(tái)聯(lián)想最新推出的ThinkServer RD530雙路機(jī)架式服務(wù)器組成,聯(lián)想為百度量身打造的低能耗、高可用的基礎(chǔ)架構(gòu)解決方案,幫助百度輕松、穩(wěn)定地應(yīng)對(duì)龐大的訪問(wèn)量和搜索量、豐富多樣的互聯(lián)網(wǎng)服務(wù)業(yè)務(wù)所帶來(lái)的運(yùn)維壓力,同時(shí)有效優(yōu)化了能效,降低了擁有成本和運(yùn)營(yíng)成本,有力地支撐了百度業(yè)務(wù)的擴(kuò)大和提升。
項(xiàng)目背景
百度是全球第二大獨(dú)立搜索引擎和最大的中文搜索引擎。從創(chuàng)立之初,百度便將“讓人們最便捷地獲取信息,找到所求”作為自己的使命,成立以來(lái),公司秉承“以用戶為導(dǎo)向”的理念,不斷堅(jiān)持技術(shù)創(chuàng)新,致力于為用戶提供“簡(jiǎn)單,可依賴”的互聯(lián)網(wǎng)搜索產(chǎn)品及服務(wù),其中包括:以網(wǎng)絡(luò)搜索為主的功能性搜索,以貼吧為主的社區(qū)搜索,針對(duì)各區(qū)域、行業(yè)所需的垂直搜索,Mp3搜索,以及門戶頻道、IM等,全面覆蓋了中文網(wǎng)絡(luò)世界所有的搜索需求,同時(shí)還擴(kuò)展了導(dǎo)航服務(wù)、社區(qū)服務(wù)、游戲娛樂(lè)、軟件工具等多種業(yè)務(wù)。根據(jù)第三方權(quán)威數(shù)據(jù),百度在中國(guó)的搜索份額超過(guò)80%,在全球范圍內(nèi)每天處理的搜索查詢量已經(jīng)超過(guò)了 50 億次,遠(yuǎn)超Google。
需求分析
百度主營(yíng)業(yè)務(wù)為搜索業(yè)務(wù),目前采購(gòu)服務(wù)器主要分為兩種機(jī)型:存儲(chǔ)型和均衡型服務(wù)器。對(duì)于搜索業(yè)務(wù)而言,存儲(chǔ)型服務(wù)器主要用于存放各種數(shù)據(jù)(包括網(wǎng)絡(luò)爬蟲(chóng)獲取的數(shù)據(jù)、檢索數(shù)據(jù)庫(kù)、日志等等)。其采用12盤位的低端Intel服務(wù)器,采用了分布式文件系統(tǒng)(將文件分塊,分布存儲(chǔ))和三副本技術(shù)(每一份數(shù)據(jù)存儲(chǔ)在4塊不同的硬盤上,并且這4塊硬盤分屬不同的服務(wù)器),所以采用性價(jià)比最高的3.5寸SATA硬盤即可滿足性能和可靠性要求。
均衡型服務(wù)器主要用于抓取、分析、索引器等角色,一般需要大容量?jī)?nèi)存,并且能夠?qū)崿F(xiàn)高速的存取速度。為了提高索引速度、降低延遲,其采用并行計(jì)算系統(tǒng)實(shí)現(xiàn)搜索、檢索,還在服務(wù)器中配置了SSD硬盤用作熱點(diǎn)數(shù)據(jù)的緩存,并配合百度自己的軟件算法來(lái)實(shí)現(xiàn)性能提升(隨機(jī)讀取性能可以得到幾倍甚至幾十倍的提升)。
隨著用戶服務(wù)器采購(gòu)規(guī)模的不斷擴(kuò)大,13年百度服務(wù)器總保有量將超過(guò)20萬(wàn)臺(tái),用戶將在功耗以及運(yùn)維方面面臨巨大壓力和挑戰(zhàn):
試想每臺(tái)服務(wù)器的功耗高1瓦,如此數(shù)量的服務(wù)器就會(huì)高出至少20萬(wàn)瓦,一年多支出的電費(fèi)可想而知(按照每度電0.8元計(jì)算,節(jié)省下來(lái)的費(fèi)用就有20萬(wàn) ÷ 1000 x 0.8元 x 24小時(shí) x 365天 =140.16萬(wàn)元)。而從另一個(gè)角度考慮,用戶所租用的機(jī)房中,每個(gè)機(jī)柜放置服務(wù)器的數(shù)量主要受到電流的限制,而不是帶寬的限制。目前電信機(jī)房的每個(gè)機(jī)柜限制電流在12A左右,以每臺(tái)服務(wù)器運(yùn)行時(shí)最大功耗250瓦計(jì)算,則最多可以安放220V x 12A ÷ 250W =10.56臺(tái),出于過(guò)流的風(fēng)險(xiǎn)考慮,則只能在一個(gè)機(jī)柜安放10臺(tái)服務(wù)器;如果每臺(tái)服務(wù)器都能節(jié)省下10W的功耗,那么每一個(gè)機(jī)柜就可以安放220V x 12A ÷ 240W =11臺(tái),相比之前可以多放置一臺(tái)服務(wù)器。以放置10000臺(tái)服務(wù)器來(lái)計(jì)算的話,由于功耗的降低,之前需要使用1000個(gè)機(jī)柜來(lái)放置這些服務(wù)器,而現(xiàn)在只需要使用910個(gè)機(jī)柜就可以了,這樣在租用機(jī)房中就節(jié)省了90個(gè)機(jī)柜的占用空間,為用戶節(jié)省了大量的費(fèi)用。
目前對(duì)于百度10萬(wàn)臺(tái)數(shù)量級(jí)的服務(wù)器,在運(yùn)維管理方面也勢(shì)必會(huì)面臨以下幾個(gè)問(wèn)題:
· 系統(tǒng)上線部署問(wèn)題
· 故障精確報(bào)警問(wèn)題,涉及到具體如每條內(nèi)存、每塊硬盤、每個(gè)風(fēng)扇、每個(gè)電源模塊等
· 軟件及FirmWare批量更新、修改問(wèn)題,如BIOS、BMC、RAID卡等Firmware在線更新維護(hù)
· 控制故障率,降低MTTR時(shí)間
以上每個(gè)環(huán)節(jié)都是很大的挑戰(zhàn),客戶希望采購(gòu)的服務(wù)器能夠整合對(duì)內(nèi)和對(duì)外的資源管理、故障診斷,這樣大大地提升了效率,同時(shí)也節(jié)省了人力成本;另外也能將MTTR(平均故障修復(fù)時(shí)間)降到更低;主要部件的冗余與熱插拔要求也能極大地提高可靠性和可維護(hù)性。
方案設(shè)計(jì)
聯(lián)想全新一代ThinkServer服務(wù)器在開(kāi)發(fā)之初就充分的考慮用戶應(yīng)用需求,在能耗優(yōu)化上做了很多努力:
高效電源:采用業(yè)界最高標(biāo)準(zhǔn)的黃金電源,達(dá)到94%的電源轉(zhuǎn)換效率;支持動(dòng)態(tài)負(fù)載調(diào)節(jié):RD530電源可動(dòng)態(tài)調(diào)節(jié)兩個(gè)電源模塊的負(fù)載,均衡分配每個(gè)電源模塊的負(fù)載,保證電源的轉(zhuǎn)換效率。
寬體機(jī)箱:機(jī)箱設(shè)計(jì)比業(yè)界標(biāo)準(zhǔn)機(jī)箱寬6MM,增加風(fēng)流截面積,降低風(fēng)速,降低風(fēng)扇轉(zhuǎn)速,降低功耗。
層級(jí)散熱:優(yōu)先對(duì)處理器、內(nèi)存等發(fā)熱量高的部件散熱,相比傳統(tǒng)的四層散熱設(shè)計(jì)可以減少高氣流的電阻和對(duì)處理器和內(nèi)存的預(yù)熱,提升系統(tǒng)的散熱效率15%以上,從而達(dá)到節(jié)能的目的。
星空傳感技術(shù):在整個(gè)服務(wù)器系統(tǒng)中密布超過(guò)50顆傳感器準(zhǔn)確監(jiān)控系統(tǒng)的溫度、電壓、功耗等系統(tǒng)狀態(tài),為系統(tǒng)風(fēng)扇調(diào)速提供精確數(shù)據(jù),配合全自動(dòng)的調(diào)速策略在保證散熱的情況下可有效節(jié)約風(fēng)扇帶來(lái)的功耗。
ThinkServer在運(yùn)維、管理方面也進(jìn)行了多項(xiàng)優(yōu)化
主要部件通用技術(shù),提高家族產(chǎn)品完整性、一致性,降低產(chǎn)品維護(hù)難度,保護(hù)用戶投資,更帶來(lái)用戶管理數(shù)據(jù)中心的便利性;
故障自診斷模塊,快速定位或預(yù)警故障位置,包括CPU/內(nèi)存/風(fēng)扇/電源等;RD530采用刀鋒式導(dǎo)軌,包括上架以及服務(wù)器內(nèi)部操作全部無(wú)螺絲設(shè)計(jì);
BMC采用通用的IPMI V2.0接口,方便客戶自己開(kāi)發(fā)集中監(jiān)控、管理的軟件;隨機(jī)附送EasyManage管理軟件,通過(guò) Web方式控制界面,可跨平臺(tái)使用,自動(dòng)識(shí)別網(wǎng)絡(luò)中設(shè)備拓?fù),?shí)現(xiàn)對(duì)ThinkServer全線產(chǎn)品的管理,支持物理機(jī)和虛擬機(jī)的監(jiān)控管理。
高級(jí)節(jié)能管理軟件Smart Grid幫助系統(tǒng)管理員有效監(jiān)控能源消耗及設(shè)備利用率,并可設(shè)定策略合理降低系統(tǒng)功耗。
除上述在設(shè)計(jì)之初考慮到的因素外,在整個(gè)項(xiàng)目進(jìn)展過(guò)程中,聯(lián)想也配合客戶進(jìn)行了多項(xiàng)軟件方面的優(yōu)化工作以達(dá)到降低功耗和改善運(yùn)維管理的目的,主要有以下幾個(gè)方面:
· BIOS實(shí)現(xiàn)系統(tǒng)Idle狀態(tài)下CPU可以工作在Turbo最高頻率的功能,從而降低在提供搜索服務(wù)時(shí)的延遲
· BIOS實(shí)現(xiàn)linux系統(tǒng)下修改BIOS選項(xiàng)的功能,提升運(yùn)維效率
· BMC實(shí)現(xiàn)NCSI功能(可靈活調(diào)整BMC share NIC功能,滿足不同機(jī)房網(wǎng)絡(luò)環(huán)境的運(yùn)維需求)
· BMC優(yōu)化風(fēng)扇調(diào)速策略,進(jìn)一步降低功耗
用戶收益
百度采用傳承Think的傳奇基因、創(chuàng)新設(shè)計(jì)的ThinkServer服務(wù)器,結(jié)合聯(lián)想服務(wù)器集中管理平臺(tái)Easymanage,建立了高可用、高可靠、高性能的基礎(chǔ)架構(gòu),而ThinkServer出色的節(jié)能設(shè)計(jì)不僅提高了機(jī)柜放置服務(wù)器的密度,降低了總體擁有成本,更是幫助百度構(gòu)建起一個(gè)綠色節(jié)能的數(shù)據(jù)中心,為百度未來(lái)業(yè)務(wù)的進(jìn)一步健康、穩(wěn)定發(fā)展,奠定了堅(jiān)實(shí)的基礎(chǔ)。
百度認(rèn)為,基于聯(lián)想ThinkServer服務(wù)器所構(gòu)建的全新數(shù)據(jù)中心,完全滿足百度龐大的數(shù)據(jù)吞吐量和運(yùn)算需求,為網(wǎng)友更加迅速、流暢、高效的搜索體驗(yàn)建立了穩(wěn)定可靠的IT基礎(chǔ)架構(gòu)支持。本次對(duì)數(shù)據(jù)中心的大換血種,ThinkServer不但以穩(wěn)定、安全、高效、易管理的基礎(chǔ)設(shè)施平臺(tái)支持了百度各方面業(yè)務(wù)的穩(wěn)定、健康發(fā)展,更是以卓越的節(jié)能設(shè)計(jì)為百度構(gòu)建起一個(gè)高密度、低能耗的綠色數(shù)據(jù)中心,這不但為百度節(jié)省的大量成本,還用IT基礎(chǔ)設(shè)施為百度建立了綠色的長(zhǎng)青基業(yè)。