云南聯(lián)通容災(zāi)實施案例
中國聯(lián)通云南分公司計費信息系統(tǒng)部 李衛(wèi)民
2004/05/24
項目概述
本次的容災(zāi)工程涉及到云南聯(lián)通的綜合營帳系統(tǒng)、短消息計費系統(tǒng)，分別運行在不同的操作系統(tǒng)平臺上，其數(shù)據(jù)也分布在不同的存儲設(shè)備上。業(yè)務(wù)系統(tǒng)已投入生產(chǎn)使用，所以，在整個工程實施過程中減小對運行業(yè)務(wù)的影響是重中之重。同時，由于各個系統(tǒng)數(shù)據(jù)分別存儲在不同的中檔磁盤陣列上，若實現(xiàn)磁盤陣列級容災(zāi)，必須采用更高端磁盤陣列，因此，實現(xiàn)容災(zāi)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)需要遷移到高端的磁盤陣列。
本期工程采用了HP高端磁盤陣列XP512進行遠程數(shù)據(jù)容災(zāi)，在云南聯(lián)通業(yè)務(wù)中心本地新增一臺HP XP512。同時，在異地備份中心新增一臺XP512存儲服務(wù)器，作為主生產(chǎn)中心XP512的異地容災(zāi)備份。本次容災(zāi)的建設(shè)目標(biāo)是對綜合營帳系統(tǒng)、專業(yè)計費、短消息計費系統(tǒng)進行同城異地數(shù)據(jù)級容災(zāi)的綜合數(shù)據(jù)容災(zāi)系統(tǒng)，業(yè)務(wù)系統(tǒng)的數(shù)據(jù)將可以通過基于XP磁盤陣列的Continuous Access XP軟件實時同步復(fù)制到備份數(shù)據(jù)中心的XP512中，從而實現(xiàn)數(shù)據(jù)的遠程保護
下圖是方案規(guī)劃的容災(zāi)系統(tǒng)示意圖（見圖1）。
硬件環(huán)境的搭建在此就不贅述，下面主要從整個工程的重點和難點：系統(tǒng)遷移進行著重介紹。
系統(tǒng)遷移需求分析
在本次案例實施中，選取營業(yè)系統(tǒng)的遷移做簡要說明。
一、系統(tǒng)現(xiàn)狀
綜合營賬系統(tǒng)應(yīng)用目前運行在兩臺主機superdome組成的群集上，其中一臺運行營業(yè)的應(yīng)用，另一臺運行賬務(wù)的應(yīng)用。數(shù)據(jù)存儲在一臺MA8000磁盤陣列中，由于系統(tǒng)數(shù)據(jù)量較大，營業(yè)和賬務(wù)的數(shù)據(jù)遷移工作必須分開進行，所以在一個系統(tǒng)數(shù)據(jù)遷移完畢后，MA8000磁盤陣列仍然需要在線，以保證其他系統(tǒng)遷移前的正常工作。
二、系統(tǒng)數(shù)據(jù)遷移要求
由于需遷移系統(tǒng)均為在線運行，因此，要盡量減少業(yè)務(wù)的影響。為此，整個遷移過程必須按以下步驟進行：
1．營業(yè)系統(tǒng)負(fù)責(zé)全省所有業(yè)務(wù)受理及客服系統(tǒng)的查詢，如發(fā)生長時間中斷，會對業(yè)務(wù)及公司形象帶來非常不利影響。因此，業(yè)務(wù)中斷必須在夜間或業(yè)務(wù)量較少時進行。
2．遷移前必須制定詳細(xì)的時間計劃表，每一步驟必須有專人負(fù)責(zé)。
3．系統(tǒng)要求：在遷移過程中系統(tǒng)設(shè)備具有可恢復(fù)性（事先做好備份和回退計劃），遷移后系統(tǒng)能夠運行正常。
4．?dāng)?shù)據(jù)要求：保證數(shù)據(jù)的完整性和可恢復(fù)性。
三、風(fēng)險分析
由于目前營業(yè)系統(tǒng)屬于實時生產(chǎn)系統(tǒng)，保證系統(tǒng)應(yīng)用在停機遷移后仍能正常啟動服務(wù)和系統(tǒng)數(shù)據(jù)在遷移過程中不受損壞是本次遷移的重點。因此本次系統(tǒng)遷移責(zé)任非常重大，如果沒有周密的計劃、精心的組織，一旦出現(xiàn)問題，必將導(dǎo)致重大的責(zé)任事故。為了保證遷移的順利實施，根據(jù)系統(tǒng)現(xiàn)狀進行了風(fēng)險分析。
實施原則
完成項目的總原則是：按照方案的要求完成系統(tǒng)遷移工作，盡可能減少對營業(yè)業(yè)務(wù)的影響。
由于責(zé)任重大，當(dāng)在實施中發(fā)生便捷與風(fēng)險的矛盾時，要永遠將規(guī)避風(fēng)險放在首位。
實施重點
實施的重點在于系統(tǒng)遷移的前期準(zhǔn)備、遷移后數(shù)據(jù)一致性檢查及應(yīng)用的測試驗證工作。
系統(tǒng)遷移的切換發(fā)生在一個時間段，怎樣把這個時間段縮短，進而保證對整個系統(tǒng)的影響最小、風(fēng)險最小，這就需要我們把前期準(zhǔn)備做好、做足。
實施難點
實施的難點在于系統(tǒng)遷移過程中應(yīng)急情況下系統(tǒng)和數(shù)據(jù)的可恢復(fù)性。
通過與相關(guān)人員的討論，確定了系統(tǒng)和數(shù)據(jù)的備份方案并論證了操作的可恢復(fù)性。
存在風(fēng)險
項目中的風(fēng)險貫穿于整個實施過程，在項目實施前應(yīng)充分考慮到所有可能存在的風(fēng)險，考慮出現(xiàn)風(fēng)險時的應(yīng)急措施，采取相應(yīng)的手段規(guī)避風(fēng)險�？赡艽嬖诘娘L(fēng)險有：
1.系統(tǒng)遷移的數(shù)據(jù)量較大，需要計劃足夠的時間；
2.設(shè)備在遷移中損壞，需要原廠及時響應(yīng)；
3.系統(tǒng)結(jié)構(gòu)比較復(fù)雜，營業(yè)系統(tǒng)的遷移可能對客服系統(tǒng)產(chǎn)生影響。
營業(yè)系統(tǒng)遷移計劃
根據(jù)以上分析，總體計劃分為前期準(zhǔn)備階段、系統(tǒng)遷移實施階段和遷移后系統(tǒng)試運行階段三個階段。
一、 前期準(zhǔn)備階段
前期準(zhǔn)備階段是整個系統(tǒng)遷移成功的關(guān)鍵，該階段需要完成的工作有：
1.掌握系統(tǒng)的現(xiàn)狀、分布、IP地址、用途等，制定詳細(xì)遷移任務(wù)清單；
2.通過實驗確定系統(tǒng)遷移的操作并估算數(shù)據(jù)遷移需要的時間；
3.論證系統(tǒng)和數(shù)據(jù)備份的方式；
4.在XP512磁盤陣列上劃分?jǐn)?shù)據(jù)移植所需的磁盤空間；
5.確立實施時間表及人員配備與分工；
6.制定可行的應(yīng)急方案，論證操作的可恢復(fù)性；
7.了解需求的基礎(chǔ)上，分析項目實施重點和難點，對遷移的實施進行深層次的討論，并就各方負(fù)責(zé)的實施部分的責(zé)任和實施細(xì)節(jié)進行細(xì)化，確立各方面負(fù)責(zé)人。最終產(chǎn)生一份科學(xué)可行、安全穩(wěn)妥、組織嚴(yán)謹(jǐn)、符合要求的系統(tǒng)遷移實施方案。
二、 系統(tǒng)遷移實施階段
為了系統(tǒng)的可靠性、數(shù)據(jù)的完整性和可恢復(fù)性，應(yīng)對現(xiàn)有系統(tǒng)進行軟硬件方面的檢測，并對系統(tǒng)和數(shù)據(jù)進行備份，一旦在遷移過程中發(fā)生問題，可以馬上恢復(fù)原有系統(tǒng)，保證系統(tǒng)運行。在此階段需要完成的工作有：
1.遷移前的設(shè)備檢測，系統(tǒng)、數(shù)據(jù)備份（如數(shù)據(jù)庫未打開歸檔，需在實施遷移前打開）；
2.完成營業(yè)系統(tǒng)數(shù)據(jù)遷移，包括數(shù)據(jù)庫、文件系統(tǒng)、系統(tǒng)參數(shù)調(diào)整等；
3.系統(tǒng)遷移后的數(shù)據(jù)一致性檢測。
其中系統(tǒng)備份前最好對設(shè)備硬件和軟件分別進行檢查，確認(rèn)遷移前系統(tǒng)處于正常狀態(tài)。遷移的每個步驟都要按事先的規(guī)劃進行，并確保操作的可逆性，一旦出現(xiàn)問題系統(tǒng)可以回退到遷移前狀態(tài)。
營業(yè)系統(tǒng)遷移應(yīng)急措施
一、系統(tǒng)遷移前的異常
如果在規(guī)劃的時間點之前沒有完成系統(tǒng)遷移準(zhǔn)備階段的任務(wù)，系統(tǒng)遷移時間順延，在確保準(zhǔn)備工作就緒的前提下才進行系統(tǒng)遷移。在系統(tǒng)開始遷移前請相關(guān)人員進行系統(tǒng)健康性檢查，確保在遷移前系統(tǒng)完好。
二、系統(tǒng)遷移過程中的異常
本次營業(yè)系統(tǒng)遷移的原則是確保系統(tǒng)在規(guī)劃的遷移時間段之外可以正常運行。由于營業(yè)系統(tǒng)遷移安排在夜間進行，為確保系統(tǒng)在發(fā)生硬件或軟件故障時能夠及時得到技術(shù)響應(yīng)，需要協(xié)調(diào)各相關(guān)人員（包括原廠商技術(shù)人員）到位。在執(zhí)行遷移的過程中操作步驟具有可逆性，確保以外發(fā)生的時候可將系統(tǒng)迅速回退到最初狀態(tài)。系統(tǒng)和數(shù)據(jù)在遷移前都做最新的備份。如果遷移工作在凌晨6：00前沒有完成，也要將系統(tǒng)回退到遷移前狀態(tài)，保障系統(tǒng)在8：00前正常運行。
三、 系統(tǒng)遷移后的異常
營業(yè)系統(tǒng)在數(shù)據(jù)遷移到XP512后，原有MA8000磁盤陣列中的數(shù)據(jù)繼續(xù)保留一段時間，以觀察新系統(tǒng)的穩(wěn)定性。如果在試運行期新系統(tǒng)發(fā)生故障，仍可以讓營業(yè)系統(tǒng)回退到遷移前狀態(tài)。
數(shù)據(jù)庫遷移
一、數(shù)據(jù)庫信息調(diào)查
數(shù)據(jù)庫的遷移主要是所有數(shù)據(jù)文件、重做日志、控制文件的遷移，在準(zhǔn)備階段需調(diào)查清楚所有在用的數(shù)據(jù)文件、重做日志、控制文件所在裸盤的詳細(xì)情況。同時建議數(shù)據(jù)庫管理員在遷移前盡量不要添加新的數(shù)據(jù)文件，如遇特殊情況需增加新的數(shù)據(jù)文件，則必須通知工程項目組對已調(diào)查的數(shù)據(jù)進行更新。
二、在XP512上創(chuàng)建物理卷組和對應(yīng)的邏輯卷
根據(jù)收集的信息,在XP512上為營業(yè)系統(tǒng)劃分的物理空間上創(chuàng)建新卷組，然后在新卷組上創(chuàng)建邏輯卷，最后給主機數(shù)據(jù)庫用戶分配權(quán)限。
三、數(shù)據(jù)庫備份與遷移
營業(yè)數(shù)據(jù)庫采用的是ORACLE。推薦采用物理備份，該方法實現(xiàn)數(shù)據(jù)庫的完整恢復(fù)，但數(shù)據(jù)庫必須運行在歸檔模式下，且需要足夠的外部存儲設(shè)備，例如磁帶庫、硬盤空間等。物理級的備份主要是備份數(shù)據(jù)文件、控制文件、聯(lián)機重做日志文件、歸擋日志文件、回退段等。
1. Oracle數(shù)據(jù)庫物理備份準(zhǔn)備。
A 打開數(shù)據(jù)庫歸檔；
B 數(shù)據(jù)庫移植前幾天做一次全備,移植當(dāng)天晚上做增量備份；
2. 數(shù)據(jù)庫物理備份。
A 使用dd拷貝和在sqlplus下用"alter database backup controlfile to trace"分別備份數(shù)據(jù)庫控制文件；
B 數(shù)據(jù)庫做增量備份。
3．修改inityy.ora文件，指定新的controlfile name（在XP512上），確保數(shù)據(jù)庫可以啟動，確保歸檔備份目錄有足夠空間。
4．停主機上所有應(yīng)用程序，正常宕數(shù)據(jù)庫，完后重啟數(shù)據(jù)庫（不啟監(jiān)聽），根據(jù)業(yè)務(wù)情況編寫SQL提取一致性數(shù)據(jù)，將結(jié)果用spool輸出至一文本文件中保存。此外建議使用"alter system switch logfile"將所有日志組均做一次切換。
5．再次檢查數(shù)據(jù)庫數(shù)據(jù)文件是否與調(diào)查結(jié)果一致。
6．正常宕數(shù)據(jù)庫，用dd物理移植數(shù)據(jù)文件、控制文件、日志文件到XP512上，實際可生成多個shell并行執(zhí)行。
7．在XP512上啟動數(shù)據(jù)庫到mount狀態(tài)，將數(shù)據(jù)文件指向XP512。
8．將數(shù)據(jù)庫open，在XP512上給tempspace增加新的數(shù)據(jù)文件，然后刪除原來MA8000上的數(shù)據(jù)文件。
9．運行遷移前的同一SQL提取一致性數(shù)據(jù)，將新生成的文本文件與遷移前生成的文本文件比較是否一致。
10．在測試環(huán)境中進行應(yīng)用程序的驗證。
四、 異常情況處理
原存儲設(shè)備MA8000的邏輯卷不會立即刪除, 這樣原來數(shù)據(jù)庫數(shù)文件，日志文件不會丟失，即便有控制文件更改，也可用控制文件恢復(fù), 如遷移有問題或時間過長，要留出恢復(fù)時間，用原來數(shù)據(jù)文件、日志文件、控制文件啟動原數(shù)據(jù)庫。要求在測試階段，只能對數(shù)據(jù)庫的內(nèi)容進行可控的增加、刪除、修改。只有多方確認(rèn)無問題情況下，才能啟動應(yīng)用。同時做好歸檔的保存,如聯(lián)機重做日志少,可考慮增加幾組聯(lián)機重做日志。
工程試運行及演習(xí)
系統(tǒng)遷移工作成功后，工程即進入試運行階段，在此期間相關(guān)人員需定時觀察主機運行狀態(tài)、主備兩個中心XP512的同步狀態(tài)及數(shù)據(jù)庫運行狀態(tài)并記錄。系統(tǒng)穩(wěn)定運行后，應(yīng)制定定期進行主備中心切換的容災(zāi)演習(xí)制度，發(fā)現(xiàn)問題立即解決，確保在發(fā)生災(zāi)難時系統(tǒng)的可恢復(fù)性。
中國計費網(wǎng)(www.billingchina.com)
相關(guān)鏈接: