CTI論壇(ctiforum)2月11日消息(記者 李文杰): 無(wú)論是計(jì)劃擁抱云服務(wù)還是打算從正在使用的云服務(wù)切換到另外一家,這其中數(shù)據(jù)的遷移是很關(guān)鍵的一步。針對(duì)各種可能出現(xiàn)的問題,七牛提出多種數(shù)據(jù)遷移解決方案,助力企業(yè)順利完成數(shù)據(jù)遷移。在遷移過(guò)程中可能遇到以下問題:
1.數(shù)據(jù)遷移文件路徑問題。
2.數(shù)據(jù)遷移過(guò)程中的速率問題。
3.寄送磁盤后的遷移過(guò)程中,上傳數(shù)據(jù)不完整。
針對(duì)這些問題,一個(gè)考慮全面的遷移系統(tǒng)就顯得尤為重要,尤其是數(shù)據(jù)遷移的速度和安全性。首先七牛雖然為非結(jié)構(gòu)化存儲(chǔ),但是仍然支持帶文件路徑進(jìn)行上傳,不影響原先數(shù)據(jù)的訪問規(guī)則;其次,數(shù)據(jù)遷移的速率基本不受網(wǎng)絡(luò)帶寬影響,主要受到磁盤讀寫速度的限制;上傳數(shù)據(jù)不完整,七牛會(huì)主動(dòng)檢測(cè)數(shù)據(jù)遷移的完整性,通過(guò)鏡像存儲(chǔ)也可以補(bǔ)全未上傳成功的數(shù)據(jù)。一般場(chǎng)景有以下幾種:
場(chǎng)景一:自有機(jī)房遷移到七牛且數(shù)據(jù)少量
有兩種方案可以選擇:
一、完全使用七牛鏡像存儲(chǔ)功能
利用七牛提供的鏡像存儲(chǔ)功能,可以非常簡(jiǎn)單地將源站的數(shù)據(jù)被動(dòng)地同步到七牛云存儲(chǔ)中,所謂被動(dòng)同步即 -- 只有在資源被訪問時(shí),七牛才會(huì)回源站獲取一次,此后對(duì)該資源的訪問都不會(huì)再發(fā)生回源動(dòng)作,而是直接從七牛這里拿到數(shù)據(jù)。鏡像存儲(chǔ)使用方式如下:
假設(shè)源站所有的圖片,放在一個(gè)叫 img.example.com 子域里。
1.在七牛上建立一個(gè)鏡像bucket,設(shè)定源站為 img.example.com。假設(shè)鏡像 bucket是example-img,鏡像 bucket 對(duì)應(yīng)的域名為 example-img.qiniudn.com。
2.將所有對(duì)外使用的圖片的域名改為 example-img.qiniudn.com。
3.如果網(wǎng)站數(shù)據(jù)是 UGC(用戶產(chǎn)生內(nèi)容)的,調(diào)整上傳流程,傳到七牛的鏡像 bucket。這樣源站就變成只讀。
如此就完成整個(gè)遷移過(guò)程。此時(shí) img.example.com 這個(gè)源站就可以廢棄不用了。
二、借助七牛提供的數(shù)據(jù)遷移工具qrsync公網(wǎng)間直傳
qrsync 是一個(gè)根據(jù)七牛API實(shí)現(xiàn)的簡(jiǎn)易命令行輔助上傳同步工具,支持?jǐn)帱c(diǎn)續(xù)上傳,增量同步,它可將用戶本地的某目錄的文件同步到七牛,同步或上傳幾百GB甚至上TB的文件毫無(wú)壓力。
場(chǎng)景二:自有機(jī)房遷移到七牛但數(shù)據(jù)總量大
在場(chǎng)景二下,用戶可以將數(shù)據(jù)先備份到本地,然后寄送數(shù)據(jù)硬盤給七牛,由七牛通過(guò)內(nèi)網(wǎng)將數(shù)據(jù)同步到七牛云端;或者七牛寄送空數(shù)據(jù)硬盤,客戶備份數(shù)據(jù)后寄回七牛,并由七牛通過(guò)內(nèi)網(wǎng)上傳。這其中,由于數(shù)據(jù)量巨大,考慮因素需要更多,七牛也會(huì)專為該類客戶定制化數(shù)據(jù)遷移系統(tǒng)。
在寄硬盤的過(guò)程中,為了保持新數(shù)據(jù)也被存到七牛上面,以及試用七牛的服務(wù),可以使用鏡像存儲(chǔ)。
場(chǎng)景三:從任意云服務(wù)遷移到七牛且數(shù)據(jù)少量
在場(chǎng)景三下,可以有兩種方案進(jìn)行數(shù)據(jù)的遷移工作。
一、完全使用鏡像存儲(chǔ),無(wú)縫將數(shù)據(jù)遷移到七牛的空間中,具體使用方式和場(chǎng)景一中鏡像存儲(chǔ)描述部分一致。
二、使用七牛數(shù)據(jù)遷移定制化工具,在七牛的技術(shù)支持的協(xié)助下,用工具將數(shù)據(jù)同步到七牛。
場(chǎng)景四:從任意云服務(wù)遷移到七牛但數(shù)據(jù)總量大
如果想從某一云服務(wù)切換到七牛,可以先從正在使用的云服務(wù)備份數(shù)據(jù)到本地,通過(guò)磁盤/服務(wù)器的遞送,直接上傳數(shù)據(jù)到七牛。
數(shù)據(jù)導(dǎo)入的同時(shí)依然可以使用鏡像存儲(chǔ)配合數(shù)據(jù)的遷移,具體步驟如下:
1.開啟鏡像存儲(chǔ),并將用戶對(duì)源站資源的訪問切換到從七牛這里訪問,同時(shí)在源站保持使用 prefetch 接口預(yù)取更新變化了的資源。
2.將資源的上傳動(dòng)作從源站切換到七牛,這樣用戶對(duì)資源的修改動(dòng)作會(huì)直接更新七牛中存儲(chǔ)的內(nèi)容,此時(shí)源站的資源數(shù)據(jù)已經(jīng)變成一個(gè)靜態(tài)的集合,因此可以撤銷第一步中對(duì) prefetch 接口的使用。
3.放心地將源站的靜態(tài)資源數(shù)據(jù)增量地導(dǎo)入七牛的存儲(chǔ),存儲(chǔ)中已有的資源不再導(dǎo)入,只導(dǎo)入存儲(chǔ)中還不存在的資源(七牛已有針對(duì)此類導(dǎo)入的成熟工具提供用戶直接使用)。
4.關(guān)閉源站
使用鏡像存儲(chǔ)配合數(shù)據(jù)的遷移步驟圖
。蹟(shù)據(jù)遷移典型案例剖析]
七?蛻裟澳暗臄(shù)據(jù)量非常大,如果采用常用的傳輸辦法,整個(gè)遷移過(guò)程要耗時(shí)半年,并且會(huì)嚴(yán)重影響線上的業(yè)務(wù)。為此,七牛為陌陌制定了個(gè)性化的數(shù)據(jù)遷移方案。
在遷移過(guò)程中可能遇到以下問題:
1.硬盤遷移過(guò)程中,網(wǎng)絡(luò)傳輸中的數(shù)據(jù)出錯(cuò)。
2.傳輸過(guò)程中的速率問題。拿陌陌舉例,如果采用常用的傳輸辦法,整個(gè)遷移過(guò)程要耗時(shí)半年,并且會(huì)嚴(yán)重影響線上的業(yè)務(wù)。
3.硬盤寄送過(guò)程以及使用過(guò)程中的磁盤損壞。
4.存儲(chǔ)數(shù)據(jù)文件對(duì)數(shù)據(jù)庫(kù)的合并。如果按照傳統(tǒng)的數(shù)據(jù)庫(kù)寫入方式,需要若干天,會(huì)給客戶數(shù)據(jù)庫(kù)以及云服務(wù)的數(shù)據(jù)庫(kù)帶來(lái)不必要的巨大壓力。
針對(duì)這些問題,一個(gè)考慮全面的遷移系統(tǒng)就顯得尤為重要:
1.針對(duì)客戶的業(yè)務(wù)數(shù)據(jù)模型,定制數(shù)據(jù)格式,進(jìn)行存儲(chǔ)數(shù)據(jù)的導(dǎo)入。
2.數(shù)據(jù)庫(kù)結(jié)構(gòu)需要有強(qiáng)擴(kuò)展性,可以實(shí)現(xiàn)瞬時(shí)合并。
3.遷移系統(tǒng)充分考慮不可控因素,比如硬盤損壞,斷電等情況。
至此,七牛已經(jīng)成為陌陌非常好的合作伙伴,支撐了他們近兩億用戶的數(shù)據(jù)存儲(chǔ),訪問加速與圖片處理。