銀行客戶信息整合詳解

2003/04/14

　　圖1 DataStage邏輯架構(gòu)

　　常用設(shè)計(jì)簡(jiǎn)介

　　DataStage 提供給開發(fā)者非常直觀的圖形界面，開發(fā)者可以遵循一種工作流思考方式來選擇數(shù)據(jù)源、目標(biāo)數(shù)據(jù)與過程轉(zhuǎn)換用的組件（Stages），并將之置于一個(gè)最初看起來像一個(gè)空格一樣的“草稿表”模板上。Stage是包含了一定功能的組件，類型很多：作為數(shù)據(jù)源和目標(biāo)的可以是各種數(shù)據(jù)庫的連接，可以是文本文件或hash文件等；作為轉(zhuǎn)換功能的可以是排序、聚類統(tǒng)計(jì)、數(shù)學(xué)運(yùn)算等具有特殊功能的組件。設(shè)計(jì)者用一種叫做“鏈接”的箭頭來連接這些具有代表性的圖標(biāo)，而這些箭頭則闡明了運(yùn)行開始后數(shù)據(jù)與元數(shù)據(jù)的流向。在創(chuàng)建DataStage任務(wù)時(shí)，用戶可以在設(shè)計(jì)草圖上添加注釋、說明、標(biāo)簽或是其他可以添加給作業(yè)的描述性文字。DataStage使用圖形方式建立表的查詢、連接關(guān)系、排序和匯總運(yùn)算。圖2、圖3是幾種常用的設(shè)計(jì)模式：

　　圖2 源數(shù)據(jù)和目標(biāo)數(shù)據(jù)都直接操作數(shù)據(jù)庫

　　數(shù)據(jù)抽取的實(shí)現(xiàn)

　　客戶信息數(shù)據(jù)庫中的各表以客戶編碼為關(guān)鍵字進(jìn)行關(guān)聯(lián)，客戶編碼是由客戶的證件號(hào)碼經(jīng)過專門的算法計(jì)算產(chǎn)生的唯一客戶標(biāo)識(shí)。根據(jù)各個(gè)系統(tǒng)中客戶數(shù)據(jù)與新系統(tǒng)客戶信息的對(duì)照關(guān)系我們?cè)O(shè)計(jì)數(shù)據(jù)抽取轉(zhuǎn)換的程序，如圖4所示是一個(gè)DataStage的Job。

　　由于源數(shù)據(jù)量很大，從數(shù)據(jù)庫中直接提取數(shù)據(jù)效率不高，我們采用先將數(shù)據(jù)卸載到文本文件中，再從文本中抽取數(shù)據(jù)進(jìn)行處理。通過DataStage的Sequential File Stage可以連接一個(gè)指定路徑的文本文件，在db1_tab1設(shè)定文件的存放位置、文件中分隔符、文件中每個(gè)字段的類型、長度和名稱，即可以取得客戶的證件號(hào)碼、姓名、電話、職務(wù)職稱等信息。這些信息需要進(jìn)行一系列處理：計(jì)算客戶編碼，根據(jù)新編碼規(guī)則進(jìn)行代碼轉(zhuǎn)換，去掉非法字符等，在一個(gè)Transformer Stage Transform1中對(duì)各數(shù)據(jù)進(jìn)行處理。

圖3 源數(shù)據(jù)和目標(biāo)數(shù)據(jù)直接操作文本文件

　　其中CreateKhbm函數(shù)是利用DataStage提供的函數(shù)開發(fā)環(huán)境編寫的，目的是產(chǎn)生客戶唯一標(biāo)識(shí)客戶編碼。由于tab1中的身份證號(hào)字段存儲(chǔ)的證件號(hào)碼數(shù)據(jù)不規(guī)范，所以在CleanSfzh函數(shù)中，我們對(duì)不規(guī)范的證件號(hào)碼進(jìn)行清洗整理，產(chǎn)生規(guī)范的證件號(hào)碼。證件類型（zjlx）由于在不同系統(tǒng)中編碼定義不同，因此需要進(jìn)行轉(zhuǎn)換。通訊地址和郵編兩個(gè)字段只對(duì)空值進(jìn)行特殊處理。在這樣一個(gè)Transformer Stage中只需用很少的代碼即可以完成需要的數(shù)據(jù)處理。

　　由于不同的源數(shù)據(jù)中可能包含同一個(gè)客戶的信息，因此采用Hashed File Stage HF_khjbxx存放輸出結(jié)果，相同客戶的信息根據(jù)客戶編碼覆蓋前面產(chǎn)生的信息，避免了重復(fù)的客戶信息。從不同源數(shù)據(jù)庫取得客戶信息，根據(jù)數(shù)據(jù)的真實(shí)性依次進(jìn)行處理后，生成的客戶信息全部保存在一個(gè)Hash文件中，最后從Hash文件中取出結(jié)果數(shù)據(jù)裝載到目標(biāo)數(shù)據(jù)庫中。

圖4 一個(gè)DataStage的Job

　　由于客戶數(shù)據(jù)量很大，為了在不同的數(shù)據(jù)庫中將大量的數(shù)據(jù)進(jìn)行整合，數(shù)據(jù)處理效率十分重要。在實(shí)現(xiàn)中不直接操作數(shù)據(jù)庫而使用文本文件的優(yōu)勢(shì)在于DataStage直接抽取文本文件數(shù)據(jù)的效率高于從數(shù)據(jù)庫中抽取，DataStage訪問數(shù)據(jù)庫時(shí)需要通過ODBC連接相應(yīng)的數(shù)據(jù)庫Driver，連接上數(shù)據(jù)庫后，從數(shù)據(jù)庫中抽取部分?jǐn)?shù)據(jù)存放于DataStage Server內(nèi)存中，轉(zhuǎn)換裝載完后，再從數(shù)據(jù)庫中抽取一部分?jǐn)?shù)據(jù)，所以不適用于大數(shù)據(jù)量的抽取轉(zhuǎn)換，而且不易于實(shí)現(xiàn)多進(jìn)程同時(shí)執(zhí)行。

　　對(duì)于大數(shù)據(jù)量的抽取轉(zhuǎn)換（如1000萬條記錄），我們可以手工卸載成幾個(gè)文本文件，放到DataStage Server上，DataStage在抽取轉(zhuǎn)換時(shí)直接將文本文件內(nèi)容裝載到內(nèi)存中，省去了連接數(shù)據(jù)庫資源的消耗，并且可以同時(shí)執(zhí)行幾個(gè)Job（Job的設(shè)計(jì)可以重用），從而提高抽取轉(zhuǎn)換效率。

　　在客戶基本信息整合完成后，從不同系統(tǒng)將客戶的賬戶數(shù)據(jù)抽取出來，客戶的每個(gè)賬戶、賬戶類型、幣種、狀態(tài)、余額、積數(shù)、開戶、銷戶情況全部整合在一起，建立起一套較為完整的客戶總賬。在此基礎(chǔ)上，對(duì)客戶的資產(chǎn)負(fù)債總量、分布情況可以匯總統(tǒng)計(jì)，每日對(duì)資產(chǎn)負(fù)債變化進(jìn)行跟蹤分析，可以全面地了解客戶在銀行的資產(chǎn)分布和變化狀況。同時(shí)，從各交易系統(tǒng)中獲得賬戶的交易情況，可以轉(zhuǎn)換為客戶的交易情況，分別統(tǒng)計(jì)不同時(shí)間段、不同交易地點(diǎn)、不同交易種類的客戶交易，從而了解客戶的交易習(xí)慣和喜好�？蛻粜畔⒄虾�，不同角度、不同層面的客戶分析可以全面展開。

　　結(jié)束語

　　目前，各個(gè)銀行都已具有強(qiáng)大的面向賬戶的交易系統(tǒng)。真正要做到面向客戶服務(wù)首先要建立完善的客戶信息系統(tǒng)。放棄目前各系統(tǒng)中分散零亂的客戶信息而從頭積累客戶信息是巨大的浪費(fèi)，從分散的賬務(wù)系統(tǒng)中抽取整合客戶信息通過實(shí)踐是完全可行的。只要設(shè)計(jì)一個(gè)科學(xué)的方法，采用有效的工具，完全可以在很短的時(shí)間內(nèi)將有效的數(shù)據(jù)提煉出來，建立起擁有幾百萬客戶的信息庫�？蛻粜畔觳粌H為客戶服務(wù)提供了基礎(chǔ)，更為客戶分析創(chuàng)造了必要條件。

賽迪網(wǎng) 中國信息化(industry.ccidnet.com)