CRM數(shù)據(jù)質(zhì)量管理方案研究
2010/08/23
導讀:為了能夠讓CRM系統(tǒng)向企業(yè)決策，客戶管理等業(yè)務提供更準確的數(shù)據(jù)支持，詳細講述了在整個項目生命周期中，如何從數(shù)據(jù)庫層面和業(yè)務層面，雙向?qū)?shù)據(jù)質(zhì)量進行有效的管理和控制，從而降低臟數(shù)據(jù)對企業(yè)決策造成的影響。
在企業(yè)部署CRM系統(tǒng)后，往往希望借助這一系統(tǒng)的商業(yè)智能優(yōu)勢，通過對數(shù)據(jù)的分析處理，來獲取隱含在數(shù)據(jù)中的更有商業(yè)價值的知識，以此來指導企業(yè)開展下一階段的工作。文章首先分析了當前大多數(shù)企業(yè)所面臨的數(shù)據(jù)質(zhì)量低下的現(xiàn)狀，并對造成這一現(xiàn)象的原因加以分類，然后以筆者曾經(jīng)參與設計的某企業(yè)CRM項目為例，從整個項目的生命周期開始，對各個階段所要解決的問題加以解釋，并給出解決方案。最后，從宏觀上給出一套對普遍企業(yè)適用的，能夠顯著提高數(shù)據(jù)質(zhì)量的管理方案。
1.CRM系統(tǒng)中數(shù)據(jù)質(zhì)量問題分析
CRM(Customer Relationship Management)也稱為客戶關系管理系統(tǒng)，其主要功能是通過對大量的客戶資料進行深入的分析，來實現(xiàn)縮短銷售周期，降低銷售成本，提高客戶忠誠度和保有率等商業(yè)目標。然而決定一個CRM系統(tǒng)成敗的關鍵，往往就是數(shù)據(jù)質(zhì)量的優(yōu)劣。
劣質(zhì)的數(shù)據(jù)來源不一，通過分析，其原因主要有以下幾種：
①缺乏驗證程序。很多系統(tǒng)沒有在初期就對用戶的輸入等過程提供完整的驗證程序，導致誤輸入等因素對數(shù)據(jù)質(zhì)量造成一定影響。
�、跀�(shù)據(jù)格式有效但不正確。往往有些看似有效的數(shù)據(jù)，但卻是錯誤的。
�、巯到y(tǒng)更新。在原系統(tǒng)發(fā)生結構性變化時，如果管理員新增加了一個字段或下拉值，但是沒有及時通知相關的系統(tǒng)工程師，就會導致一線員工繼續(xù)使用舊的字段或下拉值去匹配新的信息類型。
�、芟到y(tǒng)接口過多。
�、萑狈⒄胀暾詸z查。
�、薏黄ヅ涞囊�(guī)則和定義。
�、呔S度漸變。隨著時間的推移而可能發(fā)生改變的維度，也在某種程度上影響著數(shù)據(jù)質(zhì)量。
由此可見，數(shù)據(jù)質(zhì)量受到來自多方面的影響，并且隨著公司業(yè)務集成到網(wǎng)站中，并允許客戶和經(jīng)銷商直接操作數(shù)據(jù)，而更加與日俱增，因此制定一套行之有效的管理方案迫在眉睫。
2.數(shù)據(jù)質(zhì)量管理方案
DEMING W.E在其質(zhì)量管理的十四要點中指出：“質(zhì)量不能僅依賴于產(chǎn)品的檢驗，檢驗不能創(chuàng)造價值，只能將次品挑出來�！备鶕�(jù)實際工作情況來看，往往當我們檢查出臟數(shù)據(jù)時，它已經(jīng)大量的存在于數(shù)據(jù)庫中了，檢查的成本高而效益低。要采用事前預防的方法，從一開始就將質(zhì)量融入到數(shù)據(jù)中，以降低臟數(shù)據(jù)的發(fā)生率。
在實際項目中，將數(shù)據(jù)質(zhì)量的控制在宏觀上劃分為了三個階段。
由于第三階段屬于數(shù)據(jù)挖掘范疇，是在建立了準確，完整的數(shù)據(jù)庫基礎上實現(xiàn)的，暫不屬于本文討論的范疇，所以我們重點關注第一階段和第二階段的實施。
2.1 數(shù)據(jù)質(zhì)量規(guī)劃階段
完整的信息架構在數(shù)據(jù)質(zhì)量管理中占據(jù)著重要的位置，這個架構一定是針對業(yè)務規(guī)則建立的，且能夠靈活應對將來可能出現(xiàn)的業(yè)務規(guī)則或數(shù)據(jù)流變更。
信息，簡要的說就是數(shù)據(jù)和知識。信息架構的工作在本質(zhì)上就是將一些數(shù)據(jù)轉(zhuǎn)化為我們可以直觀的理解的知識，或者將我們獲得的知識轉(zhuǎn)化為數(shù)據(jù)，一邊可以傳遞，再利用。它應當是兼具兩者的設計過程。大體上應該包含三件工作：
�、偌軜嬙O計：首先我們要確定系統(tǒng)中信息的單元的大小，并決定這些單元之間的關系。
�、诮M織方式：將這些組件組合成有意義的，具有特色的類別。也稱為邏輯分類。
�、蹣擞洠簩⑸弦徊降玫降姆诸愑靡粋�唯一的標簽來命名。
設計過程的初期要通過有引導性的客戶調(diào)研工作理解用戶需求，尋找分類的趨勢，完成信息架構UML圖的初稿，這里應該進行至少兩次的分別從上到下和從下到上的梳理過程。之后就是情景模擬的測試過程，并且要讓用戶也參與進來，否則這個測試過程就失去了其本身的意義。企業(yè)的信息化過程中要引入數(shù)據(jù)質(zhì)量管理平臺，以管理企業(yè)數(shù)據(jù)流，并成為企業(yè)各個子系統(tǒng)數(shù)據(jù)交互的中心，同時在各個層次上對數(shù)據(jù)質(zhì)量進行監(jiān)控和管理，以建立統(tǒng)一的企業(yè)數(shù)據(jù)模型，形成企業(yè)統(tǒng)一的視圖。
信息的安全性管理不但包括我們熟知的密碼管理，用戶權限分配，服務器端防火墻的設置等網(wǎng)絡安全工作，還應特別注意外部數(shù)據(jù)的來源，是否為可信數(shù)據(jù)，數(shù)據(jù)質(zhì)量是否符合系統(tǒng)的標準，此處要對導入程序做嚴格的檢查，寧肯放棄一部分數(shù)據(jù)也不能導入潛在的臟數(shù)據(jù)或無效數(shù)據(jù)。
2.2 數(shù)據(jù)質(zhì)量控制階段
設計質(zhì)量，即我們上面所說的質(zhì)量規(guī)劃階段，其目的是要收集質(zhì)量需求并將它們轉(zhuǎn)換為一套標準來執(zhí)行。接下來的執(zhí)行過程中，就存在著數(shù)據(jù)質(zhì)量控制的問題。上面一節(jié)已經(jīng)講過當前常用的評價數(shù)據(jù)質(zhì)量的觀察點，在本項目中，宏觀上從三個方面來看：可信性、及時性、可用性。
檢測數(shù)據(jù)可信性的一系列規(guī)則都是要基于依賴性和現(xiàn)實世界的一致性的。他們可以用于定義數(shù)據(jù)的語義約束;區(qū)分靜態(tài)，暫時的，或是動態(tài)的約束;并且可以指定屬性、原則、關系或是整個數(shù)據(jù)庫。所有這些類型的約束都是在假設數(shù)據(jù)的某些性質(zhì)不依時間的變化而變化為基礎上提出的，以便提供一個穩(wěn)定的數(shù)據(jù)集用來與其他數(shù)據(jù)作對比。
測量數(shù)據(jù)的質(zhì)量，特別是可信性、及時性、可解釋性和有效性的潛在方法。
驗證生產(chǎn)數(shù)據(jù)的可信度要制訂即包括單變量特征也包括多變量特征的檢查規(guī)則。對于某些字段，它有可能同時存在多種約束條件，這些檢查的規(guī)則要在數(shù)據(jù)結構確立后就明確。此外，這里還應重點考慮的一項工作是重復數(shù)據(jù)的檢查。
結合項目中的實際情況來說，重復數(shù)據(jù)可以歸為兩類，一類是在數(shù)據(jù)庫中已經(jīng)存在重復的記錄，所以要將這些冗余的數(shù)據(jù)清除，或是歸檔。另一類是根據(jù)業(yè)務規(guī)則需要清洗，但并不違反數(shù)據(jù)庫的邏輯規(guī)則。如某些呼叫中心規(guī)定一個時間段內(nèi)不能跟同一客戶聯(lián)系超過2次。這就要求數(shù)據(jù)庫操作人員在獲取客戶名單時，要做2次查重，以滿足上述條件。
另一個重要因素就是數(shù)據(jù)流的控制。往往一些企業(yè)的CRM系統(tǒng)的數(shù)據(jù)流的來源和去向較為復雜。任何環(huán)節(jié)發(fā)現(xiàn)了臟數(shù)據(jù)先不要急于去做數(shù)據(jù)清洗，應該順著數(shù)據(jù)流去尋找源頭，在確定從根本上修復了程序后再開始數(shù)據(jù)清洗工作。
總的來說，數(shù)據(jù)質(zhì)量是一種通過度量和改善數(shù)據(jù)綜合特征從而優(yōu)化數(shù)據(jù)價值的過程，質(zhì)量標準要客觀的附加在主觀的方法和建議之上，從而保證生產(chǎn)數(shù)據(jù)的質(zhì)量。由法國等4國研究機構聯(lián)合立項的研究項目對在元數(shù)據(jù)層中嵌入質(zhì)量管理模型已經(jīng)取得了一定的進展。不僅如此，關于數(shù)據(jù)倉庫的質(zhì)量管理問題也在對數(shù)據(jù)抽取，裝載，存儲等關鍵步驟進行研究。可見，數(shù)據(jù)質(zhì)量問題正在受到各行各業(yè)廣泛的關注。
3.小 結
概括的說，在項目的整個生命周期內(nèi)，應該有這樣一套完整的管理方案：
�、賳訑�(shù)據(jù)質(zhì)量管理計劃。該計劃要建立并保持數(shù)據(jù)定義和業(yè)務規(guī)則的一致性，并且只有一個版本，這樣還可以節(jié)省未來開發(fā)新程序和尋找相關數(shù)據(jù)的時間。
�、谥贫椖坑媱�。這一計劃中要清晰的定義適用范圍，制定目標，估算投資回報率，差值分析，預估以及監(jiān)控實施效果。為了實現(xiàn)上述的目標，開發(fā)團隊需要做相應的數(shù)據(jù)挖掘工作事先評估現(xiàn)狀，確立修復方案并建立方案監(jiān)測數(shù)據(jù)的一致性。
③再次審視業(yè)務流程和數(shù)據(jù)架構。
④評估數(shù)據(jù)質(zhì)量。在重新審視信息流和數(shù)據(jù)結構之后，企業(yè)需要對重點業(yè)務區(qū)域的數(shù)據(jù)質(zhì)量進行全面的評估。目的是找出數(shù)據(jù)普遍存在的缺陷，建立測試模型來檢測他們是如何進入數(shù)據(jù)倉庫或其他系統(tǒng)的，制定清洗規(guī)則或給出合理的修復方案。
�、莞纳茦I(yè)務流程。如前所述，防止臟數(shù)據(jù)的出現(xiàn)涉及到轉(zhuǎn)變管理態(tài)度，優(yōu)化業(yè)務流程等諸多因素。
⑥堅持不懈的監(jiān)測數(shù)據(jù)。如果沒有持續(xù)的數(shù)據(jù)質(zhì)量的監(jiān)控，那我們之前做的所有工作都有可能付之東流。
比特網(wǎng)
從這里開始編輯
相關閱讀: