消費(fèi)者數(shù)據(jù)挖掘系統(tǒng)建立的幾個(gè)問(wèn)題
陳宏 2002/09/03
隨著國(guó)內(nèi)金融和保險(xiǎn)業(yè)的改革和發(fā)展,特別是中國(guó)加入WTO以后,為了提高自身的競(jìng)爭(zhēng)力,國(guó)內(nèi)金融保險(xiǎn)公司都開(kāi)始加速建立和完善自己的管理系統(tǒng)。這是適應(yīng)競(jìng)爭(zhēng)的需要,也是消費(fèi)者日益成熟起來(lái)的必然結(jié)果。市場(chǎng)機(jī)制一方面給了消費(fèi)者選擇的權(quán)利,消費(fèi)者有了選擇和誰(shuí)交易的自由;另一方面,市場(chǎng)機(jī)制也給了公司發(fā)展的機(jī)會(huì)和挑戰(zhàn),誰(shuí)的管理水平高、合理、誰(shuí)靈活,誰(shuí)就能得到不斷的發(fā)展。
圖1 不同的追繳電話費(fèi)的策略
數(shù)據(jù)挖掘的過(guò)程大致包括數(shù)據(jù)樣本的選擇、數(shù)據(jù)的初級(jí)分析和建立數(shù)學(xué)/統(tǒng)計(jì)模型。這個(gè)過(guò)程就是用來(lái)挖掘和發(fā)現(xiàn)新的有關(guān)顧客和市場(chǎng)的關(guān)系,從而能夠幫助商業(yè)管理人員來(lái)做決策。
因此,首先應(yīng)該發(fā)現(xiàn)所面臨和要解決的問(wèn)題是什么。是為了發(fā)現(xiàn)新的、能帶來(lái)利潤(rùn)的顧客呢?還是為了向現(xiàn)有的顧客推銷(xiāo)新產(chǎn)品?或者是想加快電話費(fèi)的拖欠款回收?這個(gè)看似簡(jiǎn)單的問(wèn)題,實(shí)際上是數(shù)據(jù)挖掘的關(guān)鍵。從美國(guó)電報(bào)電話公司的宇宙卡操作中,我們可以看到正確地回答這個(gè)問(wèn)題并不容易。信用卡公司是最終目的是為了贏利,要平衡風(fēng)險(xiǎn)和回報(bào)的關(guān)系,信用好并不等于利潤(rùn)回報(bào)就高。舉例來(lái)講,美國(guó)電報(bào)電話信用卡的商業(yè)問(wèn)題應(yīng)該是如何找到帶來(lái)利潤(rùn)高的顧客。而一個(gè)財(cái)產(chǎn)保險(xiǎn)公司的問(wèn)題則是如何降低保險(xiǎn)的賠償費(fèi)用?
上面的問(wèn)題有了明確的定義后,就要開(kāi)始進(jìn)行初步的數(shù)據(jù)分析,從成百上千的變量里面計(jì)算并發(fā)現(xiàn)哪些變量和要解決的問(wèn)題有關(guān)系。這一步大概就是為什么叫數(shù)據(jù)挖掘了。在分析過(guò)程中,很可能需要從現(xiàn)有的數(shù)據(jù)變量里面重新組合出許多新的變量,讓人感覺(jué)有點(diǎn)像大海撈針。在這個(gè)步驟中,行業(yè)經(jīng)驗(yàn)和數(shù)據(jù)挖掘經(jīng)驗(yàn)非常重要。有經(jīng)驗(yàn)的工作人員可能只需要沒(méi)經(jīng)驗(yàn)的人1/5的時(shí)間就將這一步做好,而效果卻往往更好。這要求數(shù)據(jù)挖掘系統(tǒng)的設(shè)置要合理,不合理的設(shè)置會(huì)浪費(fèi)很多時(shí)間。
然后,從所發(fā)現(xiàn)的有關(guān)系的變量中建立能幫助解決問(wèn)題的數(shù)學(xué)/統(tǒng)計(jì)模型。建立模型能夠發(fā)現(xiàn)的相關(guān)變量和要解決的商業(yè)問(wèn)題數(shù)字連起來(lái),發(fā)現(xiàn)一個(gè)變量有多少幫助解決問(wèn)題的可能性。
拿信用卡來(lái)講,年齡變量有多少幫助發(fā)現(xiàn)有利潤(rùn)的顧客的可能性?婚姻情況又有多少可能性?理論上來(lái)說(shuō),可以建立的模型是無(wú)窮無(wú)盡的,關(guān)鍵在于怎么區(qū)分什么模型是好的,如何發(fā)現(xiàn)最好的模型。
模型建立過(guò)程還要求產(chǎn)生模型的預(yù)測(cè)數(shù)據(jù)。沒(méi)有預(yù)測(cè)數(shù)據(jù),就無(wú)從知道在實(shí)際應(yīng)用中模型是否符合實(shí)際情況。
合理建立數(shù)據(jù)挖掘系統(tǒng)
同樣是美國(guó)最大的電話公司之一,Bell Atlantic的數(shù)據(jù)挖掘系統(tǒng)卻是非常成功的,不僅為他們的業(yè)務(wù)開(kāi)展帶來(lái)很大的方便,而且節(jié)省了許多開(kāi)支。Bell
Atlantic的電話服務(wù)目前已經(jīng)覆蓋了美國(guó)14個(gè)州,擁有商業(yè)電話、住家電話帳戶(hù)近億個(gè)。
Bell Atlantic 數(shù)據(jù)挖掘系統(tǒng)的首要任務(wù)就是盡快地追收拖欠的電話費(fèi),同時(shí)盡量減少收債部門(mén)的成本。
軟件系統(tǒng)的選擇非常重要。經(jīng)過(guò)反復(fù)挑選后,Bell Atlantic采用了SAS統(tǒng)計(jì)軟件系統(tǒng)建立數(shù)據(jù)挖掘系統(tǒng),然后在SAS環(huán)境中利用SAS宏程序建立挖掘系統(tǒng)。SAS的專(zhuān)長(zhǎng)是進(jìn)行統(tǒng)計(jì)計(jì)算。它還有許多其他的優(yōu)點(diǎn):可以讀取大量計(jì)算機(jī)系統(tǒng)里的數(shù)據(jù),可以解讀近百種的數(shù)據(jù)模式;計(jì)算速度快,能進(jìn)行大數(shù)據(jù)量的計(jì)算;它的宏程序建立也比較直接。
圖2 ROC曲線圖
然后是建立SAS格式庫(kù)。許多數(shù)據(jù)需要格式化,比如年齡,可以從20到100歲,需要分成不同的組,這都需要利用模式來(lái)進(jìn)行數(shù)據(jù)轉(zhuǎn)換。有的數(shù)據(jù)不是連續(xù)變量,比如婚姻狀況(單身/已婚),也需要進(jìn)行一些變換才可以進(jìn)行計(jì)算。日期也是需要模式化的,不同計(jì)算機(jī)系統(tǒng)記錄日期方法不同,需要把日期轉(zhuǎn)換成一致的方法。在金融保險(xiǎn)行業(yè)日期這個(gè)變量非常重要,因?yàn)楹芏嗫蛻?hù)的行為都記錄在日期里面了。電話公司里記帳、付款的日期也非常重要。
接著,建立SAS的宏程序庫(kù)。幾乎所有重要的數(shù)據(jù)挖掘功能都需要利用宏程序來(lái)實(shí)現(xiàn)。K-S系數(shù)的計(jì)算,模型預(yù)測(cè)表現(xiàn)的表格產(chǎn)生和報(bào)告,幫助做管理決策的ROC曲線,等等。
第一步的數(shù)據(jù)分析,把 Bell Atlantic 覆蓋的14個(gè)州分成了6組,商業(yè)帳戶(hù)和居民帳戶(hù)分開(kāi),然后又對(duì)不同的帳戶(hù)進(jìn)一步第分成了8個(gè)類(lèi)型,前前后后一共建立了近40個(gè)不同的追收拖欠電話費(fèi)的模型。這個(gè)項(xiàng)目Bell
Atlantic花費(fèi)了一百多萬(wàn)美元。
這樣,Bell Atlantic就能計(jì)算出有關(guān)客戶(hù)的概率可能性,包括客戶(hù)從一個(gè)月未交電話費(fèi)到兩個(gè)月未交的可能性;客戶(hù)從三個(gè)月未交電話費(fèi)到變成壞債的可能性,以及壞債客戶(hù)變成死債客戶(hù)的可能性。同時(shí),還對(duì)追交拖欠電話費(fèi)用的策略提供線索,確認(rèn)哪些帳戶(hù)應(yīng)該進(jìn)行追債活動(dòng);哪些帳戶(hù)有可能拖欠電話費(fèi);并且提供量化的追債策略,對(duì)不同的帳戶(hù)采用不同的辦法。
這個(gè)系統(tǒng)能有效地避免帳戶(hù)從拖欠電話費(fèi)變成呆債壞債,減少死債的出現(xiàn)。減少需要進(jìn)行收債部門(mén)的人員數(shù)目,從而降低了成本。在美國(guó)的電話公司中,一個(gè)拖欠電話費(fèi)的客戶(hù),用信件來(lái)追繳的成本大約是1美元;而通過(guò)電話來(lái)追繳,平均成本在30美元左右。正確選用信件追繳還是電話追繳,可以節(jié)省大約25美元的成本。采用高強(qiáng)度的追繳比用低強(qiáng)度的追繳多花大約60美元?梢(jiàn),數(shù)據(jù)挖掘能起到的經(jīng)濟(jì)效益是非常高的。
如何在中國(guó)建數(shù)據(jù)挖掘系統(tǒng)?
建立數(shù)據(jù)挖掘系統(tǒng),首先要考慮資金的問(wèn)題。SAS 軟件系統(tǒng)的年費(fèi)根據(jù)計(jì)算機(jī)的計(jì)算速度不同價(jià)格不同,大概從十幾萬(wàn)人民幣到近百萬(wàn)人民幣一年。在SAS之上建立的數(shù)據(jù)挖掘系統(tǒng)大約系統(tǒng)本身要50萬(wàn)人民幣左右,系統(tǒng)的安裝,調(diào)試和人員的培訓(xùn)大約要25萬(wàn)到50萬(wàn)人民幣不等。
需要指出的是,SAS 公司也有自己的數(shù)據(jù)挖掘的子系統(tǒng),但是它有一些問(wèn)題,即是數(shù)據(jù)變換不靈活;也沒(méi)有很多報(bào)告的功能和產(chǎn)生圖的功能,格式化也不容易;而且價(jià)格也不菲。所以有條件的話,數(shù)據(jù)挖掘系統(tǒng)還是專(zhuān)門(mén)定制好。
數(shù)據(jù)挖掘系統(tǒng)的人員要求也很重要。數(shù)據(jù)挖掘的人員首先要有良好的統(tǒng)計(jì)概念,其次要懂得基本的商業(yè)和行業(yè)概念。選擇怎樣的客戶(hù)是決策的關(guān)鍵。就拿信用卡來(lái)說(shuō),如果嚴(yán)格要求客戶(hù)的信用太好,反而像美國(guó)電報(bào)電話公司一樣,你肯定賺不到錢(qián);
反過(guò)來(lái),如果隨便就給人信用,同樣也賺不到錢(qián),因?yàn)檫@樣壞帳呆帳會(huì)太多了。
追繳策略樣本
最后,數(shù)據(jù)挖掘部門(mén)的任務(wù)就是發(fā)現(xiàn)在什么基準(zhǔn)線上做出合理的解決方案。數(shù)據(jù)挖掘的人員需要通過(guò)計(jì)算解決以下的幾個(gè)問(wèn)題才能得出答案,即是平均一個(gè)好客戶(hù)能賺多少錢(qián)?平均一個(gè)壞客戶(hù)能虧損多少錢(qián)?數(shù)據(jù)挖掘出來(lái)的模型的分辯好壞的分辨率是多少?所有可能的客戶(hù)群里面好客戶(hù)和壞客戶(hù)的比例大約是多少?銀行的儲(chǔ)蓄利率是多少?
也許有人要問(wèn):這和銀行的利息有什么關(guān)系?這里邊關(guān)系到機(jī)會(huì)成本的問(wèn)題,也就是說(shuō),如果信用卡公司不把錢(qián)給客戶(hù)用,而是存到銀行里提取利息,這個(gè)利息收入實(shí)際上是個(gè)機(jī)會(huì)成本。
利用ROC曲線,就可以計(jì)算出來(lái)在什么條件下可以給人信用卡,什么條件下不給。數(shù)據(jù)挖掘的人員至少要看得懂ROC曲線,知道里面的導(dǎo)數(shù)是干什么用的。
賽迪網(wǎng)
中國(guó)信息化(industry.ccidnet.com)
談?wù)凜RM哲學(xué) 2002-09-03 |
回顧C(jī)RM歷史 2002-09-03 |
讓我們擎起房地產(chǎn)行業(yè)的大旗 2002-09-03 |
CRM我之見(jiàn) 2002-09-02 |
CRM原罪:25種管理工具排名倒數(shù)第三 2002-09-02 |