-
- 素材大。
- 5 MB
- 素材授權(quán):
- 免費(fèi)下載
- 素材格式:
- .ppt
- 素材上傳:
- ppt
- 上傳時(shí)間:
- 2016-03-31
- 素材編號(hào):
- 51811
- 素材類別:
- 培訓(xùn)教程PPT
-
素材預(yù)覽
這是一個(gè)關(guān)于clementine數(shù)據(jù)挖掘培訓(xùn)PPT(部分ppt內(nèi)容已做更新升級(jí)),數(shù)據(jù)挖掘與Clementine使用培訓(xùn),通過(guò)多個(gè)案例來(lái)說(shuō)明數(shù)據(jù)挖掘與Clementine使用,共305頁(yè)等內(nèi)容。培訓(xùn)是給新員工或現(xiàn)有員工傳授其完成本職工作所必需的正確思維認(rèn)知、基本知識(shí)和技能的過(guò)程。是一種有組織的知識(shí)傳遞、技能傳遞、標(biāo)準(zhǔn)傳遞、信息傳遞、管理訓(xùn)誡行為。其中以技能傳遞為主,側(cè)重上崗前進(jìn)行。為了達(dá)到統(tǒng)一的科學(xué)技術(shù)規(guī)范、標(biāo)準(zhǔn)化作業(yè),通過(guò)目標(biāo)規(guī)劃設(shè)定知識(shí)和信息傳遞、技能熟練演練、作業(yè)達(dá)成評(píng)測(cè)、結(jié)果交流公告等現(xiàn)代信息化的流程,讓員工通過(guò)一定的教育訓(xùn)練技術(shù)手段,達(dá)到預(yù)期的水平,提高目標(biāo)。目前國(guó)內(nèi)培訓(xùn)以技能傳遞為主,時(shí)間在側(cè)重上崗前。
clementine數(shù)據(jù)挖掘培訓(xùn)PPT是由紅軟PPT免費(fèi)下載網(wǎng)推薦的一款培訓(xùn)教程PPT類型的PowerPoint.
數(shù)據(jù)挖掘與Clementine使用培訓(xùn)
北京瑞斯泰得數(shù)據(jù)技術(shù)開(kāi)發(fā)有限公司
2016/3/31
一、數(shù)據(jù)挖掘概述
什么是數(shù)據(jù)挖掘
數(shù)據(jù)挖掘的實(shí)現(xiàn)路線和流程
數(shù)據(jù)挖掘方法論——CRISP-DM
為什么進(jìn)行數(shù)據(jù)挖掘? 商業(yè)觀點(diǎn)
業(yè)務(wù)中產(chǎn)生了大量的數(shù)據(jù),這些數(shù)據(jù)存儲(chǔ)在業(yè)務(wù)系統(tǒng)中卻不能創(chuàng)造價(jià)值
客戶信息數(shù)據(jù)
客戶交易行為數(shù)據(jù)
客戶反饋數(shù)據(jù)
網(wǎng)絡(luò)數(shù)據(jù)
……
計(jì)算機(jī)變得越來(lái)越便宜、功能卻越來(lái)越強(qiáng)大
商業(yè)競(jìng)爭(zhēng)越來(lái)越激烈,對(duì)客戶了解越多就意味著機(jī)會(huì)越大
為什么進(jìn)行數(shù)據(jù)挖掘? 技術(shù)觀點(diǎn)
業(yè)務(wù)中的數(shù)據(jù)量呈現(xiàn)指數(shù)增長(zhǎng)(GB/小時(shí))
傳統(tǒng)技術(shù)難以從這些大量數(shù)據(jù)中發(fā)現(xiàn)有價(jià)值的規(guī)律
數(shù)據(jù)挖掘可以幫助我們從大量數(shù)據(jù)中發(fā)現(xiàn)有價(jià)值的規(guī)律
一個(gè)市場(chǎng)營(yíng)銷的例子
一個(gè)市場(chǎng)營(yíng)銷的例子
一個(gè)市場(chǎng)營(yíng)銷的例子
數(shù)據(jù)挖掘收益分析
利潤(rùn)分析圖
數(shù)據(jù)挖掘效果模擬分析
什么是數(shù)據(jù)挖掘?
不同的定義
從大量數(shù)據(jù)中發(fā)現(xiàn)非平凡的、先前不知道的、有價(jià)值的規(guī)律的過(guò)程
從大量數(shù)據(jù)中自動(dòng)化(或者半自動(dòng)化)的發(fā)現(xiàn)有價(jià)值規(guī)律的過(guò)程
數(shù)據(jù)挖掘的其他名稱
數(shù)據(jù)庫(kù)內(nèi)知識(shí)發(fā)現(xiàn)(KDD- Knowledge discovery in databases )
數(shù)據(jù)/模式分析
商業(yè)智能
人工智能
……
數(shù)據(jù)挖掘的起源
來(lái)源于機(jī)器學(xué)習(xí)/人工智能、模式識(shí)別、統(tǒng)計(jì)學(xué)和數(shù)據(jù)庫(kù)
傳統(tǒng)技術(shù)的局限性
巨量的數(shù)據(jù)
高維數(shù)據(jù)
數(shù)據(jù)分布不理想
數(shù)據(jù)挖掘面臨的挑戰(zhàn)
海量數(shù)據(jù)
高維數(shù)據(jù)
數(shù)據(jù)復(fù)雜性
數(shù)據(jù)質(zhì)量問(wèn)題
數(shù)據(jù)所有權(quán)和分布
隱私問(wèn)題
數(shù)據(jù)挖掘方法論—項(xiàng)目順利實(shí)施的保證
商業(yè)理解
數(shù)據(jù)理解
數(shù)據(jù)準(zhǔn)備
建立模型
模型評(píng)估
結(jié)果發(fā)布
商業(yè)理解是數(shù)據(jù)挖掘的起點(diǎn)
商業(yè)理解的內(nèi)容
數(shù)據(jù)挖掘能解決什么樣的商業(yè)問(wèn)題?
數(shù)據(jù)挖掘得到的結(jié)果,是否可以采取相應(yīng)的行動(dòng)以提高利潤(rùn)或降低成本?
我們期望模型能夠給我們?cè)鯓拥木_率?
有那些前提假定?
約束分析
時(shí)間約束分析
資源約束分析
人力資源
數(shù)據(jù)資源
軟件資源
硬件資源
制定特定的數(shù)據(jù)挖掘目標(biāo)
制定的數(shù)據(jù)挖掘目標(biāo)應(yīng)具有:
可評(píng)估性(assessable)
可實(shí)現(xiàn)性(attainable)
如何給定一個(gè)數(shù)據(jù)挖掘問(wèn)題
是檢驗(yàn)性數(shù)據(jù)挖掘還是探索性數(shù)據(jù)挖掘?
確定哪些是可以實(shí)現(xiàn)的數(shù)據(jù)挖掘問(wèn)題
結(jié)果可測(cè)度性
信息(數(shù)據(jù))的可獲得性
評(píng)估和控制其他相關(guān)因素的影響
數(shù)據(jù)來(lái)源與數(shù)據(jù)之間的關(guān)系
使數(shù)據(jù)適合數(shù)據(jù)挖掘
對(duì)數(shù)據(jù)進(jìn)行適當(dāng)?shù)暮喜⒑蛥R總
一般數(shù)據(jù)挖掘分析都要一個(gè)行×列(記錄×變量)的二維表,必須把從不同數(shù)據(jù)源得到的不同格式的數(shù)據(jù)整合成這樣一張表,要求:
所有的記錄含有排列順序一致的變量
所有記錄的變量信息是完整的(理想化狀態(tài),在現(xiàn)實(shí)中很難達(dá)到)
檢查數(shù)據(jù)質(zhì)量
影響數(shù)據(jù)質(zhì)量的幾個(gè)主要問(wèn)題
缺失值
不合理值
不同數(shù)據(jù)源的不一致
異常值
對(duì)數(shù)據(jù)進(jìn)行適當(dāng)?shù)淖儞Q
數(shù)據(jù)的標(biāo)準(zhǔn)化變換
生成新的變量
數(shù)據(jù)的重新編碼
數(shù)據(jù)降維,從變量角度或者從記錄角度
數(shù)據(jù)挖掘模型的分類
數(shù)據(jù)描述和匯總(Data description and summarization)
細(xì)分(Segmentation)
概念描述(Concept descriptions)
分類(Classification)
預(yù)測(cè)(Prediction)
相關(guān)分析(Dependency analysis)
數(shù)據(jù)挖掘技術(shù)的分類
數(shù)據(jù)挖掘的典型結(jié)果——金融
問(wèn)題描述:預(yù)測(cè)信用水平是好還是差,銀行據(jù)此決定是否向客戶發(fā)放貸款,發(fā)放多少
結(jié)果描述:(決策樹(shù))
數(shù)據(jù)挖掘的典型結(jié)果——電信
問(wèn)題描述:根據(jù)客戶信息,預(yù)測(cè)客戶流失可能性
結(jié)果描述:(神經(jīng)網(wǎng)絡(luò))
數(shù)據(jù)挖掘的典型結(jié)果——零售
問(wèn)題描述:如何決定超市中商品的擺放來(lái)增加銷售額
結(jié)果描述:(Web圖)
數(shù)據(jù)挖掘的典型結(jié)果——制造業(yè)
問(wèn)題描述:如何對(duì)市場(chǎng)進(jìn)行細(xì)分,使產(chǎn)品滿足最有價(jià)值客戶
結(jié)果描述:(Koholen聚類)
數(shù)據(jù)挖掘的典型結(jié)果——政府
問(wèn)題描述:如何從眾多申請(qǐng)經(jīng)費(fèi)或者納稅中發(fā)現(xiàn)欺詐
結(jié)果描述:(回歸、神經(jīng)網(wǎng)絡(luò))
檢驗(yàn)的形式
方法層面的檢驗(yàn)
訓(xùn)練集和檢驗(yàn)集
不同方法的互相印證和比較
模型準(zhǔn)確性的檢驗(yàn):
商業(yè)層面上的檢驗(yàn)
利潤(rùn)率的檢驗(yàn)
模型結(jié)果可操作性的檢驗(yàn)
其他檢驗(yàn)
關(guān)注那些錯(cuò)誤的預(yù)測(cè)
數(shù)據(jù)挖掘不成功的幾種可能性
糟糕的數(shù)據(jù)
組織抵制
結(jié)果沒(méi)有被有效的發(fā)布
得到了無(wú)用的結(jié)果
模型發(fā)布的形式
書(shū)面報(bào)告
數(shù)據(jù)庫(kù)更新
針對(duì)特定主題的應(yīng)用系統(tǒng)
數(shù)據(jù)挖掘的體系結(jié)構(gòu)
二、Clementine概述
Clementine在數(shù)據(jù)挖掘中的地位
Clementine發(fā)展歷史
Clementine的配置
Clementine操作基礎(chǔ)
數(shù)據(jù)挖掘的一般流程及數(shù)據(jù)挖掘軟件在數(shù)據(jù)挖掘過(guò)程中的地位
數(shù)據(jù)挖掘方法論——項(xiàng)目順利實(shí)施的保證
Clementine發(fā)展歷程
Clementine是ISL (Integral Solutions Limited)公司開(kāi)發(fā)的數(shù)據(jù)挖掘工具平臺(tái)
1998年SPSS公司收購(gòu)了ISL公司,對(duì)Clementine產(chǎn)品進(jìn)行重新整合和開(kāi)發(fā),現(xiàn)在Clementine已經(jīng)成為SPSS公司的又一亮點(diǎn)
Clementine的軟件構(gòu)成
Clementine Client;
Clementine Server;
Clementine Batch;
SPSS Data Access Pack;
Clementine Solution Publisher (Optional)。
Clementine的兩種運(yùn)行方式
單機(jī)版運(yùn)行
以下情況必須使用單機(jī)版運(yùn)行:
數(shù)據(jù)存儲(chǔ)在本機(jī),且不能在網(wǎng)絡(luò)上共享;
機(jī)器不聯(lián)網(wǎng);
無(wú)Clementine Server可供使用。
以下情況可以使用單機(jī)版運(yùn)行:
要處理的數(shù)據(jù)量很。ū热纾盒∮2M)并且數(shù)據(jù)存儲(chǔ)在單機(jī)或可到達(dá)局域網(wǎng)處;
單機(jī)內(nèi)存、硬盤相對(duì)要處理的數(shù)據(jù)量來(lái)說(shuō)足夠大,并且速度也滿足要求。
Clementine的系統(tǒng)結(jié)構(gòu)
Clementine運(yùn)行的兩種方式
圖形界面方式
適用操作系統(tǒng)
Windows系列
特點(diǎn):
圖形化界面
與客戶直接交互
適合交互式分析過(guò)程
Clementine的界面和設(shè)計(jì)思路
可視化界面
四個(gè)區(qū)域分別是建模區(qū)、結(jié)點(diǎn)區(qū)、模型描述區(qū)、項(xiàng)目管理區(qū)
通過(guò)連接結(jié)點(diǎn)構(gòu)成數(shù)據(jù)流建立模型
Clementine通過(guò)6類結(jié)點(diǎn)的連接完成數(shù)據(jù)挖掘工作,它們是:
Source(源結(jié)點(diǎn)):Database、Var. Files等
Record Ops (記錄處理結(jié)點(diǎn)):Select、Sample等`
Field Ops(字段處理結(jié)點(diǎn)):Type、Filter等
Graphs(圖形結(jié)點(diǎn)):Plot、Distribute等
Modeling(模型結(jié)點(diǎn)):Neural Net、C5.0等
Output(輸出結(jié)點(diǎn)):Table、Matrix等
Clementine操作基本知識(shí)
鼠標(biāo)應(yīng)用
三鍵與雙鍵鼠標(biāo)
左鍵 選擇節(jié)點(diǎn)或圖標(biāo)置于建模區(qū)
右鍵 激活浮動(dòng)菜單
中鍵 連接或斷開(kāi)兩個(gè)節(jié)點(diǎn)
幫助
Clementine操作基本知識(shí)
節(jié)點(diǎn)的增加,以 為例
Click “Sources”,Click ,Click “流區(qū)域”
Click “Sources”,Double Click
Click “Sources”,Drag to “流區(qū)域”
節(jié)點(diǎn)的刪除
Click , Delete
Right Click ,Click “Delete”
節(jié)點(diǎn)的移動(dòng):Drag
Clementine操作基本知識(shí)
節(jié)點(diǎn)的編輯
Double Click
Right Click ,Click “Edit”
節(jié)點(diǎn)的重命名和解釋
Right Click ,Click “Edit”,Click “Annotations”
Double Click ,Click “Annotations”
Right Click ,Click “Rename and Annotations”
拷貝、粘貼
Clementine操作基本知識(shí)
構(gòu)建流時(shí)節(jié)點(diǎn)的連接
Highlight ,Add to the Canvas
Right Click ,Click “Connect”,Click
Drag the middle mutton from to
構(gòu)建流時(shí)節(jié)點(diǎn)連接的刪除
Right Click or , Click “Disconnect”
Right Click “Connection”,Click “Delete Connection”
Double Click or
Clementine操作基本知識(shí)
流的執(zhí)行
Highlight “Stream”,Click
Right Click ,Click “Execute”
In the Edit Window of the , Click “Execute”
流的保存
幫助
Help Menu
Dialogue Window
Clementine的優(yōu)化
包括兩個(gè)方面的優(yōu)化
結(jié)構(gòu)優(yōu)化
用戶優(yōu)化
結(jié)構(gòu)優(yōu)化
把中間結(jié)果存儲(chǔ)在Server上(盡量使用server版處理)
從數(shù)據(jù)流上整理考慮的執(zhí)行數(shù)據(jù)流(能一步完成的處理盡量不要分解到多個(gè)執(zhí)行)
減少數(shù)據(jù)的遷移(數(shù)據(jù)提前進(jìn)行規(guī)劃)
用戶優(yōu)化
自動(dòng)優(yōu)化數(shù)據(jù)流:當(dāng)使用這一選項(xiàng)時(shí),Clementine將重寫(xiě)數(shù)據(jù)流以使效率最高(可以通過(guò)Clementine Server中的sql_rewriting_enabled來(lái)調(diào)整是否可以使用)
優(yōu)化的SQL生成。使盡可能的操作在數(shù)據(jù)庫(kù)內(nèi)進(jìn)行。
優(yōu)化Clementine執(zhí)行。調(diào)整數(shù)據(jù)降維的操作盡可能接近數(shù)據(jù)源完成。
手動(dòng)優(yōu)化數(shù)據(jù)流
操作順序:有些操作可以在SQL中完成,有些操作不能在SQL中完成,盡可能把能夠在SQL中完成的一起排在前面
數(shù)據(jù)類型:盡可能在源節(jié)點(diǎn)處由用戶自定義數(shù)據(jù)類型,而不是Clementine自動(dòng)讀取。
問(wèn)題的提出
如何通過(guò)數(shù)據(jù)挖掘?qū)崿F(xiàn)小靈通信用級(jí)別的判斷系統(tǒng)
某電信公司按照某種標(biāo)準(zhǔn)將小靈通客戶信用等級(jí)分為5類,分別是gradeA、gradeB 、gradeC、gradeX、gradeY,F(xiàn)在希望建立一套系統(tǒng),能夠使得市場(chǎng)部人員根據(jù)用戶的幾項(xiàng)關(guān)鍵的個(gè)人基本信息判斷該客戶的信用級(jí)別,從而有針對(duì)性地對(duì)其采用不同的市場(chǎng)營(yíng)銷策略。
數(shù)據(jù)描述
遵循CRISP-DM的數(shù)據(jù)挖掘過(guò)程
在進(jìn)行數(shù)據(jù)挖掘過(guò)程中應(yīng)該注意的幾個(gè)問(wèn)題
商業(yè)經(jīng)驗(yàn)的作用
數(shù)據(jù)的拆分——訓(xùn)練集與檢驗(yàn)集
不同模型的印證與比較
結(jié)果發(fā)布
信用級(jí)別靜態(tài)列表
信用級(jí)別寫(xiě)回?cái)?shù)據(jù)庫(kù)
實(shí)時(shí)判斷信用級(jí)別的分析應(yīng)用
三、數(shù)據(jù)理解:數(shù)據(jù)的可視化和報(bào)告
數(shù)據(jù)組織形式
數(shù)據(jù)圖形展現(xiàn)
數(shù)據(jù)表格展現(xiàn)
數(shù)據(jù)挖掘要求的數(shù)據(jù)格式
數(shù)據(jù)尺度
根據(jù)數(shù)據(jù)的不同,可以把變量分為以下一些類型
定類變量
例如:客戶編號(hào)、性別、郵編等
不能比較大小
定序變量
產(chǎn)品等級(jí)、信用級(jí)別、客戶收入水平分類等
可以比較大小、不能進(jìn)行加減運(yùn)算
定距變量
出生日期、溫度等
可以進(jìn)行加減運(yùn)算、不能進(jìn)行乘除運(yùn)算
定比變量
收入、長(zhǎng)度等
可以進(jìn)行乘除運(yùn)算
各類變量尺度比較
描述性統(tǒng)計(jì)量
描述統(tǒng)計(jì)量(summary statistic),也稱匯總統(tǒng)計(jì)量或概括統(tǒng)計(jì)量
用少量數(shù)字概括大量數(shù)據(jù)的技術(shù)
離散變量的描述性統(tǒng)計(jì)
頻數(shù)
累計(jì)頻數(shù)
頻率
累計(jì)頻率(累計(jì)必須是定序變量)
連續(xù)變量的描述指標(biāo)
反映數(shù)據(jù)平均趨勢(shì)和位置的指標(biāo)
反映數(shù)據(jù)離散趨勢(shì)的指標(biāo)
反映數(shù)據(jù)分布狀況的指標(biāo)
反映連續(xù)數(shù)據(jù)平均趨勢(shì)的指標(biāo)
平均數(shù)
算術(shù)平均數(shù)
幾何平均數(shù)
截尾算術(shù)平均數(shù):比較穩(wěn)健有效地描述平均值
中位數(shù):(代表群體基本的趨勢(shì),集中的趨勢(shì))
眾數(shù)(多用于離散變量)
四分位數(shù)(25%,50%,75%)
百分位數(shù)
平均數(shù)與中位數(shù)的結(jié)合使用
對(duì)5個(gè)數(shù)值表示的內(nèi)容說(shuō)法有些不同
反映連續(xù)數(shù)據(jù)離散趨勢(shì)的指標(biāo)
極差(全距)range =max-min
內(nèi)距 50%的差距
方差 :更適合離散趨勢(shì)的描述(趨勢(shì)放大)
標(biāo)準(zhǔn)差
變異系數(shù):標(biāo)準(zhǔn)差/均值,值越大,則離散程度越大。
平均數(shù)與標(biāo)準(zhǔn)差的應(yīng)用
切比雪夫定理
在任何一個(gè)數(shù)據(jù)集中,至少有(1-1/z2 )的數(shù)據(jù)項(xiàng)與平均數(shù)的距離在z個(gè)標(biāo)準(zhǔn)差之內(nèi),其中z是任意大于1的值。
切比雪夫定理含義
1.至少75%的數(shù)據(jù)項(xiàng)與平均數(shù)的距離在2個(gè)標(biāo)準(zhǔn)差之內(nèi);
2.至少89%的數(shù)據(jù)項(xiàng)與平均數(shù)的距離在3個(gè)標(biāo)準(zhǔn)差之內(nèi);(6西格瑪質(zhì)量管理應(yīng)用)
3.至少94%的數(shù)據(jù)項(xiàng)與平均數(shù)的距離在4個(gè)標(biāo)準(zhǔn)差之內(nèi)。
連續(xù)變量的經(jīng)驗(yàn)法則
正態(tài)分布是一種最常用的連續(xù)型分布
關(guān)于正態(tài)分布的經(jīng)驗(yàn)法則
1.約68%的數(shù)據(jù)項(xiàng)與平均數(shù)的距離在1個(gè)標(biāo)準(zhǔn)差之內(nèi);
2.約95%的數(shù)據(jù)項(xiàng)與平均數(shù)的距離在2個(gè)標(biāo)準(zhǔn)差之內(nèi);
3.幾乎全部數(shù)據(jù)項(xiàng)(99.97%)與平均數(shù)的距離在3個(gè)標(biāo)準(zhǔn)差之內(nèi)。
切比雪夫和經(jīng)驗(yàn)法則的應(yīng)用
問(wèn)題
某單位有100個(gè)人,他們的平均身高是170cm,標(biāo)準(zhǔn)差為5cm,那么有多少人的身高是落在160cm-180cm這個(gè)區(qū)間里的呢?
經(jīng)驗(yàn)法則的應(yīng)用
根據(jù)切比雪夫定理,該單位至少有75%的人身高在160cm—180cm這個(gè)區(qū)間里
根據(jù)正態(tài)分布經(jīng)驗(yàn)法則,該單位大約有95%的人身高在160cm—180cm這個(gè)區(qū)間里
反映連續(xù)數(shù)據(jù)分布狀況的指標(biāo)
偏度
峰度
圖形展現(xiàn)數(shù)據(jù)
圖形技術(shù)的應(yīng)用
圖形可以用來(lái)直觀的展示數(shù)據(jù)的分布特征和取值情況
常見(jiàn)的描述離散變量的圖形有
條形圖 餅形圖
常見(jiàn)的描述連續(xù)變量的圖形有
直方圖
常見(jiàn)的描述兩個(gè)離散變量之間關(guān)系的圖形有
Web圖 條形圖
常見(jiàn)的描述兩個(gè)連續(xù)變量之間關(guān)系的圖形有
散點(diǎn)圖
常見(jiàn)的描述一個(gè)離散變量和一個(gè)連續(xù)變量之間關(guān)系的圖形是
條形圖
通過(guò)圖形可以表現(xiàn)多個(gè)變量之間的關(guān)系
Chapter 2
Clementine 簡(jiǎn)介
Chapter 2 Clementine 簡(jiǎn)介
目的:
初步了解Clementine軟件
內(nèi)容:
2.1 SPSS Clementine C/S
2.2 SPSS Clementine 面板
2.3 SPSS Clementine 可視化程序使用基礎(chǔ)
節(jié)點(diǎn)
SPSS file 節(jié)點(diǎn)
Table 節(jié)點(diǎn)
2.1 Clementine C/S
啟動(dòng):
Start..Programs..Clementine 8.1 …
Clementine and Clementine Server
Tools…Server Login
2.2 Clementine 面板
第二講:數(shù)據(jù)簡(jiǎn)單準(zhǔn)備與理解
數(shù)據(jù)準(zhǔn)備之讀入數(shù)據(jù)
數(shù)據(jù)理解之?dāng)?shù)據(jù)質(zhì)量
數(shù)據(jù)理解之?dāng)?shù)據(jù)分布
Chapter 3
讀取數(shù)據(jù)文件
Chapter 3 讀取數(shù)據(jù)文件
目的
掌握Clementine如何讀取文本格式數(shù)據(jù)
了解Clementine可以讀取的數(shù)據(jù)格式
掌握Clementine中的字段類型和方向
數(shù)據(jù)
Smallsamplecomma.com
Chapter 3 讀取數(shù)據(jù)文件
內(nèi)容及節(jié)點(diǎn):
3.1 Clementine可以讀取的數(shù)據(jù)格式
3.2 讀取文本數(shù)據(jù)與查看數(shù)據(jù)
3.3 讀取SPSS數(shù)據(jù)
3.4 讀取數(shù)據(jù)庫(kù)數(shù)據(jù)(專用spss配置的鏈接)
3.5 Clementine中的字段類型
3.6 Clementine中的字段方向
3.7 保存Clementine流
3.1 Clementine可以讀取的數(shù)據(jù)格式
文本格式數(shù)據(jù)
SPSS/SAS數(shù)據(jù)
Excel,Access,dBase,F(xiàn)oxpro,Oracle,SQL Server,DB2等數(shù)據(jù)庫(kù)(每次只能讀一個(gè)表)
用戶輸入數(shù)據(jù)
3.2 讀取文本數(shù)據(jù)與查看數(shù)據(jù)
3.2 讀取文本數(shù)據(jù)與查看數(shù)據(jù)
3.2 讀取文本數(shù)據(jù)與查看數(shù)據(jù)
3.2 讀取文本數(shù)據(jù)與查看數(shù)據(jù)
3.2 讀取文本數(shù)據(jù)與查看數(shù)據(jù)
3.3 讀取SPSS數(shù)據(jù)
變量標(biāo)簽
值標(biāo)簽
3.4 讀取數(shù)據(jù)庫(kù)數(shù)據(jù)
ODBC設(shè)置
3.5 Clementine中的字段類型
離散型
二分 eg:sex:m/f
多分 eg:等級(jí):好/中/差
離散 eg:
連續(xù)型
整數(shù)
實(shí)數(shù)
日期、時(shí)間
其它
3.6 Clementine中的字段方向
3.7 讀取其它格式的數(shù)據(jù)
Sas
Fixed text file:同一字段在各行的同一列
Chapter 4
數(shù)據(jù)理解之?dāng)?shù)據(jù)質(zhì)量
Chapter 4 數(shù)據(jù)理解之?dāng)?shù)據(jù)質(zhì)量
目的:
掌握如何應(yīng)用Clementine發(fā)現(xiàn)數(shù)據(jù)的準(zhǔn)確性、完整性
熟悉用于數(shù)據(jù)質(zhì)量分析的幾個(gè)節(jié)點(diǎn)
內(nèi)容:
4.1 數(shù)據(jù)理解
4.2 缺失值定義
4.3 Quality節(jié)點(diǎn)介紹
4.4 Distribution節(jié)點(diǎn)----初步理解字符型字段的分布
4.5 Histogram/Statistics節(jié)點(diǎn)----初步理解數(shù)值型字段的分布
數(shù)據(jù):
Smallsamplemissing.txt
Risk.txt
4.1 數(shù)據(jù)理解
在數(shù)據(jù)挖掘之前,理解數(shù)據(jù)的取值范圍及數(shù)值分布是非常重要的
Histogram/Statistics
Distribution
數(shù)據(jù)質(zhì)量越高,挖掘結(jié)果準(zhǔn)確性越高
Quality
4.2 缺失值定義
Missing values are values in the data set that are unknown, uncollected, or incorrectly entered. They are invalid for their fields.
缺失值的定義:type節(jié)點(diǎn)
系統(tǒng)默認(rèn)缺失值----on
Null----數(shù)值型字段----空值----“”----“$Null”
Empty String ----字符型字段----空值----“”
White Space ----字符型字段----空值以及空格值----“”或“ ”----包括Empty String
指定缺失值----Blank Value
系統(tǒng)默認(rèn)缺失值
指定特殊缺失值----“99”
缺失值的檢查:quality節(jié)點(diǎn)
4.2 缺失值定義
4.2 缺失值定義
數(shù)據(jù)缺失情況
數(shù)據(jù)量的大小
包含缺失值的字段的數(shù)量
缺失值的數(shù)量
缺失值的處理方法
忽略含缺失值的字段
忽略含缺失值的記錄
默認(rèn)值代替缺失值
根據(jù)一定規(guī)則填充缺失值
4.3 Quality節(jié)點(diǎn)介紹
查看缺失值情況
查看各類型缺失值的分布情況
Blank Value的指定
4.3 Quality節(jié)點(diǎn)介紹
Quality結(jié)果
4.4 Distribution節(jié)點(diǎn)----初步理解字符型字段的分布
單個(gè)字段的值分布
例:人群中各種風(fēng)險(xiǎn)等級(jí)人數(shù)及百分比
與其它分類字段合并
例:分性別顯示各種風(fēng)險(xiǎn)等級(jí)人數(shù)及百分比
例:各種風(fēng)險(xiǎn)等級(jí)中男性女性各占比例
4.5 Histogram/Statistics節(jié)點(diǎn)----初步理解數(shù)值型字段的分布
單個(gè)字段的值分布
例:人群收入水平
與其它分類字段合并
例:顯示各種風(fēng)險(xiǎn)等級(jí)的收入水平
例:顯示各收入水平的各風(fēng)險(xiǎn)等級(jí)比例
Chapter 5
簡(jiǎn)單數(shù)據(jù)整理
Chapter 5 簡(jiǎn)單數(shù)據(jù)整理
目的:
掌握Clementine中的數(shù)據(jù)整理技術(shù)
熟悉用于數(shù)據(jù)整理的幾個(gè)節(jié)點(diǎn)
內(nèi)容
5.1 Clem語(yǔ)言簡(jiǎn)介
5.2 Select節(jié)點(diǎn)介紹
5.3 Filter節(jié)點(diǎn)介紹
5.4 Derive節(jié)點(diǎn)介紹
5.5 自動(dòng)生成操作節(jié)點(diǎn)
數(shù)據(jù)
Risk.txt
SmallSampleMissing.txt
5.1 Clem語(yǔ)言簡(jiǎn)介
Clementine Language of Expression Manipulation
應(yīng)用節(jié)點(diǎn):Derive導(dǎo)出, Select選擇, Filter過(guò)濾
構(gòu)建材料:函數(shù)、符號(hào)、數(shù)字、字段
記錄敏感:對(duì)每條記錄返回值(整數(shù)、實(shí)數(shù)、布爾值、字符值、日期、時(shí)間)或評(píng)估是否滿足條件
兩種表達(dá)式:條件表達(dá)式與計(jì)算表達(dá)式
5.2 Select節(jié)點(diǎn)介紹
用于根據(jù)一定條件選擇或丟棄某些記錄
CLEM構(gòu)建
5.3 Filter節(jié)點(diǎn)介紹
對(duì)某些字段進(jìn)行重命名或丟棄某些無(wú)意義的字段
無(wú)意義字段
缺失值占大比例
所有記錄有相同值
中間過(guò)程生成的中間變量
5.4 Derive節(jié)點(diǎn)介紹
根據(jù)原有字段值生成新字段值
按公式生成字段
生成二分型字段
生成多分型字段
對(duì)所有記錄按同樣標(biāo)準(zhǔn)生成新字段
對(duì)不同記錄按不同標(biāo)準(zhǔn)生成新字段
對(duì)多個(gè)字段進(jìn)行同一轉(zhuǎn)換
5.4 Derive節(jié)點(diǎn)介紹
5.5 自動(dòng)生成操作節(jié)點(diǎn)
自動(dòng)生成“Select”
自動(dòng)生成“Filter”
第三講主要內(nèi)容
數(shù)據(jù)理解之?dāng)?shù)據(jù)關(guān)系探測(cè)
基本建模方法簡(jiǎn)要介紹
Chapter 6
數(shù)據(jù)理解之
數(shù)據(jù)間簡(jiǎn)單關(guān)系
Chapter 6 數(shù)據(jù)理解之?dāng)?shù)據(jù)間簡(jiǎn)單關(guān)系
目的:
掌握如何理解字段間關(guān)系
熟悉用于字段關(guān)系理解的幾個(gè)節(jié)點(diǎn)
內(nèi)容
6.1 Matrix節(jié)點(diǎn)----研究字符型字段間關(guān)系
6.2 Web節(jié)點(diǎn)----研究字符型字段間關(guān)系
6.3 Statistics節(jié)點(diǎn)----研究連續(xù)型字段間線性相關(guān)關(guān)系
6.4 Plot節(jié)點(diǎn)----研究連續(xù)型字段間關(guān)系
6.5 Histogram節(jié)點(diǎn)----研究連續(xù)型字段與字符型字段的關(guān)系
數(shù)據(jù)
Risk.txt
Chapter 6 數(shù)據(jù)理解之?dāng)?shù)據(jù)間簡(jiǎn)單關(guān)系
解決問(wèn)題
風(fēng)險(xiǎn)等級(jí)是否與收入有關(guān)
風(fēng)險(xiǎn)等級(jí)是否與性別有關(guān)
如果一個(gè)人的信用卡數(shù)量較多,是否意味著它欺詐的可能性也大
6.1 Matrix節(jié)點(diǎn)----研究字符型字段間關(guān)系
解決問(wèn)題
月付款的人是否比周付款的人風(fēng)險(xiǎn)程度更高
男性是否比女性風(fēng)險(xiǎn)程序更高
Matrix節(jié)點(diǎn):
交叉表(列聯(lián)表)來(lái)顯示字符型數(shù)據(jù)間關(guān)系
行字段與列字段的選擇
顯示百分比
6.1 Matrix節(jié)點(diǎn)----研究字符型字段間關(guān)系
6.2 Web節(jié)點(diǎn)----研究字符型字段間關(guān)系
例:婚姻狀態(tài)、抵押貸款等是否與風(fēng)險(xiǎn)等級(jí)有關(guān)
幾個(gè)小概念:
人數(shù)
總數(shù)百分比
大類百分比
小類百分比
強(qiáng)、中、弱相關(guān)關(guān)系
結(jié)果解讀
6.2 Web節(jié)點(diǎn)----研究字符型字段間關(guān)系
6.3 Statistics節(jié)點(diǎn)----研究連續(xù)型字段間線性相關(guān)關(guān)系
例:收入是否隨年齡呈線性增長(zhǎng)
Statistics節(jié)點(diǎn)設(shè)置
結(jié)果解讀
注意:
線性相關(guān)關(guān)系而非相關(guān)關(guān)系(線形相關(guān)是相關(guān)關(guān)系的一種,其他相關(guān)關(guān)系最終需要轉(zhuǎn)化為線形相關(guān)來(lái)研究)
6.3 Statistics節(jié)點(diǎn)----研究連續(xù)型字段間線性相關(guān)關(guān)系
6.4 Plot節(jié)點(diǎn)----研究連續(xù)型字段間關(guān)系
例:顯示孩子數(shù)目與貸款數(shù)目的關(guān)系
用點(diǎn)的大小來(lái)反映其代表記錄的多少
用點(diǎn)的密度來(lái)反映其代表記錄的多少
用不同顏色的點(diǎn)來(lái)反映不同類別的記錄
6.4 Plot節(jié)點(diǎn)----研究連續(xù)型字段間關(guān)系
6.5 Histogram節(jié)點(diǎn)----研究連續(xù)型字段與字符型字段的關(guān)系
例:不同風(fēng)險(xiǎn)等級(jí)的人的收入情況
顯示某收入水平的各風(fēng)險(xiǎn)等級(jí)人數(shù)
顯示某收入水平----各風(fēng)險(xiǎn)等級(jí)在該收入水平所占的比例
表格展現(xiàn)數(shù)據(jù)
表格的元素構(gòu)成
表格類型在SPSS里實(shí)現(xiàn)
堆疊表(Stacking)
嵌套表(Nesting)
交叉表(Crosstabulation)
分層表(Layers)
堆疊表
嵌套表
交叉表
分層表
把層去掉以后的效果
樞軸表技術(shù)(Pivot Tables)
Clementine表格
Chapter 7
建模技術(shù)概覽
Chapter 7 Clementine中的建模技術(shù)
目的:
了解Clementine中提供的各種建模技術(shù)
內(nèi)容
7.1 Clementine提供的模型技術(shù)
7.2 Neural Networks(神經(jīng)網(wǎng)絡(luò))
7.3 規(guī)則歸納模型
7.4 統(tǒng)計(jì)模型
7.5 聚類模型
7.6 關(guān)聯(lián)規(guī)則模型
7.7 Sequence模型
7.8 總述
7.1 Clementine提供的模型技術(shù)
幾種技術(shù):預(yù)測(cè)、聚類、關(guān)聯(lián)規(guī)則
預(yù)測(cè)技術(shù):
InputsOutput
六種方法:
Neural Networks
規(guī)則歸納:C5.0,C&RT
與時(shí)間或順序有關(guān)的關(guān)聯(lián)規(guī)則:Sequence(Capri)
統(tǒng)計(jì)學(xué):回歸、Logistic回歸
7.1 Clementine提供的模型技術(shù)
聚類技術(shù)
無(wú)Output
無(wú)監(jiān)督的學(xué)習(xí)
三種方法:
Kohonen
統(tǒng)計(jì)學(xué):K-means、TwoStep
關(guān)聯(lián)規(guī)則
Both Input and Output
三種方法
GRI,Apriori
Sequence (Capri)
7.2 Neural Networks
模仿人腦
Input/Output可以是Num,也可以是Symbolic
MLP與RBFN
劣勢(shì):黑匣子
7.3 規(guī)則歸納模型
是決策樹(shù)算法
與Neural Net相比的優(yōu)勢(shì)
結(jié)果好解釋
自動(dòng)刪除無(wú)意義的Input字段
主要是根據(jù)結(jié)果變量值對(duì)數(shù)據(jù)按Input進(jìn)行細(xì)分
有兩種結(jié)果形式:決策樹(shù)形式或規(guī)則集形式
7.4 統(tǒng)計(jì)模型之線性回歸
統(tǒng)計(jì)模型與Neural Net相比:
嚴(yán)格的假設(shè)(如誤差正態(tài)分布)
用簡(jiǎn)單方程表達(dá)模型,便于解釋
可自動(dòng)選擇字段
無(wú)法捕捉Inputs字段間的交互作用
統(tǒng)計(jì)模型:
線性回歸
Logistic回歸
主成分分析
7.4 統(tǒng)計(jì)模型之回歸
線性回歸:
方程:Y=a+b1x1+b2x2+ +bnxn
原理:尋找使誤差平方和最小的系數(shù)
Output字段----Numeric輸出必須是連續(xù)型
Input字段----Numeric/Symbolic
Logistic回歸:
方程
原理:尋找使誤差平方和最小的系數(shù)
回歸系數(shù)隨結(jié)果值而改變,與NN,RI相比,不適合復(fù)雜數(shù)據(jù)
Output字段----Symbolic輸出必須是離散性
Input字段----Numeric/Symbolic
7.4 統(tǒng)計(jì)模型之主成分分析
數(shù)據(jù)降維技術(shù):
用少量不相關(guān)數(shù)據(jù)(主成分)來(lái)代替大量相關(guān)數(shù)據(jù)(原始數(shù)據(jù))作分析
主成分是原始數(shù)據(jù)的線性組合
更可能與統(tǒng)計(jì)分析方法合并使用(相對(duì)于機(jī)器學(xué)習(xí)),尤其是在多個(gè)等級(jí)分類字段
可用于預(yù)測(cè)模型或聚類分析之前
7.5 聚類模型
發(fā)現(xiàn)有相似值記錄的群體
多用于市場(chǎng)(細(xì)分客戶)和其它商業(yè)應(yīng)用
與主成分分析相似,多用于預(yù)測(cè)模型之前
無(wú)監(jiān)督學(xué)習(xí)(無(wú)output)
三種聚類分析方法:
Kohonen
K-means
TwoStep
7.5 聚類模型
Kohonen聚類
是一種實(shí)施無(wú)監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)算法
一維或二維網(wǎng)格,各神經(jīng)元相互連接
K-means聚類
又稱為快速聚類,(速度快,適合大量數(shù)據(jù))
用戶指定類別數(shù)
與記錄順序有關(guān)(小數(shù)據(jù)量與記錄順序無(wú)關(guān),大數(shù)據(jù)需要先執(zhí)行一定程序找出數(shù)據(jù)各類別中心)
TwoStep聚類
用戶指定范圍,模型根據(jù)統(tǒng)計(jì)學(xué)標(biāo)準(zhǔn)自動(dòng)選擇類數(shù)
消耗機(jī)器資源少
能給出一個(gè)較好的結(jié)果
7.6 關(guān)聯(lián)規(guī)則模型
尋找數(shù)據(jù)中一起發(fā)生的事情
與Web相似,但以極快的速度發(fā)掘更復(fù)雜的模式
與規(guī)則歸納不同之處
每個(gè)規(guī)則的Output字段可能各不相同
規(guī)則可用于查看,但非預(yù)測(cè)
可生成同一output字段的規(guī)則,用于預(yù)測(cè)
與規(guī)則歸納相比,運(yùn)行較慢,可增加限制條件從而提高速度
兩種算法:Apriori,GRI(廣義規(guī)則探測(cè))
7.7 Sequence模型
與關(guān)聯(lián)規(guī)則不同之處在于尋找與時(shí)間/順序有關(guān)的規(guī)則
應(yīng)用領(lǐng)域:零售、網(wǎng)絡(luò)日志、過(guò)程改進(jìn)
用于字符型字段,數(shù)值被當(dāng)作是字符
用CARMA算法
7.8 綜述
如果要預(yù)測(cè)某個(gè)字段----有監(jiān)督的機(jī)器學(xué)習(xí)和其中一種統(tǒng)計(jì)方法(依結(jié)果字段而定)
如果想發(fā)現(xiàn)有相似行為(許多字段)的個(gè)體----聚類
關(guān)聯(lián)規(guī)則不能直接用于預(yù)測(cè),但它是一種用于理解數(shù)據(jù)內(nèi)模式的有用工具
如果對(duì)順序、時(shí)間有興趣,可用Sequence算法
7.8 綜述
如果想進(jìn)一步選擇具體的預(yù)測(cè)技術(shù),依賴于目的字段,output字段與input字段間關(guān)系
有一定經(jīng)驗(yàn)規(guī)律,但不是規(guī)則
Clementine的優(yōu)勢(shì)之處在于建模的簡(jiǎn)單
Clementine只能發(fā)現(xiàn)數(shù)據(jù)內(nèi)存在的關(guān)系,如果數(shù)據(jù)本身不相關(guān)聯(lián),不可能提取出一個(gè)模型
數(shù)據(jù)挖掘是一個(gè)迭代、重復(fù)的過(guò)程
第四講:預(yù)測(cè)建模技術(shù)
神經(jīng)網(wǎng)絡(luò)模型技術(shù)
決策樹(shù)模型技術(shù)
回歸分析技術(shù)
模型間評(píng)估技術(shù)
預(yù)測(cè)的重要性
在當(dāng)今充滿競(jìng)爭(zhēng)的社會(huì)里,一個(gè)企業(yè)如果能準(zhǔn)確地預(yù)知其未來(lái),那么其生存機(jī)會(huì)將大大增加,預(yù)測(cè)科學(xué)就是處理對(duì)未來(lái)的預(yù)測(cè)等問(wèn)題的學(xué)科。
預(yù)測(cè)相關(guān)注意事項(xiàng)
預(yù)測(cè)對(duì)象所在的環(huán)境常常處于動(dòng)態(tài)變化之中,一些不可知事件會(huì)對(duì)預(yù)測(cè)結(jié)果造成很大影響;
被用來(lái)進(jìn)行預(yù)測(cè)的數(shù)據(jù)常常是不穩(wěn)定、不確定和不完全的,由其來(lái)源和收集的方式所決定;
不同的時(shí)間區(qū)域常常需要不同的預(yù)測(cè)方法,形式上難以統(tǒng)一;
因?yàn)椴煌念A(yù)測(cè)方法在復(fù)雜性、數(shù)據(jù)要求以及準(zhǔn)確程度上均不同,因此選擇一個(gè)合適的預(yù)測(cè)方法是很困難的。
Chapter 8
Neural Networks
Chpater 8 Neural Networks
目的:
掌握如何在Clementine中進(jìn)行Neural Network 模型的構(gòu)建和解讀
掌握Neural Network節(jié)點(diǎn)
數(shù)據(jù):Risktrain.txt
Chpater 8 Neural Networks
內(nèi)容
8.1 Neural Net節(jié)點(diǎn)介紹
8.2 構(gòu)建Neural Network
8.3 模型管理區(qū)介紹
8.4 結(jié)果查看和結(jié)果解釋
8.5 模型預(yù)測(cè)值生成
8.6 模型評(píng)價(jià)
8.7 理解預(yù)測(cè)原因
8.8 模型總結(jié)
神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)技術(shù)
8.1 Neural Net節(jié)點(diǎn)介紹
字段方向----Type節(jié)點(diǎn)或表
In----X字段----自變量字段
Out----Y字段----結(jié)果字段----聚類、主成分分析除外
Both----自變量和結(jié)果字段----關(guān)聯(lián)規(guī)則或順序算法
None----不用字段
ID----typeless----None
五種Neural Net方法,默認(rèn)Quick
過(guò)度訓(xùn)練(長(zhǎng)時(shí)間接觸同一個(gè)數(shù)據(jù)源,并用同樣特征去描述其他數(shù)據(jù)集,結(jié)果往往錯(cuò)誤)
停止規(guī)則(避免過(guò)度訓(xùn)練)
字段的相對(duì)重要性分析
避免過(guò)度訓(xùn)練問(wèn)題選擇測(cè)試集錯(cuò)誤較低,或者兩集錯(cuò)誤交叉點(diǎn)
8.2 構(gòu)建Neural Network
例:用age、sex、income等來(lái)預(yù)測(cè)客戶的風(fēng)險(xiǎn)等級(jí)
8.3 模型管理區(qū)介紹
瀏覽模型結(jié)果
導(dǎo)出模型代碼
將模型載入數(shù)據(jù)流
將模型導(dǎo)入項(xiàng)目管理區(qū)
保存、清除、裝載模型管理區(qū)
8.4 結(jié)果查看和結(jié)果解釋
結(jié)果的瀏覽:Right click generated “model”
模型準(zhǔn)確性
輸入字段或?qū)?span style="display:none">ksZ紅軟基地
輸出字段或?qū)?span style="display:none">ksZ紅軟基地
各輸入字段的相對(duì)重要性
8.5 模型預(yù)測(cè)值生成
8.6 模型評(píng)價(jià)----預(yù)測(cè)值與實(shí)際值的比較
利用Matrix比較,通常關(guān)注的不是整體,例如欠費(fèi)用戶群而不是整個(gè)用戶群。
8.6 模型評(píng)價(jià)
Evaluation Node----評(píng)估比較模型,以選擇最優(yōu)模型
Evaluation 的原理:將數(shù)據(jù)按預(yù)測(cè)值和置信度從高到低排序,將數(shù)據(jù)拆分為多個(gè)集合,每集合包含相同的記錄數(shù),然后作圖。
關(guān)注值:flag變量的真值,set變量的第一個(gè)值
五種圖形:收益圖、功效圖、響應(yīng)圖、投資回報(bào)圖、利潤(rùn)圖
8.6 模型評(píng)價(jià)
8.7 理解預(yù)測(cè)原因
Web節(jié)點(diǎn)--Symbolic Input & Symbolic Output
Distribuiton節(jié)點(diǎn)—Symbolic Input & Symbolic Output
Histogram節(jié)點(diǎn)--Numeric Input & Symbolic Output
8.8 模型總結(jié)
預(yù)測(cè)風(fēng)險(xiǎn)中最重要因素是婚姻狀態(tài)和收入
離異、單身、鰥寡人士可能是壞客戶
神經(jīng)網(wǎng)絡(luò)模型,高收入人群是好客戶,但這一點(diǎn)并不與實(shí)際相符,如此預(yù)測(cè),可能會(huì)給銀行帶來(lái)?yè)p失
題外話:可用驗(yàn)證數(shù)據(jù)集,利用分析節(jié)點(diǎn)、評(píng)估節(jié)點(diǎn)、Matrix節(jié)點(diǎn)對(duì)模型進(jìn)行評(píng)估
Chapter 9
規(guī)則歸納模型
決策樹(shù)技術(shù)
Chapter 9 規(guī)則歸納模型
目的:
掌握如何在Clementine中進(jìn)行規(guī)則歸納模型的構(gòu)建和解讀
掌握C5.0節(jié)點(diǎn)
數(shù)據(jù)
Risktrain.txt
Chapter 9 規(guī)則歸納模型
內(nèi)容
9.1 C5.0、C&RT介紹
9.2 構(gòu)建C5.0模型
9.3 C5.0 決策樹(shù)型結(jié)果瀏覽和解釋
9.4 C5.0 規(guī)則集型結(jié)果瀏覽和解釋
9.5 模型預(yù)測(cè)值生成
9.6 模型評(píng)價(jià)
9.7 模型總結(jié)
9.1 C5.0、C&RT介紹
C5.0與C&RT的相似之處:構(gòu)建決策樹(shù),按照自變量與結(jié)果變量的關(guān)系將數(shù)據(jù)拆分成各子群
C5.0與C&RT的不同之處:
9.2 構(gòu)建C5.0模型
模型的準(zhǔn)確性與一般性
模型的驗(yàn)證方法
交叉驗(yàn)證(分散數(shù)據(jù)集,不斷用新數(shù)據(jù)去驗(yàn)證)
模型結(jié)果字段值的減少(輸入變量最終并非全部進(jìn)入模型)
建立多個(gè)模型:
耗時(shí)長(zhǎng)
難以解釋結(jié)果
9.2 構(gòu)建C5.0模型
9.3 C5.0 決策樹(shù)型結(jié)果瀏覽和解釋
結(jié)果:
決策樹(shù)、模型形式
可分支的子根
眾數(shù)
顯示例數(shù)與置信度
繼承性
9.4 C5.0 規(guī)則集型結(jié)果瀏覽和解釋
9.5 模型預(yù)測(cè)值生成
9.6 模型評(píng)價(jià)----預(yù)測(cè)值與實(shí)際值的比較
利用Matrix來(lái)比較預(yù)測(cè)值與實(shí)際值
9.6 模型評(píng)價(jià)----不同值的收益圖
9.7 模型總結(jié)
C5.0使模型可以不用Web、Histogram等即可有效地理解模型
與Neural Net不同,沒(méi)有Sensitivity Analysis,但同樣可以辨別字段的重要性
決策樹(shù)的優(yōu)點(diǎn)
可以生成可以理解的規(guī)則
計(jì)算量相對(duì)來(lái)說(shuō)不是很大
可以處理連續(xù)和種類字段
決策樹(shù)可以清晰的顯示哪些字段比較重要
決策樹(shù)的缺點(diǎn)
對(duì)連續(xù)性的字段比較難預(yù)測(cè)
對(duì)有時(shí)間順序的數(shù)據(jù),需要很多預(yù)處理的工作
當(dāng)類別太多時(shí),錯(cuò)誤可能就會(huì)增加的比較快(對(duì)分類變量重新劃分,二分或者數(shù)據(jù)降維,spss聚類分析法)
一般的算法分類的時(shí)候,只是根據(jù)一個(gè)字段來(lái)分類(假設(shè)各字段間相關(guān)度不是很高)
Chapter 10
模型比較
Chpater 10 模型比較
目的
掌握如何利用Analysis節(jié)點(diǎn)進(jìn)行模型的評(píng)估
掌握如何利用驗(yàn)證數(shù)據(jù)集比較不同模型
內(nèi)容
10.1 Analysis節(jié)點(diǎn)用于比較模型
10.2 Evaluation節(jié)點(diǎn)用于比較模型
10.3 利用驗(yàn)證數(shù)據(jù)集進(jìn)行模型比較
數(shù)據(jù)
Risktrain.txt
Riskvalidation.txt
10.1 Analysis節(jié)點(diǎn)用于比較模型
10.1 Analysis節(jié)點(diǎn)用于比較模型
評(píng)估多個(gè)模型
評(píng)估各模型結(jié)果的一致性
10.2 Evaluation節(jié)點(diǎn)用于比較模型
10.2 Evaluation節(jié)點(diǎn)用于比較模型
評(píng)估多個(gè)模型
評(píng)估各模型結(jié)果的一致性
10.3 利用驗(yàn)證數(shù)據(jù)集進(jìn)行模型比較
第五講主要內(nèi)容
聚類分析模型技術(shù)
關(guān)聯(lián)規(guī)則模型技術(shù)
序列探測(cè)模型技術(shù)
Chapter 11
Kohonen Networks
Chpater 11 Kohonen Networks
目的
掌握Kohonen神經(jīng)網(wǎng)絡(luò)的建立、結(jié)果解釋
掌握Kohonen節(jié)點(diǎn)
內(nèi)容
11.1 Kohonen節(jié)點(diǎn)介紹
11.2 構(gòu)建Kohonen Networks
11.3 結(jié)果解釋
11.4 為每條記錄產(chǎn)生類別字段
11.5 結(jié)果理解
數(shù)據(jù)
Shopping.txt
Kohonen網(wǎng)絡(luò)結(jié)構(gòu)
11.1 Kohonen節(jié)點(diǎn)介紹
聚類分析
發(fā)現(xiàn)數(shù)據(jù)的總體結(jié)構(gòu)及相互關(guān)系
類間差別,類內(nèi)相似
11.2 構(gòu)建Kohonen Networks
Kohonen節(jié)點(diǎn)
字段方向設(shè)置:
購(gòu)買產(chǎn)品與否----In
其它----None / Out / Both
反饋圖:紅色越深,記錄越多
指定類別數(shù):長(zhǎng)*寬
11.3 結(jié)果解釋
Kohonen結(jié)果
X-軸
Y-軸
11.4 為每條記錄產(chǎn)生類別字段
$KX----Kohonen
$KY----Kohonen
Cluster=$KX----Kohonen><$KY----Kohonen
11.5 結(jié)果理解
各Cluster人群多少----條圖
各Cluster人群的一般特征
年齡----條圖
性別----條圖
購(gòu)買產(chǎn)品----Web圖
孩子
婚姻狀態(tài)
工作狀態(tài)
各Cluster人群總述
各種聚類方法比較
聚類分析之我見(jiàn)
聚類分析的優(yōu)勢(shì)在于:它能夠在我們對(duì)數(shù)據(jù)了解很少時(shí),提供一種了解數(shù)據(jù)的方法。發(fā)現(xiàn)個(gè)體與變量間的綜合關(guān)系。
例如:根據(jù)各省市的各種經(jīng)濟(jì)指數(shù)將所有的省市分為幾個(gè)等級(jí)。
例如:根據(jù)各種指數(shù)的取值范圍,將模式相近的指數(shù)的聚為一類。
聚類分析的缺陷在于:各類之間均值等可能有差別,但每個(gè)個(gè)體劃歸哪類更多地依賴于數(shù)字,解釋起來(lái)比較困難。
Chapter 12
關(guān)聯(lián)規(guī)則
Chpater 12 關(guān)聯(lián)規(guī)則
目的
掌握關(guān)聯(lián)規(guī)則在Clementine中的建立、結(jié)果解釋
掌握Apriori節(jié)點(diǎn)
無(wú)監(jiān)督的探索性模型
內(nèi)容
12.1 關(guān)聯(lián)規(guī)則簡(jiǎn)介
12.2 Apriori節(jié)點(diǎn)及結(jié)果解釋
12.3 產(chǎn)生特定結(jié)果的規(guī)則集
12.4 特定結(jié)果規(guī)則集應(yīng)用于各記錄
數(shù)據(jù)
Shopping.txt
12.1 關(guān)聯(lián)規(guī)則簡(jiǎn)介
解決問(wèn)題考慮的是關(guān)聯(lián),得到的是規(guī)則,處理變量之間的相關(guān),而非客戶之間)
買香煙的人是否傾向于也買巧克力或啤酒
高血脂的人是否也常伴有高血壓
買車險(xiǎn)的人是否也傾向于買房險(xiǎn)
節(jié)點(diǎn)
GRI----Numeric字段可作為輸入字段,可用于連續(xù)型變量
Apriori----只接受Symbolic字段(只能用字符型輸入)作為輸入字段
特殊之處:產(chǎn)生的模型不能直接加入數(shù)據(jù)流
12.2 Apriori節(jié)點(diǎn)及結(jié)果解釋
Apriori節(jié)點(diǎn)設(shè)置
字段類型及方向:無(wú)主次先后之分
Content1----flag----both
Content2----flag----both
Content3----flag----both
Contentn----flag----both
結(jié)果:
有多少人購(gòu)買了香煙?占總?cè)藬?shù)的百分比
其中,有多少人購(gòu)買了巧克力?占多少百分比
12.2 Apriori節(jié)點(diǎn)及結(jié)果解釋
12.3 產(chǎn)生特定結(jié)果的規(guī)則集
Generate menu
Rule set
View
12.4 特定結(jié)果規(guī)則集應(yīng)用于各記錄
Chapter 13
序列檢測(cè)
Chpater 13 序列檢測(cè)
目的
掌握Clementine如何對(duì)與時(shí)間序列有關(guān)的數(shù)據(jù)進(jìn)行建模
熟悉Sequence節(jié)點(diǎn)
也會(huì)存在規(guī)則的重復(fù)
內(nèi)容
13.1 序列檢測(cè)簡(jiǎn)介
13.2 序列檢測(cè)所要求的數(shù)據(jù)結(jié)構(gòu)
13.3 序列檢測(cè)模型
13.4 Sequence節(jié)點(diǎn)及結(jié)果解釋
13.5 Sequence結(jié)果用于各條數(shù)據(jù)
數(shù)據(jù)
Telrepair.txt
13.1 序列檢測(cè)簡(jiǎn)介
解決的問(wèn)題:與順序有關(guān)的關(guān)聯(lián)規(guī)則
Antecedent1Antecedent2 Consequent
可用節(jié)點(diǎn):Sequence、Capri
13.2 序列檢測(cè)所要求的數(shù)據(jù)結(jié)構(gòu)
數(shù)據(jù)結(jié)構(gòu)1
一個(gè)客戶一次購(gòu)買多個(gè)產(chǎn)品算一條記錄
數(shù)據(jù)結(jié)構(gòu)2
一個(gè)客戶一次購(gòu)買多個(gè)產(chǎn)品算多條記錄
13.3 序列檢測(cè)模型
Sequence與Capri二者各有優(yōu)勢(shì)
二者使用不同的算法
均可指定順序檢測(cè)標(biāo)準(zhǔn)
對(duì)于“A1””A2””C”,Capri可以不包含下列
“A1””A2”
”A2””C”
“A1””C”
13.4 Sequence節(jié)點(diǎn)及結(jié)果解釋
Sequence節(jié)點(diǎn)設(shè)置:
字段類型及方向
ID field----Numeric/Symbolic----Any
Time field----Range----In
Content fields----Set----In/out/both----多個(gè)一致
13.4 Sequence節(jié)點(diǎn)及結(jié)果解釋
結(jié)果:
在先買了A1 ,又買了A2 的客戶中,60%的人后來(lái)買 了C;
12%的客戶(48例)是先買了A1 ,又買了A2 ,最后又買了C
可對(duì)規(guī)則進(jìn)行重新排序
13.4 Sequence節(jié)點(diǎn)及結(jié)果解釋
13.5 Sequence結(jié)果用于各條數(shù)據(jù)
總結(jié)
業(yè)務(wù)問(wèn)題是關(guān)鍵
歷史數(shù)據(jù)是支撐
業(yè)務(wù)思路、數(shù)據(jù)分析思路的轉(zhuǎn)變
數(shù)據(jù)分析的常態(tài)與技巧
如何使用數(shù)據(jù)分析應(yīng)用結(jié)果是業(yè)務(wù)思路的延伸
方法永遠(yuǎn)是方法,工具永遠(yuǎn)是工具
五、 Clementine組合模型技巧
1.離散變量預(yù)測(cè)問(wèn)題;
2.離散變量模型的檢驗(yàn);
3.組合模型概述;
4.二值預(yù)測(cè)問(wèn)題的組合模型。
Clementine中提供的模型概述
離散變量預(yù)測(cè)問(wèn)題是最重要的一類問(wèn)題
離散變量預(yù)測(cè)問(wèn)題也就是分類問(wèn)題
在Clementine(8.1)中有很多模型可以做分類問(wèn)題
Neural Net
C5.0
C&RT
Logistic
連續(xù)變量預(yù)測(cè)問(wèn)題可以通過(guò)某種形式轉(zhuǎn)化為離散變量預(yù)測(cè)問(wèn)題
多值變量問(wèn)題可以轉(zhuǎn)化為兩值預(yù)測(cè)問(wèn)題
離散值預(yù)測(cè)模型的幾個(gè)重要檢驗(yàn)指標(biāo)
1.準(zhǔn)確率
2.命中率
3.覆蓋率
離散值預(yù)測(cè)模型的幾個(gè)重要檢驗(yàn)圖形
1.收益圖(Gains)
2.響應(yīng)圖(Response)
3.功效圖(Lift)
4.利潤(rùn)圖(Profit)
5.投資回報(bào)圖(ROI)
離散值預(yù)測(cè)模型的幾個(gè)重要檢驗(yàn)圖形
什么是組合模型
在數(shù)據(jù)挖掘模型中,每種模型都有各自的優(yōu)點(diǎn)和缺陷,為了更好的利用模型的優(yōu)點(diǎn),在Clementine中可以把不同模型通過(guò)一定的方式組合在一起以解決特定的問(wèn)題
為了提高模型的精確度,我們可以把多個(gè)模型通過(guò)某種方式組合在一起
組合模型類型
為了提高模型的可解釋性,可以應(yīng)用C5.0對(duì)預(yù)測(cè)或者聚類結(jié)果進(jìn)行解釋
為了得到各指標(biāo)對(duì)模型影響的重要程度,可以應(yīng)用神經(jīng)網(wǎng)絡(luò)對(duì)指標(biāo)重要性進(jìn)行分析
可以通過(guò)模型的特定組合提高模型的準(zhǔn)確性——下面以數(shù)據(jù)挖掘模型中最常用的二值預(yù)測(cè)來(lái)說(shuō)明組合模型如何能夠提供模型的準(zhǔn)確性
二值預(yù)測(cè)是數(shù)據(jù)挖掘中重要問(wèn)題
二值預(yù)測(cè)問(wèn)題是個(gè)非常常見(jiàn)的數(shù)據(jù)挖掘問(wèn)題
流失、客戶獲得、欠費(fèi)、欺詐……
多值預(yù)測(cè)可以轉(zhuǎn)化為二值預(yù)測(cè)問(wèn)題
連續(xù)預(yù)測(cè)問(wèn)題可以轉(zhuǎn)化為多值預(yù)測(cè)問(wèn)題
二值預(yù)測(cè)結(jié)果的可能表達(dá)方式
T or F,我們稱為預(yù)測(cè)值;
預(yù)測(cè)值為T,預(yù)測(cè)準(zhǔn)確率為P;或者預(yù)測(cè)值為F,預(yù)測(cè)準(zhǔn)確率為P;
T的概率為p,稱為預(yù)測(cè)評(píng)分(scoring)。
和置信度區(qū)分
例:以預(yù)測(cè)流失為例
預(yù)測(cè)客戶A流失;
預(yù)測(cè)客戶B不流失,把握程度為0.8;
預(yù)測(cè)客戶C的流失概率為0.792。
多值(set)問(wèn)題向二值問(wèn)題的轉(zhuǎn)化(flag)
多值集合變量向幾個(gè)二值變量的轉(zhuǎn)化(設(shè)為標(biāo)志)
連續(xù)預(yù)測(cè)問(wèn)題向多值預(yù)測(cè)問(wèn)題的轉(zhuǎn)化
從C&RT算法想到的……用分級(jí)節(jié)點(diǎn)
二值預(yù)測(cè)的結(jié)果表述
T or F
評(píng)分(scoring)
T->1.0
F->0.0
二值預(yù)測(cè)結(jié)果的評(píng)價(jià)
(1)總體準(zhǔn)確率
(2)命中率
(3)覆蓋率
Clementine中預(yù)測(cè)二值問(wèn)題
由預(yù)測(cè)值和預(yù)測(cè)把握程度向預(yù)測(cè)評(píng)分的轉(zhuǎn)化
練習(xí)1
對(duì)數(shù)據(jù)集data1.csv建立二值預(yù)測(cè)模型,實(shí)現(xiàn)以下目標(biāo)深圳電信/組合模型)
應(yīng)用C5.0模型得出預(yù)測(cè)模型,對(duì)模型的準(zhǔn)確率(總體準(zhǔn)確率、命中率、覆蓋率)作出描述;
應(yīng)用神經(jīng)網(wǎng)絡(luò)模型建立預(yù)測(cè)模型,練習(xí)把離散問(wèn)題連續(xù)化的方法;(提示:flag->range,T->1.0)
應(yīng)用C5.0模型建立scoring型的預(yù)測(cè)模型( 提示:$C,$CC的組合)
組合模型解決二值預(yù)測(cè)的幾種思路
投票法(Voting)——少數(shù)服從多數(shù),小概率服從大概率原則,主要目的在于提高命中率
修正法——根據(jù)預(yù)測(cè)結(jié)果與實(shí)際結(jié)果比較調(diào)整預(yù)測(cè)(多個(gè)訓(xùn)練集,一個(gè)檢驗(yàn)集)
投票法之一——多個(gè)模型一致
對(duì)于同一問(wèn)題建立不同模型,會(huì)得出不同的結(jié)果,多個(gè)模型同時(shí)預(yù)測(cè)同一結(jié)果時(shí),往往這個(gè)結(jié)果更加可信
方法的優(yōu)點(diǎn)和缺點(diǎn):
優(yōu)點(diǎn):提高模型預(yù)測(cè)精度
缺點(diǎn):會(huì)有一些記錄沒(méi)有預(yù)測(cè)結(jié)果
投票法之二——建立奇數(shù)個(gè)模型
建立奇數(shù)個(gè)預(yù)測(cè)模型
遵循少數(shù)服從多數(shù)原則
Derive node (type: Conditional)
If ‘$N-Outcome’ == ‘$C-Outcome’ or ‘$N-Outcome’ == ‘$R-Outcome’then ‘$N-Outcome’else ‘$C-Outcome’
帶$的變量需要加引號(hào)
投票法之三——更高把握程度原則
應(yīng)用那些具有更多把握程度的模型進(jìn)行預(yù)測(cè)
If ‘$CC-Outcome’ > ‘$NC-Outcome’
Then ‘$C-Outcome’
Else ‘$N-Outcome’
投票法之四——根據(jù)把握程度匯總進(jìn)行投票
建立不同模型的評(píng)分(scoring)模型
對(duì)不同模型得到評(píng)分(score)進(jìn)行平均
轉(zhuǎn)化為二值預(yù)測(cè)問(wèn)題
Converting : If all_score>0.5 then ‘T’ else ‘F’
Converting the confidence back If all_score > 0.5 Then (all_score – 0.5) * 2 Else (0.5 - all_score) * 2
練習(xí)2
應(yīng)用data2分別應(yīng)用神經(jīng)網(wǎng)絡(luò)模型、C5.0模型和C&RT模型建立二值預(yù)測(cè)模型,再按照以上4中思路建立預(yù)測(cè)模型。對(duì)于test數(shù)據(jù)完成下表:
修正法之一——模型堆疊(stacking)
把模型的預(yù)測(cè)輸出作為另外模型的輸入
修正法之二——找出錯(cuò)誤預(yù)測(cè)的規(guī)律(error modelling)
對(duì)于一個(gè)預(yù)測(cè)模型,我們能夠發(fā)現(xiàn)錯(cuò)誤預(yù)測(cè)的規(guī)律嗎?
挑出那些錯(cuò)誤的,建立模型(常常需要平衡數(shù)據(jù))
缺點(diǎn):有些記錄會(huì)沒(méi)有預(yù)測(cè)
修正法之三——多個(gè)模型一致(agreement modelling)處理投票法一中的不確定值
多個(gè)模型預(yù)測(cè)一致的作為預(yù)測(cè)
對(duì)那些不一致的重新建立模型進(jìn)行預(yù)測(cè)
Select node ‘$N-Outcome’ /== ‘$C-Outcome’
Derive node (type: conditional) If ‘$N-Outcome’ == ‘$C-Outcome’ Then ‘$N-Outcome’ Else ‘$N1-Outcome’
修正法之四——對(duì)模型建模(speciallist modelling)
建立關(guān)于何時(shí)規(guī)則模型或神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)準(zhǔn)確的模型,得出模型的適用條件(數(shù)據(jù)情況)
根據(jù)數(shù)據(jù)情況選擇使用不同的模型
練習(xí)3
對(duì)于數(shù)據(jù)集data1 to data5按照修正法思路1-思路4建立模型,對(duì)于數(shù)據(jù)集test完成下表:
總結(jié)——提高二值預(yù)測(cè)效果的幾種思路
離散問(wèn)題向打分(scoring)問(wèn)題的轉(zhuǎn)化
投票法之一——多個(gè)模型一致
投票法之二——建立奇數(shù)個(gè)模型
投票法之三——更高把握程度原則
投票法之四——根據(jù)把握程度匯總進(jìn)行投票
修正法之一——模型堆疊(stacking)
修正法之二——找出錯(cuò)誤預(yù)測(cè)的規(guī)律
修正法之三——多個(gè)模型一致
修正法之四——對(duì)模型建模
六、數(shù)據(jù)挖掘技術(shù)在電信行業(yè)中的應(yīng)用
數(shù)據(jù)挖掘技術(shù)在電信行業(yè)中的應(yīng)用
案例1:流失分析
案例2:流失癥狀與營(yíng)銷預(yù)演
案例3:交叉銷售(套餐分析)
客戶生命周期理論—客戶分析的基礎(chǔ)
案例一
電信行業(yè)的流失分析
電信行業(yè)流失分析的數(shù)據(jù)挖掘模型
客戶流失分析之商業(yè)理解
移動(dòng)通信業(yè)是一個(gè)競(jìng)爭(zhēng)異常激烈的行業(yè),對(duì)于移動(dòng)通信運(yùn)營(yíng)商來(lái)說(shuō),如何對(duì)其客戶進(jìn)行有效的管理,盡可能的減少客戶的流失和跳網(wǎng)是一個(gè)緊迫的問(wèn)題。在這里我們將介紹數(shù)據(jù)挖掘在移動(dòng)通信業(yè)關(guān)于客戶流失研究中的應(yīng)用。
數(shù)據(jù)挖掘技術(shù)將提供功能強(qiáng)大的模型,可以回答“哪些客戶最可能流失?”和“為什么這些客戶會(huì)流失?”等問(wèn)題。
客戶流失分析之商業(yè)理解
什么是流失,流失如何定義
連續(xù)欠費(fèi)不交?號(hào)碼長(zhǎng)期不用?二分標(biāo)記變量?
流失和哪些因素相關(guān)
顧客年齡?性別?收入?行業(yè)?話費(fèi)水平?話務(wù)質(zhì)量?
確定數(shù)據(jù)挖掘目標(biāo)
(1)對(duì)客戶進(jìn)行聚類分析,尋找那些流失量比較大的客戶群
(2)建立規(guī)則,描述那些易于流失的客戶群的特征
(3)建立打分模型,對(duì)客戶流失可能性(概率)進(jìn)行評(píng)價(jià)
客戶流失分析之?dāng)?shù)據(jù)理解
客戶流失分析之?dāng)?shù)據(jù)理解
客戶流失分析之?dāng)?shù)據(jù)理解
客戶流失分析之?dāng)?shù)據(jù)準(zhǔn)備
把CDR月度數(shù)據(jù)匯總成6個(gè)月的總體數(shù)據(jù)
根據(jù)CDR數(shù)據(jù)生成各種不同的平均數(shù)據(jù)和組合 數(shù)據(jù)
歸并客戶信息數(shù)據(jù)、CDR數(shù)據(jù)與話費(fèi)數(shù)據(jù)
對(duì)客戶現(xiàn)在付費(fèi)類型的合理性進(jìn)行簡(jiǎn)單分析
客戶流失分析之建立模型和模型評(píng)估
客戶流失分析之模型發(fā)布
對(duì)每個(gè)特定客戶的流失可能性進(jìn)行打分評(píng)估
寫(xiě)回?cái)?shù)據(jù)庫(kù)
客戶流失分析之建模圖
案例二
流失癥狀與營(yíng)銷預(yù)演
說(shuō)明
本案例意在說(shuō)明如何應(yīng)用Clementine實(shí)現(xiàn)規(guī)則導(dǎo)出和營(yíng)銷預(yù)演
本案例是一個(gè)簡(jiǎn)化了的電信流失問(wèn)題,我們不追求變量選擇的完整性
本案例目的是說(shuō)明過(guò)程,不追求模型的準(zhǔn)確性,對(duì)模型不進(jìn)行任何調(diào)整
流失分析使用變量
目標(biāo)變量:二分變量(是否流失)
輸入變量:
長(zhǎng)途時(shí)長(zhǎng)
國(guó)際時(shí)長(zhǎng)
本地時(shí)長(zhǎng)
通話時(shí)長(zhǎng)合計(jì)
投訴次數(shù)
支付方式
本地話費(fèi)支付方式
長(zhǎng)途話費(fèi)支付方式
年齡
性別
收入估計(jì)
婚姻狀態(tài)
孩子數(shù)量
是否有汽車
流失分析模型
在流失分析規(guī)則導(dǎo)出中我們應(yīng)用C5.0模型建立模型
在流失分析營(yíng)銷預(yù)演中我們應(yīng)用神經(jīng)網(wǎng)絡(luò)建立模型
流失分析規(guī)則導(dǎo)出
數(shù)據(jù)流——總體
超級(jí)節(jié)點(diǎn)1——規(guī)則總結(jié)
超級(jí)節(jié)點(diǎn)2——規(guī)則對(duì)應(yīng)(Clementine自動(dòng)生成)
超級(jí)節(jié)點(diǎn)3——指定客戶
可以在該節(jié)點(diǎn)中根據(jù)需要指定對(duì)哪些客戶是否流失進(jìn)行分析
主要結(jié)果1
生成了預(yù)測(cè)客戶是否流失的決策樹(shù)圖如下(片斷):
主要結(jié)果2
生成了客戶流失和不流失的若干規(guī)則如下:
主要結(jié)果3——針對(duì)指定客戶的流失規(guī)則(1)
例如針對(duì)年齡小于30歲的客戶我們可以得到如下流失情況和對(duì)應(yīng)流失規(guī)則:
主要結(jié)果4——針對(duì)指定客戶的流失規(guī)則(2)
我們也可以針對(duì)某一個(gè)客戶給出詳細(xì)的預(yù)測(cè)(其中客戶編號(hào)由使用者指定):
流失分析營(yíng)銷預(yù)演
數(shù)據(jù)流——總體
超級(jí)節(jié)點(diǎn)——營(yíng)銷預(yù)演
主要結(jié)果1:計(jì)算成本收益情況
根據(jù)用戶指定的每個(gè)客戶的平均成本、營(yíng)銷活動(dòng)折扣率和市場(chǎng)活動(dòng)預(yù)測(cè)回應(yīng)率自動(dòng)得出營(yíng)銷活動(dòng)的預(yù)計(jì)凈收益和市場(chǎng)活動(dòng)的最優(yōu)覆蓋面及最優(yōu)流失評(píng)分臨界值。
主要結(jié)果2:營(yíng)銷活動(dòng)成本收益圖(1)
主要結(jié)果2:營(yíng)銷活動(dòng)成本收益圖(2)
案例三
電信行業(yè)的交叉銷售分析(套餐分析)
客戶交叉銷售模型
目的
發(fā)現(xiàn)客戶選擇數(shù)據(jù)業(yè)務(wù)的關(guān)聯(lián)性
根據(jù)客戶已經(jīng)選擇數(shù)據(jù)業(yè)務(wù),向客戶進(jìn)行交叉銷售
研究客戶價(jià)值(或客戶分群)與產(chǎn)品組合之間的關(guān)系
分析各個(gè)產(chǎn)品之間的關(guān)聯(lián)性進(jìn)行交叉銷售
關(guān)聯(lián)規(guī)則結(jié)果
關(guān)聯(lián)規(guī)則結(jié)果應(yīng)用(1)
關(guān)聯(lián)規(guī)則結(jié)果應(yīng)用(2)
業(yè)務(wù)人員輸入某一項(xiàng)業(yè)務(wù)后,可以列出應(yīng)該向哪些客戶推薦這項(xiàng)業(yè)務(wù),這些客戶目前選擇了哪些業(yè)務(wù),向他們推薦這些業(yè)務(wù)的把握程度如何。
關(guān)聯(lián)規(guī)則結(jié)果應(yīng)用(3)
業(yè)務(wù)人員按照某種規(guī)則選出一部分客戶后,可以列出這些客戶選擇了何種業(yè)務(wù),并提出應(yīng)該向這些客戶推薦哪些數(shù)據(jù)業(yè)務(wù)以及這種推薦的把握程度。
電信交叉效果實(shí)際應(yīng)用效果
客戶價(jià)值與交叉銷售關(guān)系
電信行業(yè)的交叉銷售數(shù)據(jù)挖掘分析
數(shù)據(jù)流1——數(shù)據(jù)準(zhǔn)備 (P4_basket) 數(shù)據(jù)變換,變換為市場(chǎng)籃數(shù)據(jù)
數(shù)據(jù)流2——數(shù)據(jù)準(zhǔn)備(P5_custbasket)計(jì)算客戶價(jià)值
數(shù)據(jù)流3——探索選擇套餐之間的關(guān)系,確定套餐組合(E3_products)
數(shù)據(jù)流4——向用戶推薦套餐(D2_recommend)
數(shù)據(jù)流5——細(xì)分客戶群,并分析各個(gè)細(xì)分群體選擇套餐的傾向性(M3_prodassoc)
數(shù)據(jù)流6——不同價(jià)值客戶群體選擇套餐情況的探索性分析(E4_prodvalue)
數(shù)據(jù)流7——研究不同價(jià)值群體的選擇套餐組合的情況并預(yù)測(cè)(M4_prodprofile)
電信行業(yè)交叉銷售建模圖培訓(xùn)ppt課件模板:這是培訓(xùn)ppt課件模板,包括了文章背景知識(shí),認(rèn)字識(shí)詞朗誦,課文賞析,拓展訓(xùn)練/分組練習(xí)等內(nèi)容,歡迎點(diǎn)擊下載。
幼兒教師師德培訓(xùn)ppt1:這是幼兒教師師德培訓(xùn)ppt1,包括了引言,幼兒園教師師德現(xiàn)狀,幼兒園師德建設(shè)存在的問(wèn)題,原因分析,對(duì)策建議等內(nèi)容,歡迎點(diǎn)擊下載。
釘釘培訓(xùn)ppt:這是釘釘培訓(xùn)ppt,包括了釘釘軟件介紹,釘釘常用功能,公司啟用釘釘考勤操作指南,公司啟用釘釘時(shí)間等內(nèi)容,歡迎點(diǎn)擊下載。