-
- 素材大小：
- 5 MB
- 素材授權(quán)：
- 免費下載
- 素材格式：
- .ppt
- 素材上傳：
- ppt
- 上傳時間：
- 2016-03-31
- 素材編號：
- 51811
- 素材類別：
- 培訓(xùn)教程PPT
-
素材預(yù)覽
這是一個關(guān)于clementine數(shù)據(jù)挖掘培訓(xùn)PPT（部分ppt內(nèi)容已做更新升級），數(shù)據(jù)挖掘與Clementine使用培訓(xùn),通過多個案例來說明數(shù)據(jù)挖掘與Clementine使用,共305頁等內(nèi)容。培訓(xùn)是給新員工或現(xiàn)有員工傳授其完成本職工作所必需的正確思維認知、基本知識和技能的過程。是一種有組織的知識傳遞、技能傳遞、標準傳遞、信息傳遞、管理訓(xùn)誡行為。其中以技能傳遞為主，側(cè)重上崗前進行。為了達到統(tǒng)一的科學(xué)技術(shù)規(guī)范、標準化作業(yè)，通過目標規(guī)劃設(shè)定知識和信息傳遞、技能熟練演練、作業(yè)達成評測、結(jié)果交流公告等現(xiàn)代信息化的流程，讓員工通過一定的教育訓(xùn)練技術(shù)手段，達到預(yù)期的水平，提高目標。目前國內(nèi)培訓(xùn)以技能傳遞為主，時間在側(cè)重上崗前。
clementine數(shù)據(jù)挖掘培訓(xùn)PPT是由紅軟PPT免費下載網(wǎng)推薦的一款培訓(xùn)教程PPT類型的PowerPoint.
數(shù)據(jù)挖掘與Clementine使用培訓(xùn)
北京瑞斯泰得數(shù)據(jù)技術(shù)開發(fā)有限公司
2016/3/31
一、數(shù)據(jù)挖掘概述
什么是數(shù)據(jù)挖掘
數(shù)據(jù)挖掘的實現(xiàn)路線和流程
數(shù)據(jù)挖掘方法論——CRISP-DM
為什么進行數(shù)據(jù)挖掘？ 商業(yè)觀點
業(yè)務(wù)中產(chǎn)生了大量的數(shù)據(jù)，這些數(shù)據(jù)存儲在業(yè)務(wù)系統(tǒng)中卻不能創(chuàng)造價值
客戶信息數(shù)據(jù)
客戶交易行為數(shù)據(jù)
客戶反饋數(shù)據(jù)
網(wǎng)絡(luò)數(shù)據(jù)
……
計算機變得越來越便宜、功能卻越來越強大
商業(yè)競爭越來越激烈，對客戶了解越多就意味著機會越大
為什么進行數(shù)據(jù)挖掘？ 技術(shù)觀點
業(yè)務(wù)中的數(shù)據(jù)量呈現(xiàn)指數(shù)增長（GB/小時）
傳統(tǒng)技術(shù)難以從這些大量數(shù)據(jù)中發(fā)現(xiàn)有價值的規(guī)律
數(shù)據(jù)挖掘可以幫助我們從大量數(shù)據(jù)中發(fā)現(xiàn)有價值的規(guī)律
一個市場營銷的例子
一個市場營銷的例子
一個市場營銷的例子
數(shù)據(jù)挖掘收益分析
利潤分析圖
數(shù)據(jù)挖掘效果模擬分析
什么是數(shù)據(jù)挖掘？
不同的定義
從大量數(shù)據(jù)中發(fā)現(xiàn)非平凡的、先前不知道的、有價值的規(guī)律的過程
從大量數(shù)據(jù)中自動化（或者半自動化）的發(fā)現(xiàn)有價值規(guī)律的過程
數(shù)據(jù)挖掘的其他名稱
數(shù)據(jù)庫內(nèi)知識發(fā)現(xiàn)（KDD- Knowledge discovery in databases ）
數(shù)據(jù)/模式分析
商業(yè)智能
人工智能
……
數(shù)據(jù)挖掘的起源
來源于機器學(xué)習(xí)/人工智能、模式識別、統(tǒng)計學(xué)和數(shù)據(jù)庫
傳統(tǒng)技術(shù)的局限性
巨量的數(shù)據(jù)
高維數(shù)據(jù)
數(shù)據(jù)分布不理想
數(shù)據(jù)挖掘面臨的挑戰(zhàn)
海量數(shù)據(jù)
高維數(shù)據(jù)
數(shù)據(jù)復(fù)雜性
數(shù)據(jù)質(zhì)量問題
數(shù)據(jù)所有權(quán)和分布
隱私問題
數(shù)據(jù)挖掘方法論—項目順利實施的保證
商業(yè)理解
數(shù)據(jù)理解
數(shù)據(jù)準備
建立模型
模型評估
結(jié)果發(fā)布
商業(yè)理解是數(shù)據(jù)挖掘的起點
商業(yè)理解的內(nèi)容
數(shù)據(jù)挖掘能解決什么樣的商業(yè)問題？
數(shù)據(jù)挖掘得到的結(jié)果，是否可以采取相應(yīng)的行動以提高利潤或降低成本？
我們期望模型能夠給我們怎樣的精確率？
有那些前提假定？
約束分析
時間約束分析
資源約束分析
人力資源
數(shù)據(jù)資源
軟件資源
硬件資源
制定特定的數(shù)據(jù)挖掘目標
制定的數(shù)據(jù)挖掘目標應(yīng)具有：
可評估性（assessable)
可實現(xiàn)性（attainable）
如何給定一個數(shù)據(jù)挖掘問題
是檢驗性數(shù)據(jù)挖掘還是探索性數(shù)據(jù)挖掘？
確定哪些是可以實現(xiàn)的數(shù)據(jù)挖掘問題
結(jié)果可測度性
信息（數(shù)據(jù)）的可獲得性
評估和控制其他相關(guān)因素的影響
數(shù)據(jù)來源與數(shù)據(jù)之間的關(guān)系
使數(shù)據(jù)適合數(shù)據(jù)挖掘
對數(shù)據(jù)進行適當(dāng)?shù)暮喜⒑蛥R總
一般數(shù)據(jù)挖掘分析都要一個行×列(記錄×變量）的二維表，必須把從不同數(shù)據(jù)源得到的不同格式的數(shù)據(jù)整合成這樣一張表，要求：
所有的記錄含有排列順序一致的變量
所有記錄的變量信息是完整的（理想化狀態(tài)，在現(xiàn)實中很難達到）
檢查數(shù)據(jù)質(zhì)量
影響數(shù)據(jù)質(zhì)量的幾個主要問題
缺失值
不合理值
不同數(shù)據(jù)源的不一致
異常值
對數(shù)據(jù)進行適當(dāng)?shù)淖儞Q
數(shù)據(jù)的標準化變換
生成新的變量
數(shù)據(jù)的重新編碼
數(shù)據(jù)降維，從變量角度或者從記錄角度
數(shù)據(jù)挖掘模型的分類
數(shù)據(jù)描述和匯總(Data description and summarization)
細分(Segmentation)
概念描述(Concept descriptions)
分類(Classification)
預(yù)測(Prediction)
相關(guān)分析(Dependency analysis)
數(shù)據(jù)挖掘技術(shù)的分類
數(shù)據(jù)挖掘的典型結(jié)果——金融
問題描述：預(yù)測信用水平是好還是差，銀行據(jù)此決定是否向客戶發(fā)放貸款，發(fā)放多少
結(jié)果描述:(決策樹）
數(shù)據(jù)挖掘的典型結(jié)果——電信
問題描述：根據(jù)客戶信息，預(yù)測客戶流失可能性
結(jié)果描述:(神經(jīng)網(wǎng)絡(luò)）
數(shù)據(jù)挖掘的典型結(jié)果——零售
問題描述：如何決定超市中商品的擺放來增加銷售額
結(jié)果描述:(Web圖）
數(shù)據(jù)挖掘的典型結(jié)果——制造業(yè)
問題描述：如何對市場進行細分，使產(chǎn)品滿足最有價值客戶
結(jié)果描述:(Koholen聚類）
數(shù)據(jù)挖掘的典型結(jié)果——政府
問題描述：如何從眾多申請經(jīng)費或者納稅中發(fā)現(xiàn)欺詐
結(jié)果描述:(回歸、神經(jīng)網(wǎng)絡(luò)）
檢驗的形式
方法層面的檢驗
訓(xùn)練集和檢驗集
不同方法的互相印證和比較
模型準確性的檢驗:
商業(yè)層面上的檢驗
利潤率的檢驗
模型結(jié)果可操作性的檢驗
其他檢驗
關(guān)注那些錯誤的預(yù)測
數(shù)據(jù)挖掘不成功的幾種可能性
糟糕的數(shù)據(jù)
組織抵制
結(jié)果沒有被有效的發(fā)布
得到了無用的結(jié)果
模型發(fā)布的形式
書面報告
數(shù)據(jù)庫更新
針對特定主題的應(yīng)用系統(tǒng)
數(shù)據(jù)挖掘的體系結(jié)構(gòu)
二、Clementine概述
Clementine在數(shù)據(jù)挖掘中的地位
Clementine發(fā)展歷史
Clementine的配置
Clementine操作基礎(chǔ)
數(shù)據(jù)挖掘的一般流程及數(shù)據(jù)挖掘軟件在數(shù)據(jù)挖掘過程中的地位
數(shù)據(jù)挖掘方法論——項目順利實施的保證
Clementine發(fā)展歷程
Clementine是ISL (Integral Solutions Limited)公司開發(fā)的數(shù)據(jù)挖掘工具平臺
1998年SPSS公司收購了ISL公司，對Clementine產(chǎn)品進行重新整合和開發(fā)，現(xiàn)在Clementine已經(jīng)成為SPSS公司的又一亮點
Clementine的軟件構(gòu)成
Clementine Client;
Clementine Server;
Clementine Batch;
SPSS Data Access Pack;
Clementine Solution Publisher (Optional)。
Clementine的兩種運行方式
單機版運行
以下情況必須使用單機版運行：
數(shù)據(jù)存儲在本機，且不能在網(wǎng)絡(luò)上共享；
機器不聯(lián)網(wǎng)；
無Clementine Server可供使用。
以下情況可以使用單機版運行：
要處理的數(shù)據(jù)量很�。ū热纾盒∮�2M）并且數(shù)據(jù)存儲在單機或可到達局域網(wǎng)處；
單機內(nèi)存、硬盤相對要處理的數(shù)據(jù)量來說足夠大，并且速度也滿足要求。
Clementine的系統(tǒng)結(jié)構(gòu)
Clementine運行的兩種方式
圖形界面方式
適用操作系統(tǒng)
Windows系列
特點：
圖形化界面
與客戶直接交互
適合交互式分析過程
Clementine的界面和設(shè)計思路
可視化界面
四個區(qū)域分別是建模區(qū)、結(jié)點區(qū)、模型描述區(qū)、項目管理區(qū)
通過連接結(jié)點構(gòu)成數(shù)據(jù)流建立模型
Clementine通過6類結(jié)點的連接完成數(shù)據(jù)挖掘工作，它們是：
Source(源結(jié)點):Database、Var. Files等
Record Ops (記錄處理結(jié)點):Select、Sample等`
Field Ops(字段處理結(jié)點):Type、Filter等
Graphs(圖形結(jié)點):Plot、Distribute等
Modeling(模型結(jié)點):Neural Net、C5.0等
Output(輸出結(jié)點):Table、Matrix等
Clementine操作基本知識
鼠標應(yīng)用
三鍵與雙鍵鼠標
左鍵 選擇節(jié)點或圖標置于建模區(qū)
右鍵 激活浮動菜單
中鍵 連接或斷開兩個節(jié)點
幫助
Clementine操作基本知識
節(jié)點的增加，以 為例
Click “Sources”，Click ，Click “流區(qū)域”
Click “Sources”，Double Click
Click “Sources”，Drag to “流區(qū)域”
節(jié)點的刪除
Click ， Delete
Right Click ，Click “Delete”
節(jié)點的移動：Drag
Clementine操作基本知識
節(jié)點的編輯
Double Click
Right Click ，Click “Edit”
節(jié)點的重命名和解釋
Right Click ，Click “Edit”，Click “Annotations”
Double Click ，Click “Annotations”
Right Click ，Click “Rename and Annotations”
拷貝、粘貼
Clementine操作基本知識
構(gòu)建流時節(jié)點的連接
Highlight ，Add to the Canvas
Right Click ，Click “Connect”，Click
Drag the middle mutton from to
構(gòu)建流時節(jié)點連接的刪除
Right Click or ， Click “Disconnect”
Right Click “Connection”，Click “Delete Connection”
Double Click or
Clementine操作基本知識
流的執(zhí)行
Highlight “Stream”，Click
Right Click ，Click “Execute”
In the Edit Window of the ， Click “Execute”
流的保存
幫助
Help Menu
Dialogue Window
Clementine的優(yōu)化
包括兩個方面的優(yōu)化
結(jié)構(gòu)優(yōu)化
用戶優(yōu)化
結(jié)構(gòu)優(yōu)化
把中間結(jié)果存儲在Server上（盡量使用server版處理）
從數(shù)據(jù)流上整理考慮的執(zhí)行數(shù)據(jù)流（能一步完成的處理盡量不要分解到多個執(zhí)行）
減少數(shù)據(jù)的遷移（數(shù)據(jù)提前進行規(guī)劃）
用戶優(yōu)化
自動優(yōu)化數(shù)據(jù)流：當(dāng)使用這一選項時，Clementine將重寫數(shù)據(jù)流以使效率最高（可以通過Clementine Server中的sql_rewriting_enabled來調(diào)整是否可以使用）
優(yōu)化的SQL生成。使盡可能的操作在數(shù)據(jù)庫內(nèi)進行。
優(yōu)化Clementine執(zhí)行。調(diào)整數(shù)據(jù)降維的操作盡可能接近數(shù)據(jù)源完成。
手動優(yōu)化數(shù)據(jù)流
操作順序：有些操作可以在SQL中完成，有些操作不能在SQL中完成，盡可能把能夠在SQL中完成的一起排在前面
數(shù)據(jù)類型：盡可能在源節(jié)點處由用戶自定義數(shù)據(jù)類型，而不是Clementine自動讀取。
問題的提出
如何通過數(shù)據(jù)挖掘?qū)崿F(xiàn)小靈通信用級別的判斷系統(tǒng)
某電信公司按照某種標準將小靈通客戶信用等級分為5類，分別是gradeA、gradeB 、gradeC、gradeX、gradeY�，F(xiàn)在希望建立一套系統(tǒng)，能夠使得市場部人員根據(jù)用戶的幾項關(guān)鍵的個人基本信息判斷該客戶的信用級別，從而有針對性地對其采用不同的市場營銷策略。
數(shù)據(jù)描述
遵循CRISP-DM的數(shù)據(jù)挖掘過程
在進行數(shù)據(jù)挖掘過程中應(yīng)該注意的幾個問題
商業(yè)經(jīng)驗的作用
數(shù)據(jù)的拆分——訓(xùn)練集與檢驗集
不同模型的印證與比較
結(jié)果發(fā)布
信用級別靜態(tài)列表
信用級別寫回數(shù)據(jù)庫
實時判斷信用級別的分析應(yīng)用
三、數(shù)據(jù)理解：數(shù)據(jù)的可視化和報告
數(shù)據(jù)組織形式
數(shù)據(jù)圖形展現(xiàn)
數(shù)據(jù)表格展現(xiàn)
數(shù)據(jù)挖掘要求的數(shù)據(jù)格式
數(shù)據(jù)尺度
根據(jù)數(shù)據(jù)的不同，可以把變量分為以下一些類型
定類變量
例如：客戶編號、性別、郵編等
不能比較大小
定序變量
產(chǎn)品等級、信用級別、客戶收入水平分類等
可以比較大小、不能進行加減運算
定距變量
出生日期、溫度等
可以進行加減運算、不能進行乘除運算
定比變量
收入、長度等
可以進行乘除運算
各類變量尺度比較
描述性統(tǒng)計量
描述統(tǒng)計量（summary statistic），也稱匯總統(tǒng)計量或概括統(tǒng)計量
用少量數(shù)字概括大量數(shù)據(jù)的技術(shù)
離散變量的描述性統(tǒng)計
頻數(shù)
累計頻數(shù)
頻率
累計頻率（累計必須是定序變量）
連續(xù)變量的描述指標
反映數(shù)據(jù)平均趨勢和位置的指標
反映數(shù)據(jù)離散趨勢的指標
反映數(shù)據(jù)分布狀況的指標
反映連續(xù)數(shù)據(jù)平均趨勢的指標
平均數(shù)
算術(shù)平均數(shù)
幾何平均數(shù)
截尾算術(shù)平均數(shù):比較穩(wěn)健有效地描述平均值
中位數(shù)：（代表群體基本的趨勢，集中的趨勢）
眾數(shù)（多用于離散變量）
四分位數(shù)（25%，50%，75%）
百分位數(shù)
平均數(shù)與中位數(shù)的結(jié)合使用
對5個數(shù)值表示的內(nèi)容說法有些不同
反映連續(xù)數(shù)據(jù)離散趨勢的指標
極差（全距）range =max-min
內(nèi)距 50%的差距
方差 ：更適合離散趨勢的描述（趨勢放大）
標準差
變異系數(shù)：標準差/均值，值越大，則離散程度越大。
平均數(shù)與標準差的應(yīng)用
切比雪夫定理
在任何一個數(shù)據(jù)集中，至少有(1-1/z2 )的數(shù)據(jù)項與平均數(shù)的距離在z個標準差之內(nèi)，其中z是任意大于1的值。
切比雪夫定理含義
1.至少75%的數(shù)據(jù)項與平均數(shù)的距離在2個標準差之內(nèi)；
2.至少89%的數(shù)據(jù)項與平均數(shù)的距離在3個標準差之內(nèi)；（6西格瑪質(zhì)量管理應(yīng)用）
3.至少94%的數(shù)據(jù)項與平均數(shù)的距離在4個標準差之內(nèi)。
連續(xù)變量的經(jīng)驗法則
正態(tài)分布是一種最常用的連續(xù)型分布
關(guān)于正態(tài)分布的經(jīng)驗法則
1.約68%的數(shù)據(jù)項與平均數(shù)的距離在1個標準差之內(nèi)；
2.約95%的數(shù)據(jù)項與平均數(shù)的距離在2個標準差之內(nèi)；
3.幾乎全部數(shù)據(jù)項（99.97%）與平均數(shù)的距離在3個標準差之內(nèi)。
切比雪夫和經(jīng)驗法則的應(yīng)用
問題
某單位有100個人，他們的平均身高是170cm，標準差為5cm，那么有多少人的身高是落在160cm-180cm這個區(qū)間里的呢？
經(jīng)驗法則的應(yīng)用
根據(jù)切比雪夫定理，該單位至少有75%的人身高在160cm—180cm這個區(qū)間里
根據(jù)正態(tài)分布經(jīng)驗法則，該單位大約有95%的人身高在160cm—180cm這個區(qū)間里
反映連續(xù)數(shù)據(jù)分布狀況的指標
偏度
峰度
圖形展現(xiàn)數(shù)據(jù)
圖形技術(shù)的應(yīng)用
圖形可以用來直觀的展示數(shù)據(jù)的分布特征和取值情況
常見的描述離散變量的圖形有
條形圖 餅形圖
常見的描述連續(xù)變量的圖形有
直方圖
常見的描述兩個離散變量之間關(guān)系的圖形有
Web圖 條形圖
常見的描述兩個連續(xù)變量之間關(guān)系的圖形有
散點圖
常見的描述一個離散變量和一個連續(xù)變量之間關(guān)系的圖形是
條形圖
通過圖形可以表現(xiàn)多個變量之間的關(guān)系
Chapter 2
Clementine 簡介
Chapter 2 Clementine 簡介
目的：
初步了解Clementine軟件
內(nèi)容：
2.1 SPSS Clementine C/S
2.2 SPSS Clementine 面板
2.3 SPSS Clementine 可視化程序使用基礎(chǔ)
節(jié)點
SPSS file 節(jié)點
Table 節(jié)點
2.1 Clementine C/S
啟動：
Start..Programs..Clementine 8.1 …
Clementine and Clementine Server
Tools…Server Login
2.2 Clementine 面板
第二講：數(shù)據(jù)簡單準備與理解
數(shù)據(jù)準備之讀入數(shù)據(jù)
數(shù)據(jù)理解之?dāng)?shù)據(jù)質(zhì)量
數(shù)據(jù)理解之?dāng)?shù)據(jù)分布
Chapter 3
讀取數(shù)據(jù)文件
Chapter 3 讀取數(shù)據(jù)文件
目的
掌握Clementine如何讀取文本格式數(shù)據(jù)
了解Clementine可以讀取的數(shù)據(jù)格式
掌握Clementine中的字段類型和方向
數(shù)據(jù)
Smallsamplecomma.com
Chapter 3 讀取數(shù)據(jù)文件
內(nèi)容及節(jié)點：
3.1 Clementine可以讀取的數(shù)據(jù)格式
3.2 讀取文本數(shù)據(jù)與查看數(shù)據(jù)
3.3 讀取SPSS數(shù)據(jù)
3.4 讀取數(shù)據(jù)庫數(shù)據(jù)（專用spss配置的鏈接）
3.5 Clementine中的字段類型
3.6 Clementine中的字段方向
3.7 保存Clementine流
3.1 Clementine可以讀取的數(shù)據(jù)格式
文本格式數(shù)據(jù)
SPSS/SAS數(shù)據(jù)
Excel，Access，dBase，F(xiàn)oxpro，Oracle，SQL Server，DB2等數(shù)據(jù)庫（每次只能讀一個表）
用戶輸入數(shù)據(jù)
3.2 讀取文本數(shù)據(jù)與查看數(shù)據(jù)
3.2 讀取文本數(shù)據(jù)與查看數(shù)據(jù)
3.2 讀取文本數(shù)據(jù)與查看數(shù)據(jù)
3.2 讀取文本數(shù)據(jù)與查看數(shù)據(jù)
3.2 讀取文本數(shù)據(jù)與查看數(shù)據(jù)
3.3 讀取SPSS數(shù)據(jù)
變量標簽
值標簽
3.4 讀取數(shù)據(jù)庫數(shù)據(jù)
ODBC設(shè)置
3.5 Clementine中的字段類型
離散型
二分 eg：sex：m/f
多分 eg：等級：好/中/差
離散 eg：
連續(xù)型
整數(shù)
實數(shù)
日期、時間
其它
3.6 Clementine中的字段方向
3.7 讀取其它格式的數(shù)據(jù)
Sas
Fixed text file：同一字段在各行的同一列
Chapter 4
數(shù)據(jù)理解之?dāng)?shù)據(jù)質(zhì)量
Chapter 4 數(shù)據(jù)理解之?dāng)?shù)據(jù)質(zhì)量
目的：
掌握如何應(yīng)用Clementine發(fā)現(xiàn)數(shù)據(jù)的準確性、完整性
熟悉用于數(shù)據(jù)質(zhì)量分析的幾個節(jié)點
內(nèi)容：
4.1 數(shù)據(jù)理解
4.2 缺失值定義
4.3 Quality節(jié)點介紹
4.4 Distribution節(jié)點----初步理解字符型字段的分布
4.5 Histogram/Statistics節(jié)點----初步理解數(shù)值型字段的分布
數(shù)據(jù)：
Smallsamplemissing.txt
Risk.txt
4.1 數(shù)據(jù)理解
在數(shù)據(jù)挖掘之前，理解數(shù)據(jù)的取值范圍及數(shù)值分布是非常重要的
Histogram/Statistics
Distribution
數(shù)據(jù)質(zhì)量越高，挖掘結(jié)果準確性越高
Quality
4.2 缺失值定義
Missing values are values in the data set that are unknown， uncollected， or incorrectly entered. They are invalid for their fields.
缺失值的定義：type節(jié)點
系統(tǒng)默認缺失值----on
Null----數(shù)值型字段----空值----“”----“$Null”
Empty String ----字符型字段----空值----“”
White Space ----字符型字段----空值以及空格值----“”或“ ”----包括Empty String
指定缺失值----Blank Value
系統(tǒng)默認缺失值
指定特殊缺失值----“99”
缺失值的檢查：quality節(jié)點
4.2 缺失值定義
4.2 缺失值定義
數(shù)據(jù)缺失情況
數(shù)據(jù)量的大小
包含缺失值的字段的數(shù)量
缺失值的數(shù)量
缺失值的處理方法
忽略含缺失值的字段
忽略含缺失值的記錄
默認值代替缺失值
根據(jù)一定規(guī)則填充缺失值
4.3 Quality節(jié)點介紹
查看缺失值情況
查看各類型缺失值的分布情況
Blank Value的指定
4.3 Quality節(jié)點介紹
Quality結(jié)果
4.4 Distribution節(jié)點----初步理解字符型字段的分布
單個字段的值分布
例：人群中各種風(fēng)險等級人數(shù)及百分比
與其它分類字段合并
例：分性別顯示各種風(fēng)險等級人數(shù)及百分比
例：各種風(fēng)險等級中男性女性各占比例
4.5 Histogram/Statistics節(jié)點----初步理解數(shù)值型字段的分布
單個字段的值分布
例：人群收入水平
與其它分類字段合并
例：顯示各種風(fēng)險等級的收入水平
例：顯示各收入水平的各風(fēng)險等級比例
Chapter 5
簡單數(shù)據(jù)整理
Chapter 5 簡單數(shù)據(jù)整理
目的：
掌握Clementine中的數(shù)據(jù)整理技術(shù)
熟悉用于數(shù)據(jù)整理的幾個節(jié)點
內(nèi)容
5.1 Clem語言簡介
5.2 Select節(jié)點介紹
5.3 Filter節(jié)點介紹
5.4 Derive節(jié)點介紹
5.5 自動生成操作節(jié)點
數(shù)據(jù)
Risk.txt
SmallSampleMissing.txt
5.1 Clem語言簡介
Clementine Language of Expression Manipulation
應(yīng)用節(jié)點：Derive導(dǎo)出， Select選擇， Filter過濾
構(gòu)建材料：函數(shù)、符號、數(shù)字、字段
記錄敏感：對每條記錄返回值（整數(shù)、實數(shù)、布爾值、字符值、日期、時間）或評估是否滿足條件
兩種表達式：條件表達式與計算表達式
5.2 Select節(jié)點介紹
用于根據(jù)一定條件選擇或丟棄某些記錄
CLEM構(gòu)建
5.3 Filter節(jié)點介紹
對某些字段進行重命名或丟棄某些無意義的字段
無意義字段
缺失值占大比例
所有記錄有相同值
中間過程生成的中間變量
5.4 Derive節(jié)點介紹
根據(jù)原有字段值生成新字段值
按公式生成字段
生成二分型字段
生成多分型字段
對所有記錄按同樣標準生成新字段
對不同記錄按不同標準生成新字段
對多個字段進行同一轉(zhuǎn)換
5.4 Derive節(jié)點介紹
5.5 自動生成操作節(jié)點
自動生成“Select”
自動生成“Filter”
第三講主要內(nèi)容
數(shù)據(jù)理解之?dāng)?shù)據(jù)關(guān)系探測
基本建模方法簡要介紹
Chapter 6
數(shù)據(jù)理解之
數(shù)據(jù)間簡單關(guān)系
Chapter 6 數(shù)據(jù)理解之?dāng)?shù)據(jù)間簡單關(guān)系
目的：
掌握如何理解字段間關(guān)系
熟悉用于字段關(guān)系理解的幾個節(jié)點
內(nèi)容
6.1 Matrix節(jié)點----研究字符型字段間關(guān)系
6.2 Web節(jié)點----研究字符型字段間關(guān)系
6.3 Statistics節(jié)點----研究連續(xù)型字段間線性相關(guān)關(guān)系
6.4 Plot節(jié)點----研究連續(xù)型字段間關(guān)系
6.5 Histogram節(jié)點----研究連續(xù)型字段與字符型字段的關(guān)系
數(shù)據(jù)
Risk.txt
Chapter 6 數(shù)據(jù)理解之?dāng)?shù)據(jù)間簡單關(guān)系
解決問題
風(fēng)險等級是否與收入有關(guān)
風(fēng)險等級是否與性別有關(guān)
如果一個人的信用卡數(shù)量較多，是否意味著它欺詐的可能性也大
6.1 Matrix節(jié)點----研究字符型字段間關(guān)系
解決問題
月付款的人是否比周付款的人風(fēng)險程度更高
男性是否比女性風(fēng)險程序更高
Matrix節(jié)點：
交叉表（列聯(lián)表）來顯示字符型數(shù)據(jù)間關(guān)系
行字段與列字段的選擇
顯示百分比
6.1 Matrix節(jié)點----研究字符型字段間關(guān)系
6.2 Web節(jié)點----研究字符型字段間關(guān)系
例：婚姻狀態(tài)、抵押貸款等是否與風(fēng)險等級有關(guān)
幾個小概念：
人數(shù)
總數(shù)百分比
大類百分比
小類百分比
強、中、弱相關(guān)關(guān)系
結(jié)果解讀
6.2 Web節(jié)點----研究字符型字段間關(guān)系
6.3 Statistics節(jié)點----研究連續(xù)型字段間線性相關(guān)關(guān)系
例：收入是否隨年齡呈線性增長
Statistics節(jié)點設(shè)置
結(jié)果解讀
注意：
線性相關(guān)關(guān)系而非相關(guān)關(guān)系(線形相關(guān)是相關(guān)關(guān)系的一種，其他相關(guān)關(guān)系最終需要轉(zhuǎn)化為線形相關(guān)來研究)
6.3 Statistics節(jié)點----研究連續(xù)型字段間線性相關(guān)關(guān)系
6.4 Plot節(jié)點----研究連續(xù)型字段間關(guān)系
例：顯示孩子數(shù)目與貸款數(shù)目的關(guān)系
用點的大小來反映其代表記錄的多少
用點的密度來反映其代表記錄的多少
用不同顏色的點來反映不同類別的記錄
6.4 Plot節(jié)點----研究連續(xù)型字段間關(guān)系
6.5 Histogram節(jié)點----研究連續(xù)型字段與字符型字段的關(guān)系
例：不同風(fēng)險等級的人的收入情況
顯示某收入水平的各風(fēng)險等級人數(shù)
顯示某收入水平----各風(fēng)險等級在該收入水平所占的比例
表格展現(xiàn)數(shù)據(jù)
表格的元素構(gòu)成
表格類型 在SPSS里實現(xiàn)
堆疊表(Stacking)
嵌套表(Nesting)
交叉表(Crosstabulation)
分層表(Layers)
堆疊表
嵌套表
交叉表
分層表
把層去掉以后的效果
樞軸表技術(shù)（Pivot Tables）
Clementine表格
Chapter 7
建模技術(shù)概覽
Chapter 7 Clementine中的建模技術(shù)
目的：
了解Clementine中提供的各種建模技術(shù)
內(nèi)容
7.1 Clementine提供的模型技術(shù)
7.2 Neural Networks（神經(jīng)網(wǎng)絡(luò)）
7.3 規(guī)則歸納模型
7.4 統(tǒng)計模型
7.5 聚類模型
7.6 關(guān)聯(lián)規(guī)則模型
7.7 Sequence模型
7.8 總述
7.1 Clementine提供的模型技術(shù)
幾種技術(shù)：預(yù)測、聚類、關(guān)聯(lián)規(guī)則
預(yù)測技術(shù)：
InputsOutput
六種方法：
Neural Networks
規(guī)則歸納：C5.0，C&RT
與時間或順序有關(guān)的關(guān)聯(lián)規(guī)則：Sequence(Capri)
統(tǒng)計學(xué)：回歸、Logistic回歸
7.1 Clementine提供的模型技術(shù)
聚類技術(shù)
無Output
無監(jiān)督的學(xué)習(xí)
三種方法：
Kohonen
統(tǒng)計學(xué)：K-means、TwoStep
關(guān)聯(lián)規(guī)則
Both Input and Output
三種方法
GRI，Apriori
Sequence (Capri)
7.2 Neural Networks
模仿人腦
Input/Output可以是Num，也可以是Symbolic
MLP與RBFN
劣勢：黑匣子
7.3 規(guī)則歸納模型
是決策樹算法
與Neural Net相比的優(yōu)勢
結(jié)果好解釋
自動刪除無意義的Input字段
主要是根據(jù)結(jié)果變量值對數(shù)據(jù)按Input進行細分
有兩種結(jié)果形式：決策樹形式或規(guī)則集形式
7.4 統(tǒng)計模型之線性回歸
統(tǒng)計模型與Neural Net相比：
嚴格的假設(shè)（如誤差正態(tài)分布）
用簡單方程表達模型，便于解釋
可自動選擇字段
無法捕捉Inputs字段間的交互作用
統(tǒng)計模型：
線性回歸
Logistic回歸
主成分分析
7.4 統(tǒng)計模型之回歸
線性回歸：
方程：Y=a+b1x1+b2x2+ +bnxn
原理：尋找使誤差平方和最小的系數(shù)
Output字段----Numeric輸出必須是連續(xù)型
Input字段----Numeric/Symbolic
Logistic回歸：
方程
原理：尋找使誤差平方和最小的系數(shù)
回歸系數(shù)隨結(jié)果值而改變，與NN，RI相比，不適合復(fù)雜數(shù)據(jù)
Output字段----Symbolic輸出必須是離散性
Input字段----Numeric/Symbolic
7.4 統(tǒng)計模型之主成分分析
數(shù)據(jù)降維技術(shù)：
用少量不相關(guān)數(shù)據(jù)（主成分）來代替大量相關(guān)數(shù)據(jù)（原始數(shù)據(jù)）作分析
主成分是原始數(shù)據(jù)的線性組合
更可能與統(tǒng)計分析方法合并使用（相對于機器學(xué)習(xí)），尤其是在多個等級分類字段
可用于預(yù)測模型或聚類分析之前
7.5 聚類模型
發(fā)現(xiàn)有相似值記錄的群體
多用于市場（細分客戶）和其它商業(yè)應(yīng)用
與主成分分析相似，多用于預(yù)測模型之前
無監(jiān)督學(xué)習(xí)（無output）
三種聚類分析方法：
Kohonen
K-means
TwoStep
7.5 聚類模型
Kohonen聚類
是一種實施無監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)算法
一維或二維網(wǎng)格，各神經(jīng)元相互連接
K-means聚類
又稱為快速聚類，（速度快，適合大量數(shù)據(jù)）
用戶指定類別數(shù)
與記錄順序有關(guān)（小數(shù)據(jù)量與記錄順序無關(guān)，大數(shù)據(jù)需要先執(zhí)行一定程序找出數(shù)據(jù)各類別中心）
TwoStep聚類
用戶指定范圍，模型根據(jù)統(tǒng)計學(xué)標準自動選擇類數(shù)
消耗機器資源少
能給出一個較好的結(jié)果
7.6 關(guān)聯(lián)規(guī)則模型
尋找數(shù)據(jù)中一起發(fā)生的事情
與Web相似，但以極快的速度發(fā)掘更復(fù)雜的模式
與規(guī)則歸納不同之處
每個規(guī)則的Output字段可能各不相同
規(guī)則可用于查看，但非預(yù)測
可生成同一output字段的規(guī)則，用于預(yù)測
與規(guī)則歸納相比，運行較慢，可增加限制條件從而提高速度
兩種算法：Apriori，GRI（廣義規(guī)則探測）
7.7 Sequence模型
與關(guān)聯(lián)規(guī)則不同之處在于尋找與時間/順序有關(guān)的規(guī)則
應(yīng)用領(lǐng)域：零售、網(wǎng)絡(luò)日志、過程改進
用于字符型字段，數(shù)值被當(dāng)作是字符
用CARMA算法
7.8 綜述
如果要預(yù)測某個字段----有監(jiān)督的機器學(xué)習(xí)和其中一種統(tǒng)計方法（依結(jié)果字段而定）
如果想發(fā)現(xiàn)有相似行為（許多字段）的個體----聚類
關(guān)聯(lián)規(guī)則不能直接用于預(yù)測，但它是一種用于理解數(shù)據(jù)內(nèi)模式的有用工具
如果對順序、時間有興趣，可用Sequence算法
7.8 綜述
如果想進一步選擇具體的預(yù)測技術(shù)，依賴于目的字段，output字段與input字段間關(guān)系
有一定經(jīng)驗規(guī)律，但不是規(guī)則
Clementine的優(yōu)勢之處在于建模的簡單
Clementine只能發(fā)現(xiàn)數(shù)據(jù)內(nèi)存在的關(guān)系，如果數(shù)據(jù)本身不相關(guān)聯(lián)，不可能提取出一個模型
數(shù)據(jù)挖掘是一個迭代、重復(fù)的過程
第四講：預(yù)測建模技術(shù)
神經(jīng)網(wǎng)絡(luò)模型技術(shù)
決策樹模型技術(shù)
回歸分析技術(shù)
模型間評估技術(shù)
預(yù)測的重要性
在當(dāng)今充滿競爭的社會里，一個企業(yè)如果能準確地預(yù)知其未來，那么其生存機會將大大增加，預(yù)測科學(xué)就是處理對未來的預(yù)測等問題的學(xué)科。
預(yù)測相關(guān)注意事項
預(yù)測對象所在的環(huán)境常常處于動態(tài)變化之中，一些不可知事件會對預(yù)測結(jié)果造成很大影響;
被用來進行預(yù)測的數(shù)據(jù)常常是不穩(wěn)定、不確定和不完全的，由其來源和收集的方式所決定;
不同的時間區(qū)域常常需要不同的預(yù)測方法，形式上難以統(tǒng)一;
因為不同的預(yù)測方法在復(fù)雜性、數(shù)據(jù)要求以及準確程度上均不同，因此選擇一個合適的預(yù)測方法是很困難的。
Chapter 8
Neural Networks
Chpater 8 Neural Networks
目的：
掌握如何在Clementine中進行Neural Network 模型的構(gòu)建和解讀
掌握Neural Network節(jié)點
數(shù)據(jù)：Risktrain.txt
Chpater 8 Neural Networks
內(nèi)容
8.1 Neural Net節(jié)點介紹
8.2 構(gòu)建Neural Network
8.3 模型管理區(qū)介紹
8.4 結(jié)果查看和結(jié)果解釋
8.5 模型預(yù)測值生成
8.6 模型評價
8.7 理解預(yù)測原因
8.8 模型總結(jié)
神經(jīng)網(wǎng)絡(luò)模型預(yù)測技術(shù)
8.1 Neural Net節(jié)點介紹
字段方向----Type節(jié)點或表
In----X字段----自變量字段
Out----Y字段----結(jié)果字段----聚類、主成分分析除外
Both----自變量和結(jié)果字段----關(guān)聯(lián)規(guī)則或順序算法
None----不用字段
ID----typeless----None
五種Neural Net方法，默認Quick
過度訓(xùn)練（長時間接觸同一個數(shù)據(jù)源，并用同樣特征去描述其他數(shù)據(jù)集，結(jié)果往往錯誤）
停止規(guī)則（避免過度訓(xùn)練）
字段的相對重要性分析
避免過度訓(xùn)練問題 選擇測試集錯誤較低，或者兩集錯誤交叉點
8.2 構(gòu)建Neural Network
例：用age、sex、income等來預(yù)測客戶的風(fēng)險等級
8.3 模型管理區(qū)介紹
瀏覽模型結(jié)果
導(dǎo)出模型代碼
將模型載入數(shù)據(jù)流
將模型導(dǎo)入項目管理區(qū)
保存、清除、裝載模型管理區(qū)
8.4 結(jié)果查看和結(jié)果解釋
結(jié)果的瀏覽：Right click generated “model”
模型準確性
輸入字段或?qū)?span style="display:none">0sL紅軟基地
輸出字段或?qū)?span style="display:none">0sL紅軟基地
各輸入字段的相對重要性
8.5 模型預(yù)測值生成
8.6 模型評價----預(yù)測值與實際值的比較
利用Matrix比較，通常關(guān)注的不是整體，例如欠費用戶群而不是整個用戶群。
8.6 模型評價
Evaluation Node----評估比較模型，以選擇最優(yōu)模型
Evaluation 的原理：將數(shù)據(jù)按預(yù)測值和置信度從高到低排序，將數(shù)據(jù)拆分為多個集合，每集合包含相同的記錄數(shù)，然后作圖。
關(guān)注值：flag變量的真值，set變量的第一個值
五種圖形：收益圖、功效圖、響應(yīng)圖、投資回報圖、利潤圖
8.6 模型評價
8.7 理解預(yù)測原因
Web節(jié)點--Symbolic Input & Symbolic Output
Distribuiton節(jié)點—Symbolic Input & Symbolic Output
Histogram節(jié)點--Numeric Input & Symbolic Output
8.8 模型總結(jié)
預(yù)測風(fēng)險中最重要因素是婚姻狀態(tài)和收入
離異、單身、鰥寡人士可能是壞客戶
神經(jīng)網(wǎng)絡(luò)模型，高收入人群是好客戶，但這一點并不與實際相符，如此預(yù)測，可能會給銀行帶來損失
題外話：可用驗證數(shù)據(jù)集，利用分析節(jié)點、評估節(jié)點、Matrix節(jié)點對模型進行評估
Chapter 9
規(guī)則歸納模型
決策樹技術(shù)
Chapter 9 規(guī)則歸納模型
目的：
掌握如何在Clementine中進行規(guī)則歸納模型的構(gòu)建和解讀
掌握C5.0節(jié)點
數(shù)據(jù)
Risktrain.txt
Chapter 9 規(guī)則歸納模型
內(nèi)容
9.1 C5.0、C&RT介紹
9.2 構(gòu)建C5.0模型
9.3 C5.0 決策樹型結(jié)果瀏覽和解釋
9.4 C5.0 規(guī)則集型結(jié)果瀏覽和解釋
9.5 模型預(yù)測值生成
9.6 模型評價
9.7 模型總結(jié)
9.1 C5.0、C&RT介紹
C5.0與C&RT的相似之處：構(gòu)建決策樹，按照自變量與結(jié)果變量的關(guān)系將數(shù)據(jù)拆分成各子群
C5.0與C&RT的不同之處：
9.2 構(gòu)建C5.0模型
模型的準確性與一般性
模型的驗證方法
交叉驗證（分散數(shù)據(jù)集，不斷用新數(shù)據(jù)去驗證）
模型結(jié)果字段值的減少（輸入變量最終并非全部進入模型）
建立多個模型：
耗時長
難以解釋結(jié)果
9.2 構(gòu)建C5.0模型
9.3 C5.0 決策樹型結(jié)果瀏覽和解釋
結(jié)果：
決策樹、模型形式
可分支的子根
眾數(shù)
顯示例數(shù)與置信度
繼承性
9.4 C5.0 規(guī)則集型結(jié)果瀏覽和解釋
9.5 模型預(yù)測值生成
9.6 模型評價----預(yù)測值與實際值的比較
利用Matrix來比較預(yù)測值與實際值
9.6 模型評價----不同值的收益圖
9.7 模型總結(jié)
C5.0使模型可以不用Web、Histogram等即可有效地理解模型
與Neural Net不同，沒有Sensitivity Analysis，但同樣可以辨別字段的重要性
決策樹的優(yōu)點
可以生成可以理解的規(guī)則
計算量相對來說不是很大
可以處理連續(xù)和種類字段
決策樹可以清晰的顯示哪些字段比較重要
決策樹的缺點
對連續(xù)性的字段比較難預(yù)測
對有時間順序的數(shù)據(jù)，需要很多預(yù)處理的工作
當(dāng)類別太多時，錯誤可能就會增加的比較快（對分類變量重新劃分，二分或者數(shù)據(jù)降維，spss聚類分析法）
一般的算法分類的時候，只是根據(jù)一個字段來分類（假設(shè)各字段間相關(guān)度不是很高）
Chapter 10
模型比較
Chpater 10 模型比較
目的
掌握如何利用Analysis節(jié)點進行模型的評估
掌握如何利用驗證數(shù)據(jù)集比較不同模型
內(nèi)容
10.1 Analysis節(jié)點用于比較模型
10.2 Evaluation節(jié)點用于比較模型
10.3 利用驗證數(shù)據(jù)集進行模型比較
數(shù)據(jù)
Risktrain.txt
Riskvalidation.txt
10.1 Analysis節(jié)點用于比較模型
10.1 Analysis節(jié)點用于比較模型
評估多個模型
評估各模型結(jié)果的一致性
10.2 Evaluation節(jié)點用于比較模型
10.2 Evaluation節(jié)點用于比較模型
評估多個模型
評估各模型結(jié)果的一致性
10.3 利用驗證數(shù)據(jù)集進行模型比較
第五講主要內(nèi)容
聚類分析模型技術(shù)
關(guān)聯(lián)規(guī)則模型技術(shù)
序列探測模型技術(shù)
Chapter 11
Kohonen Networks
Chpater 11 Kohonen Networks
目的
掌握Kohonen神經(jīng)網(wǎng)絡(luò)的建立、結(jié)果解釋
掌握Kohonen節(jié)點
內(nèi)容
11.1 Kohonen節(jié)點介紹
11.2 構(gòu)建Kohonen Networks
11.3 結(jié)果解釋
11.4 為每條記錄產(chǎn)生類別字段
11.5 結(jié)果理解
數(shù)據(jù)
Shopping.txt
Kohonen網(wǎng)絡(luò)結(jié)構(gòu)
11.1 Kohonen節(jié)點介紹
聚類分析
發(fā)現(xiàn)數(shù)據(jù)的總體結(jié)構(gòu)及相互關(guān)系
類間差別，類內(nèi)相似
11.2 構(gòu)建Kohonen Networks
Kohonen節(jié)點
字段方向設(shè)置：
購買產(chǎn)品與否----In
其它----None / Out / Both
反饋圖：紅色越深，記錄越多
指定類別數(shù)：長*寬
11.3 結(jié)果解釋
Kohonen結(jié)果
X-軸
Y-軸
11.4 為每條記錄產(chǎn)生類別字段
＄KX----Kohonen
＄KY----Kohonen
Cluster=＄KX----Kohonen><＄KY----Kohonen
11.5 結(jié)果理解
各Cluster人群多少----條圖
各Cluster人群的一般特征
年齡----條圖
性別----條圖
購買產(chǎn)品----Web圖
孩子
婚姻狀態(tài)
工作狀態(tài)
各Cluster人群總述
各種聚類方法比較
聚類分析之我見
聚類分析的優(yōu)勢在于：它能夠在我們對數(shù)據(jù)了解很少時，提供一種了解數(shù)據(jù)的方法。發(fā)現(xiàn)個體與變量間的綜合關(guān)系。
例如：根據(jù)各省市的各種經(jīng)濟指數(shù)將所有的省市分為幾個等級。
例如：根據(jù)各種指數(shù)的取值范圍，將模式相近的指數(shù)的聚為一類。
聚類分析的缺陷在于：各類之間均值等可能有差別，但每個個體劃歸哪類更多地依賴于數(shù)字，解釋起來比較困難。
Chapter 12
關(guān)聯(lián)規(guī)則
Chpater 12 關(guān)聯(lián)規(guī)則
目的
掌握關(guān)聯(lián)規(guī)則在Clementine中的建立、結(jié)果解釋
掌握Apriori節(jié)點
無監(jiān)督的探索性模型
內(nèi)容
12.1 關(guān)聯(lián)規(guī)則簡介
12.2 Apriori節(jié)點及結(jié)果解釋
12.3 產(chǎn)生特定結(jié)果的規(guī)則集
12.4 特定結(jié)果規(guī)則集應(yīng)用于各記錄
數(shù)據(jù)
Shopping.txt
12.1 關(guān)聯(lián)規(guī)則簡介
解決問題考慮的是關(guān)聯(lián)，得到的是規(guī)則，處理變量之間的相關(guān)，而非客戶之間）
買香煙的人是否傾向于也買巧克力或啤酒
高血脂的人是否也常伴有高血壓
買車險的人是否也傾向于買房險
節(jié)點
GRI----Numeric字段可作為輸入字段，可用于連續(xù)型變量
Apriori----只接受Symbolic字段（只能用字符型輸入）作為輸入字段
特殊之處：產(chǎn)生的模型不能直接加入數(shù)據(jù)流
12.2 Apriori節(jié)點及結(jié)果解釋
Apriori節(jié)點設(shè)置
字段類型及方向：無主次先后之分
Content1----flag----both
Content2----flag----both
Content3----flag----both
Contentn----flag----both
結(jié)果：
有多少人購買了香煙？占總?cè)藬?shù)的百分比
其中，有多少人購買了巧克力？占多少百分比
12.2 Apriori節(jié)點及結(jié)果解釋
12.3 產(chǎn)生特定結(jié)果的規(guī)則集
Generate menu
Rule set
View
12.4 特定結(jié)果規(guī)則集應(yīng)用于各記錄
Chapter 13
序列檢測
Chpater 13 序列檢測
目的
掌握Clementine如何對與時間序列有關(guān)的數(shù)據(jù)進行建模
熟悉Sequence節(jié)點
也會存在規(guī)則的重復(fù)
內(nèi)容
13.1 序列檢測簡介
13.2 序列檢測所要求的數(shù)據(jù)結(jié)構(gòu)
13.3 序列檢測模型
13.4 Sequence節(jié)點及結(jié)果解釋
13.5 Sequence結(jié)果用于各條數(shù)據(jù)
數(shù)據(jù)
Telrepair.txt
13.1 序列檢測簡介
解決的問題：與順序有關(guān)的關(guān)聯(lián)規(guī)則
Antecedent1Antecedent2 Consequent
可用節(jié)點：Sequence、Capri
13.2 序列檢測所要求的數(shù)據(jù)結(jié)構(gòu)
數(shù)據(jù)結(jié)構(gòu)1
一個客戶一次購買多個產(chǎn)品算一條記錄
數(shù)據(jù)結(jié)構(gòu)2
一個客戶一次購買多個產(chǎn)品算多條記錄
13.3 序列檢測模型
Sequence與Capri二者各有優(yōu)勢
二者使用不同的算法
均可指定順序檢測標準
對于“A1””A2””C”，Capri可以不包含下列
“A1””A2”
”A2””C”
“A1””C”
13.4 Sequence節(jié)點及結(jié)果解釋
Sequence節(jié)點設(shè)置：
字段類型及方向
ID field----Numeric/Symbolic----Any
Time field----Range----In
Content fields----Set----In/out/both----多個一致
13.4 Sequence節(jié)點及結(jié)果解釋
結(jié)果：
在先買了A1 ，又買了A2 的客戶中，60%的人后來買 了C；
12%的客戶（48例）是先買了A1 ，又買了A2 ，最后又買了C
可對規(guī)則進行重新排序
13.4 Sequence節(jié)點及結(jié)果解釋
13.5 Sequence結(jié)果用于各條數(shù)據(jù)
總結(jié)
業(yè)務(wù)問題是關(guān)鍵
歷史數(shù)據(jù)是支撐
業(yè)務(wù)思路、數(shù)據(jù)分析思路的轉(zhuǎn)變
數(shù)據(jù)分析的常態(tài)與技巧
如何使用數(shù)據(jù)分析應(yīng)用結(jié)果是業(yè)務(wù)思路的延伸
方法永遠是方法，工具永遠是工具
五、 Clementine組合模型技巧
1.離散變量預(yù)測問題;
2.離散變量模型的檢驗；
3.組合模型概述；
4.二值預(yù)測問題的組合模型。
Clementine中提供的模型概述
離散變量預(yù)測問題是最重要的一類問題
離散變量預(yù)測問題也就是分類問題
在Clementine（8.1）中有很多模型可以做分類問題
Neural Net
C5.0
C&RT
Logistic
連續(xù)變量預(yù)測問題可以通過某種形式轉(zhuǎn)化為離散變量預(yù)測問題
多值變量問題可以轉(zhuǎn)化為兩值預(yù)測問題
離散值預(yù)測模型的幾個重要檢驗指標
1.準確率
2.命中率
3.覆蓋率
離散值預(yù)測模型的幾個重要檢驗圖形
1.收益圖（Gains）
2.響應(yīng)圖（Response）
3.功效圖（Lift）
4.利潤圖（Profit）
5.投資回報圖（ROI）
離散值預(yù)測模型的幾個重要檢驗圖形
什么是組合模型
在數(shù)據(jù)挖掘模型中，每種模型都有各自的優(yōu)點和缺陷，為了更好的利用模型的優(yōu)點，在Clementine中可以把不同模型通過一定的方式組合在一起以解決特定的問題
為了提高模型的精確度，我們可以把多個模型通過某種方式組合在一起
組合模型類型
為了提高模型的可解釋性，可以應(yīng)用C5.0對預(yù)測或者聚類結(jié)果進行解釋
為了得到各指標對模型影響的重要程度，可以應(yīng)用神經(jīng)網(wǎng)絡(luò)對指標重要性進行分析
可以通過模型的特定組合提高模型的準確性——下面以數(shù)據(jù)挖掘模型中最常用的二值預(yù)測來說明組合模型如何能夠提供模型的準確性
二值預(yù)測是數(shù)據(jù)挖掘中重要問題
二值預(yù)測問題是個非常常見的數(shù)據(jù)挖掘問題
流失、客戶獲得、欠費、欺詐……
多值預(yù)測可以轉(zhuǎn)化為二值預(yù)測問題
連續(xù)預(yù)測問題可以轉(zhuǎn)化為多值預(yù)測問題
二值預(yù)測結(jié)果的可能表達方式
T or F，我們稱為預(yù)測值；
預(yù)測值為T，預(yù)測準確率為P；或者預(yù)測值為F，預(yù)測準確率為P；
T的概率為p，稱為預(yù)測評分(scoring)。
和置信度區(qū)分
例：以預(yù)測流失為例
預(yù)測客戶A流失；
預(yù)測客戶B不流失，把握程度為0.8；
預(yù)測客戶C的流失概率為0.792。
多值（set）問題向二值問題的轉(zhuǎn)化（flag）
多值集合變量向幾個二值變量的轉(zhuǎn)化（設(shè)為標志）
連續(xù)預(yù)測問題向多值預(yù)測問題的轉(zhuǎn)化
從C&RT算法想到的……用分級節(jié)點
二值預(yù)測的結(jié)果表述
T or F
評分(scoring)
T－>1.0
F－>0.0
二值預(yù)測結(jié)果的評價
（1）總體準確率
（2）命中率
（3）覆蓋率
Clementine中預(yù)測二值問題
由預(yù)測值和預(yù)測把握程度向預(yù)測評分的轉(zhuǎn)化
練習(xí)1
對數(shù)據(jù)集data1.csv建立二值預(yù)測模型，實現(xiàn)以下目標深圳電信/組合模型）
應(yīng)用C5.0模型得出預(yù)測模型，對模型的準確率（總體準確率、命中率、覆蓋率）作出描述；
應(yīng)用神經(jīng)網(wǎng)絡(luò)模型建立預(yù)測模型，練習(xí)把離散問題連續(xù)化的方法；(提示：flag->range，T->1.0)
應(yīng)用C5.0模型建立scoring型的預(yù)測模型（ 提示：$C，$CC的組合）
組合模型解決二值預(yù)測的幾種思路
投票法(Voting)——少數(shù)服從多數(shù)，小概率服從大概率原則，主要目的在于提高命中率
修正法——根據(jù)預(yù)測結(jié)果與實際結(jié)果比較調(diào)整預(yù)測（多個訓(xùn)練集，一個檢驗集）
投票法之一——多個模型一致
對于同一問題建立不同模型，會得出不同的結(jié)果，多個模型同時預(yù)測同一結(jié)果時，往往這個結(jié)果更加可信
方法的優(yōu)點和缺點：
優(yōu)點：提高模型預(yù)測精度
缺點：會有一些記錄沒有預(yù)測結(jié)果
投票法之二——建立奇數(shù)個模型
建立奇數(shù)個預(yù)測模型
遵循少數(shù)服從多數(shù)原則
Derive node (type: Conditional)
If ‘$N-Outcome’ == ‘$C-Outcome’ or ‘$N-Outcome’ == ‘$R-Outcome’ then ‘$N-Outcome’ else ‘$C-Outcome’
帶$的變量需要加引號
投票法之三——更高把握程度原則
應(yīng)用那些具有更多把握程度的模型進行預(yù)測
If ‘$CC-Outcome’ > ‘$NC-Outcome’
Then ‘$C-Outcome’
Else ‘$N-Outcome’
投票法之四——根據(jù)把握程度匯總進行投票
建立不同模型的評分（scoring）模型
對不同模型得到評分（score）進行平均
轉(zhuǎn)化為二值預(yù)測問題
Converting : If all_score>0.5 then ‘T’ else ‘F’
Converting the confidence back If all_score > 0.5 Then (all_score – 0.5) * 2 Else (0.5 - all_score) * 2
練習(xí)2
應(yīng)用data2分別應(yīng)用神經(jīng)網(wǎng)絡(luò)模型、C5.0模型和C&RT模型建立二值預(yù)測模型，再按照以上4中思路建立預(yù)測模型。對于test數(shù)據(jù)完成下表：
修正法之一——模型堆疊(stacking)
把模型的預(yù)測輸出作為另外模型的輸入
修正法之二——找出錯誤預(yù)測的規(guī)律（error modelling）
對于一個預(yù)測模型，我們能夠發(fā)現(xiàn)錯誤預(yù)測的規(guī)律嗎？
挑出那些錯誤的，建立模型（常常需要平衡數(shù)據(jù)）
缺點：有些記錄會沒有預(yù)測
修正法之三——多個模型一致（agreement modelling） 處理投票法一中的不確定值
多個模型預(yù)測一致的作為預(yù)測
對那些不一致的重新建立模型進行預(yù)測
Select node ‘$N-Outcome’ /== ‘$C-Outcome’
Derive node (type: conditional) If ‘$N-Outcome’ == ‘$C-Outcome’ Then ‘$N-Outcome’ Else ‘$N1-Outcome’
修正法之四——對模型建模 （speciallist modelling）
建立關(guān)于何時規(guī)則模型或神經(jīng)網(wǎng)絡(luò)模型預(yù)測準確的模型，得出模型的適用條件（數(shù)據(jù)情況）
根據(jù)數(shù)據(jù)情況選擇使用不同的模型
練習(xí)3
對于數(shù)據(jù)集data1 to data5按照修正法思路1－思路4建立模型，對于數(shù)據(jù)集test完成下表：
總結(jié)——提高二值預(yù)測效果的幾種思路
離散問題向打分（scoring）問題的轉(zhuǎn)化
投票法之一——多個模型一致
投票法之二——建立奇數(shù)個模型
投票法之三——更高把握程度原則
投票法之四——根據(jù)把握程度匯總進行投票
修正法之一——模型堆疊(stacking)
修正法之二——找出錯誤預(yù)測的規(guī)律
修正法之三——多個模型一致
修正法之四——對模型建模
六、數(shù)據(jù)挖掘技術(shù)在電信行業(yè)中的應(yīng)用
數(shù)據(jù)挖掘技術(shù)在電信行業(yè)中的應(yīng)用
案例1：流失分析
案例2：流失癥狀與營銷預(yù)演
案例3：交叉銷售（套餐分析）
客戶生命周期理論—客戶分析的基礎(chǔ)
案例一
電信行業(yè)的流失分析
電信行業(yè)流失分析的數(shù)據(jù)挖掘模型
客戶流失分析之商業(yè)理解
移動通信業(yè)是一個競爭異常激烈的行業(yè)，對于移動通信運營商來說，如何對其客戶進行有效的管理，盡可能的減少客戶的流失和跳網(wǎng)是一個緊迫的問題。在這里我們將介紹數(shù)據(jù)挖掘在移動通信業(yè)關(guān)于客戶流失研究中的應(yīng)用。
數(shù)據(jù)挖掘技術(shù)將提供功能強大的模型，可以回答“哪些客戶最可能流失？”和“為什么這些客戶會流失？”等問題。
客戶流失分析之商業(yè)理解
什么是流失，流失如何定義
連續(xù)欠費不交？號碼長期不用？二分標記變量？
流失和哪些因素相關(guān)
顧客年齡？性別？收入？行業(yè)？話費水平？話務(wù)質(zhì)量？
確定數(shù)據(jù)挖掘目標
（1）對客戶進行聚類分析，尋找那些流失量比較大的客戶群
（2）建立規(guī)則，描述那些易于流失的客戶群的特征
（3）建立打分模型，對客戶流失可能性（概率）進行評價
客戶流失分析之?dāng)?shù)據(jù)理解
客戶流失分析之?dāng)?shù)據(jù)理解
客戶流失分析之?dāng)?shù)據(jù)理解
客戶流失分析之?dāng)?shù)據(jù)準備
把CDR月度數(shù)據(jù)匯總成6個月的總體數(shù)據(jù)
根據(jù)CDR數(shù)據(jù)生成各種不同的平均數(shù)據(jù)和組合 數(shù)據(jù)
歸并客戶信息數(shù)據(jù)、CDR數(shù)據(jù)與話費數(shù)據(jù)
對客戶現(xiàn)在付費類型的合理性進行簡單分析
客戶流失分析之建立模型和模型評估
客戶流失分析之模型發(fā)布
對每個特定客戶的流失可能性進行打分評估
寫回數(shù)據(jù)庫
客戶流失分析之建模圖
案例二
流失癥狀與營銷預(yù)演
說明
本案例意在說明如何應(yīng)用Clementine實現(xiàn)規(guī)則導(dǎo)出和營銷預(yù)演
本案例是一個簡化了的電信流失問題，我們不追求變量選擇的完整性
本案例目的是說明過程，不追求模型的準確性，對模型不進行任何調(diào)整
流失分析使用變量
目標變量：二分變量（是否流失）
輸入變量：
長途時長
國際時長
本地時長
通話時長合計
投訴次數(shù)
支付方式
本地話費支付方式
長途話費支付方式
年齡
性別
收入估計
婚姻狀態(tài)
孩子數(shù)量
是否有汽車
流失分析模型
在流失分析規(guī)則導(dǎo)出中我們應(yīng)用C5.0模型建立模型
在流失分析營銷預(yù)演中我們應(yīng)用神經(jīng)網(wǎng)絡(luò)建立模型
流失分析規(guī)則導(dǎo)出
數(shù)據(jù)流——總體
超級節(jié)點1——規(guī)則總結(jié)
超級節(jié)點2——規(guī)則對應(yīng)（Clementine自動生成）
超級節(jié)點3——指定客戶
可以在該節(jié)點中根據(jù)需要指定對哪些客戶是否流失進行分析
主要結(jié)果1
生成了預(yù)測客戶是否流失的決策樹圖如下（片斷）：
主要結(jié)果2
生成了客戶流失和不流失的若干規(guī)則如下：
主要結(jié)果3——針對指定客戶的流失規(guī)則（1）
例如針對年齡小于30歲的客戶我們可以得到如下流失情況和對應(yīng)流失規(guī)則：
主要結(jié)果4——針對指定客戶的流失規(guī)則（2）
我們也可以針對某一個客戶給出詳細的預(yù)測（其中客戶編號由使用者指定）：
流失分析營銷預(yù)演
數(shù)據(jù)流——總體
超級節(jié)點——營銷預(yù)演
主要結(jié)果1:計算成本收益情況
根據(jù)用戶指定的每個客戶的平均成本、營銷活動折扣率和市場活動預(yù)測回應(yīng)率自動得出營銷活動的預(yù)計凈收益和市場活動的最優(yōu)覆蓋面及最優(yōu)流失評分臨界值。
主要結(jié)果2:營銷活動成本收益圖（1）
主要結(jié)果2:營銷活動成本收益圖（2）
案例三
電信行業(yè)的交叉銷售分析（套餐分析）
客戶交叉銷售模型
目的
發(fā)現(xiàn)客戶選擇數(shù)據(jù)業(yè)務(wù)的關(guān)聯(lián)性
根據(jù)客戶已經(jīng)選擇數(shù)據(jù)業(yè)務(wù)，向客戶進行交叉銷售
研究客戶價值（或客戶分群）與產(chǎn)品組合之間的關(guān)系
分析各個產(chǎn)品之間的關(guān)聯(lián)性進行交叉銷售
關(guān)聯(lián)規(guī)則結(jié)果
關(guān)聯(lián)規(guī)則結(jié)果應(yīng)用（1）
關(guān)聯(lián)規(guī)則結(jié)果應(yīng)用（2）
業(yè)務(wù)人員輸入某一項業(yè)務(wù)后，可以列出應(yīng)該向哪些客戶推薦這項業(yè)務(wù)，這些客戶目前選擇了哪些業(yè)務(wù)，向他們推薦這些業(yè)務(wù)的把握程度如何。
關(guān)聯(lián)規(guī)則結(jié)果應(yīng)用（3）
業(yè)務(wù)人員按照某種規(guī)則選出一部分客戶后，可以列出這些客戶選擇了何種業(yè)務(wù)，并提出應(yīng)該向這些客戶推薦哪些數(shù)據(jù)業(yè)務(wù)以及這種推薦的把握程度。
電信交叉效果實際應(yīng)用效果
客戶價值與交叉銷售關(guān)系
電信行業(yè)的交叉銷售數(shù)據(jù)挖掘分析
數(shù)據(jù)流1——數(shù)據(jù)準備 (P4_basket) 數(shù)據(jù)變換，變換為市場籃數(shù)據(jù)
數(shù)據(jù)流2——數(shù)據(jù)準備（P5_custbasket）計算客戶價值
數(shù)據(jù)流3——探索選擇套餐之間的關(guān)系，確定套餐組合（E3_products）
數(shù)據(jù)流4——向用戶推薦套餐（D2_recommend）
數(shù)據(jù)流5——細分客戶群，并分析各個細分群體選擇套餐的傾向性（M3_prodassoc）
數(shù)據(jù)流6——不同價值客戶群體選擇套餐情況的探索性分析（E4_prodvalue）
數(shù)據(jù)流7——研究不同價值群體的選擇套餐組合的情況并預(yù)測（M4_prodprofile）
電信行業(yè)交叉銷售建模圖培訓(xùn)ppt課件模板：這是培訓(xùn)ppt課件模板，包括了文章背景知識，認字識詞朗誦，課文賞析，拓展訓(xùn)練/分組練習(xí)等內(nèi)容，歡迎點擊下載。
幼兒教師師德培訓(xùn)ppt1：這是幼兒教師師德培訓(xùn)ppt1，包括了引言，幼兒園教師師德現(xiàn)狀，幼兒園師德建設(shè)存在的問題，原因分析，對策建議等內(nèi)容，歡迎點擊下載。
釘釘培訓(xùn)ppt：這是釘釘培訓(xùn)ppt，包括了釘釘軟件介紹，釘釘常用功能，公司啟用釘釘考勤操作指南，公司啟用釘釘時間等內(nèi)容，歡迎點擊下載。
-
素材評分榜
素材排行榜
-
猜你喜歡
-
- 培訓(xùn)ppt課件模板
- 文檔大小：4 MB
- 上傳時間：03-04
![培訓(xùn)ppt課件模板]()
-
- 幼兒教師師德培訓(xùn)ppt1
- 文檔大�。�2 MB
- 上傳時間：02-24
![幼兒教師師德培訓(xùn)ppt1]()
-
- 釘釘培訓(xùn)ppt
- 文檔大小：2 MB
- 上傳時間：02-14
![釘釘培訓(xùn)ppt]()
-
- 人事對新人的培訓(xùn)ppt
- 文檔大�。�8 MB
- 上傳時間：02-12
![人事對新人的培訓(xùn)ppt]()
-
- 消毒隔離培訓(xùn)ppt
- 文檔大小：318 KB
- 上傳時間：12-16
![消毒隔離培訓(xùn)ppt]()
-
- 模特培訓(xùn)ppt
- 文檔大�。�37 KB
- 上傳時間：12-16
![模特培訓(xùn)ppt]()
-
- 秘書培訓(xùn)ppt
- 文檔大�。�854 KB
- 上傳時間：12-15
![秘書培訓(xùn)ppt]()
-
