傅一航
課程
大數據挖掘工具:SPSS Modeler入門與提高培訓課程大綱
2019-10-26 更新 920次瀏覽
IBM SPPS Modeler是一個數據流處理工具，適用于數據探索與數據挖掘，包括數據預處理、數據探索、數據可視化、數據建模、數據模型優化。
大數據的核心理念
問題：大數據的核心價值是什么？大數據是怎樣用于業務決策？
大數據時代：你缺的不是一堆方法，而是大數據思維
大數據是探索事物發展和變化規律的工具
一切不以解決業務問題為導向的大數據都是耍流氓
大數據的核心能力
發現業務運行規律及問題
探索業務未來發展趨勢
從案例看大數據的核心本質
用趨勢圖來探索產品銷量規律
從谷歌的GFT產品探索用戶需求變化
從美國總統競選看大數據對選民行為進行分析
從大數據炒股看大數據如何探索因素的相關性
認識大數據分析
什么是數據分析
數據分析的三大作用
常用分析的三大類別
案例：喜歡賺“差價”的營業員（用數據管理來識別）
數據分析需要什么樣的能力
懂業務、懂管理、懂分析、懂工具、懂呈現
大數據應用系統的四層結構
數據基礎層、數據模型層、業務模型層、業務應用層
大數據分析的兩大核心理念
大數據分析面臨的常見問題
不知道分析什么（分析目的不明確）
不知道怎樣分析（缺少分析方法）
不知道收集什么樣的數據（業務理解不足）
不知道下一步怎么做（不了解分析過程）
看不懂數據表達的意思（數據解讀能力差）
擔心分析不夠全面（分析思路不系統）
數據挖掘標準流程
數據挖掘概述
數據挖掘的標準流程（CRISP-DM）
商業理解
數據準備
數據理解
模型建立
模型評估
模型應用
案例：客戶匹配度建模—找到你的準客戶
案例：客戶流失預測及客戶挽留
數據集概述
數據集的類型
數據集屬性的類型
標稱
序數
度量
數據質量三要素
準確性
完整性
一致性
數據預處理過程
SPSS工具簡介
數據預處理的主要任務
數據集成：多個數據集的合并
數據清理：異常值的處理
數據處理：數據篩選、數據精簡、數據平衡
變量處理：變量變換、變量派生、變量精簡
數據歸約：實現降維，避免維災難
數據集成
外部數據讀入：Txt/Excel/SPSS/Database
數據追加（添加數據）
變量合并（添加變量）
數據理解（異常數據處理）
取值范圍限定
重復值處理
無效值/錯誤值處理
缺失值處理
離群值/極端值處理
數據質量評估
數據準備：數據處理
數據篩選：數據抽樣/選擇（減少樣本數量）
數據精簡：數據分段/離散化（減少變量的取值個數）
數據平衡：正反樣本比例均衡
數據準備：變量處理
變量變換：原變量取值更新，比如標準化
變量派生：根據舊變量生成新的變量
變量精簡：降維，減少變量個數
數據降維
常用降維的方法
如何確定變量個數
特征選擇：選擇重要變量，剔除不重要的變量
從變量本身考慮
從輸入變量與目標變量的相關性考慮
對輸入變量進行合并
因子分析（主成分分析）
因子分析的原理
因子個數如何選擇
如何解讀因子含義
案例：提取影響電信客戶流失的主成分分析
數據探索性分析
常用統計指標分析
單變量：數值變量/分類變量
雙變量：交叉分析/相關性分析
多變量：特征選擇、因子分析
演練：描述性分析（頻數、描述、探索、分類匯總）
數據可視化篇
數據可視化的原則
常用可視化工具
常用可視化圖形
柱狀圖、條形圖、餅圖、折線圖、箱圖、散點圖等
圖形的表達及適用場景
演練：各種圖形繪制
影響因素分析篇
問題：如何判斷一個因素對另一個因素有影響？比如營銷費用是否會影響銷售額？產品價格是否會影響銷量？產品的陳列位置是否會影響銷量？
風險控制的關鍵因素有哪些？如何判斷？
影響因素分析的常見方法
相關分析（衡量變量間的的相關性）
問題：這兩個屬性是否會相互影響？影響程度大嗎？營銷費用會影響銷售額嗎？
什么是相關關系
相關系數：衡量相關程度的指標
相關系數的三個計算公式
相關分析的假設檢驗
相關分析的基本步驟
相關分析應用場景
演練：體重與腰圍的關系
演練：營銷費用會影響銷售額嗎
演練：哪些因素與汽車銷量有相關性
演練：通信費用與開通月數的相關分析
案例：酒樓生意好壞與報紙銷量的相關分析
偏相關分析
距離相關分析
方差分析
問題：哪些才是影響銷量的關鍵因素？
方差分析解決什么問題
方差分析種類：單因素/雙因素可重復/雙因素無重復
方差分析的應用場景
方差分析的原理與步驟
如何解決方差分析結果
演練：終端擺放位置與終端銷量有關嗎？
演練：開通月數驛客戶流失的影響分析
演練：客戶學歷對消費水平的影響分析
演練：廣告和價格是影響終端銷量的關鍵因素嗎
演練：營業員的性別、技能級別產品銷量有影響嗎？
案例：2015年大學生工資與父母職業的關系
案例：醫生洗手與嬰兒存活率的關系
演練：尋找影響產品銷量的關鍵因素
多因素方差分析原理
多因素方差結果的解讀
演練：廣告形式、地區對銷量的影響因素分析（多因素）
協方差分析原理
演練：飼料對生豬體重的影響分析（協方差分析）
列聯分析（兩類別變量的相關性分析）
交叉表與列聯表
卡方檢驗的原理
卡方檢驗的幾個計算公式
列聯表分析的適用場景
案例：套餐類型對客戶流失的影響分析
案例：學歷對業務套餐偏好的影響分析
案例：行業/規模對風控的影響分析
數值預測模型篇
問題：如何預測產品的銷量/銷售金額？如果產品跟隨季節性變動，該如何預測？新產品上市，如果評估銷量上限及銷售增速？
銷量預測與市場預測——讓你看得更遠
回歸預測/回歸分析
問題：如何預測未來的銷售量（定量分析）？
回歸分析的基本原理和應用場景
回歸分析的種類（一元/多元、線性/曲線）
得到回歸方程的幾種常用方法
回歸分析的五個步驟與結果解讀
回歸預測結果評估（如何評估預測質量，如何選擇最佳回歸模型）
演練：散點圖找推廣費用與銷售額的關系（一元線性回歸）
演練：推廣費用、辦公費用與銷售額的關系（多元線性回歸）
演練：讓你的營銷費用預算更準確
演練：如何選擇最佳的回歸預測模型（曲線回歸）
帶分類變量的回歸預測
演練：汽車季度銷量預測
演練：工齡、性別與終端銷量的關系
演練：如何評估銷售目標與資源配置（營業廳）
時序預測
問題：隨著時間變化，未來的銷量變化趨勢如何？
時序分析的應用場景（基于時間的變化規律）
移動平均MA的預測原理
指數平滑ES的預測原理
自回歸移動平均ARIMA模型
如何評估預測值的準確性？
案例：銷售額的時序預測及評估
演練：汽車銷量預測及評估
演練：電視機銷量預測分析
演練：上海證券交易所綜合指數收益率序列分析
演練：服裝銷售數據季節性趨勢預測分析
回歸模型優化篇
回歸模型的基本原理
三個基本概念：總變差、回歸變差、剩余變差
方程的顯著性檢驗：是否可以做回歸分析？
擬合優度檢驗：回歸模型的質量評估？
因素的顯著性檢驗：自變量是否可用？
理解標準誤差的含義：預測的準確性？
模型優化思路：尋找最佳回歸擬合線
如何處理異常數據（殘差與異常值排除）
如何剔除非顯著因素（因素顯著性檢驗）
如何進行非線性關系檢驗
如何進行相互作用檢驗
如何進行多重共線性檢驗
如何檢驗誤差項
如何判斷模型過擬合
案例：模型優化案例
分類預測模型篇
問題：如何評估客戶購買產品的可能性？如何預測客戶的購買行為？如何提取某類客戶的典型特征？如何向客戶精準推薦產品或業務？
分類模型概述
常見分類預測模型
邏輯回歸模型
邏輯回歸模型原理及適用場景
邏輯回歸種類：二元/多元邏輯回歸
如何解讀邏輯回歸方程
案例：如何評估用戶是否會購買某產品（二元邏輯）
消費者品牌選擇模型分析
案例：品牌選擇模型分析，你的品牌適合哪些人群？（多元邏輯）
分類決策樹
問題：如何預測客戶行為？如何識別潛在客戶？
風控：如何識別欠貸者的特征，以及預測欠貸概率？
客戶保有：如何識別流失客戶特征，以及預測客戶流失概率？
決策樹分類簡介
如何評估分類性能？
案例：美國零售商（Target）如何預測少女懷孕
演練：識別銀行欠貨風險，提取欠貸者的特征
構建決策樹的三個關鍵問題
如何選擇最佳屬性來構建節點
如何分裂變量
修剪決策樹
選擇最優屬性
熵、基尼索引、分類錯誤
屬性劃分增益
如何分裂變量
多元劃分與二元劃分
連續變量離散化（最優劃分點）
修剪決策樹
剪枝原則
預剪枝與后剪枝
構建決策樹的四個算法
C5.0、CHAID、CART、QUEST
各種算法的比較
如何選擇最優分類模型？
案例：商場酸奶購買用戶特征提取
案例：電信運營商客戶流失預警與客戶挽留
案例：識別拖欠銀行貨款者的特征，避免不良貨款
案例：識別電信詐騙者嘴臉，讓通信更安全
人工神經網絡（ANN）
神經網絡概述
神經網絡基本原理
神經網絡的結構
神經網絡的建立步驟
神經網絡的關鍵問題
BP反向傳播網絡（MLP）
徑向基網絡（RBF）
案例：評估銀行用戶拖欠貨款的概率
支持向量機（SVM）
SVM基本原理
線性可分問題：最大邊界超平面
線性不可分問題：特征空間的轉換
維空難與核函數
判別分析
判別分析原理
距離判別法
典型判別法
貝葉斯判別法
案例：MBA學生錄取判別分析
案例：上市公司類別評估
市場細分模型篇
問題：我們的客戶有幾類？各類特征是什么？如何實現客戶細分，開發符合細分市場的新產品？如何提取客戶特征，從而對產品進行市場定位？
市場細分的常用方法
有指導細分
無指導細分
聚類分析
如何更好的了解客戶群體和市場細分？
如何識別客戶群體特征？
如何確定客戶要分成多少適當的類別？
聚類方法原理介紹
聚類方法作用及其適用場景
聚類分析的種類
K均值聚類（快速聚類）
案例：移動三大品牌細分市場合適嗎？
演練：寶潔公司如何選擇新產品試銷區域？
演練：如何評選優秀員工？
演練：中國各省份發達程度分析，讓數據自動聚類
層次聚類（系統聚類）：發現多個類別
R型聚類與Q型聚類的區別
案例：中移動如何實現客戶細分及營銷策略
演練：中國省市經濟發展情況分析（Q型聚類）
演練：裁判評分的標準衡量，避免“黑哨”（R型聚類）
兩步聚類
主成分分析PCA分析
主成分分析原理
主成分分析基本步驟
主成分分析結果解讀
演練：PCA探索汽車購買者的細分市場
RFM模型客戶細分框架
客戶價值評估
客戶價值評估與RFM模型
問題：如何評估客戶的價值？如何針對不同客戶采取不同的營銷策略？
RFM模型，更深入了解你的客戶價值
RFM的客戶細分框架理解
RFM模型與市場策略
RFM模型與活躍度
演練：“雙11”淘寶商家如何選擇客戶進行促銷
演練：結合響應模型，宜家IKE實現最大化營銷利潤
演練：重購用戶特征分析
產品推薦模型
問題：購買A產品的顧客還常常要購買其他什么產品？應該給客戶推薦什么產品最有可能被接受？
常用產品推薦模型
關聯分析
如何制定套餐，實現交叉/捆綁銷售
案例：啤酒與尿布、颶風與蛋撻
關聯分析模型原理（Association）
關聯規則的兩個關鍵參數
支持度
置信度
關聯分析的適用場景
案例：購物籃分析與產品捆綁銷售/布局優化
案例：理財產品的交叉銷售與產品推薦
如何提取關聯規則（關聯分析的算法）
Apriori算法
FP-Growth算法
協同過濾
分類預測模型
結束：課程總結與問題答疑。
課程標簽：市場營銷、大數據營銷
