傅一航
課程
大數據分析與挖掘綜合能力提升實戰
2019-06-05 更新 425次瀏覽
數據挖掘基礎
數據挖掘概述
數據挖掘的標準流程（CRISP-DM）
商業理解
數據準備
數據理解
模型建立
模型評估
模型應用
案例：客戶流失預測及客戶挽留
數據集概述
變量的類型
存儲類型
度量類型
角色
SPSS工具介紹
數據挖掘常用模型
影響因素分析篇
問題：如何判斷一個因素對另一個因素有影響？比如：價格是否會影響產品銷量？產品的陳列位置是否會影響銷量？學歷是否與客戶流失有關系？影響風險的關鍵因素有哪些？
影響因素分析的常見方法
相關分析（衡量兩數據型變量的線性相關性）
問題：這兩個屬性是否會相互影響？影響程度大嗎？
相關分析簡介
相關分析的應用場景
相關分析的種類
簡單相關分析
偏相關分析
距離相關分析
相關系數的三種計算公式
Pearson相關系數
Spearman相關系數
Kendall相關系數
相關分析的假設檢驗
相關分析的四個基本步驟
演練：體重與腰圍的關系
演練：營銷費用會影響銷售額嗎
演練：哪些因素與汽車銷量有相關性
演練：話費與網齡的相關分析
偏相關分析
偏相關原理：排除不可控因素后的兩變量的相關性
偏相關系數的計算公式
偏相關分析的適用場景
距離相關分析
方差分析（衡量類別變量與數值變量間的相關性）
問題：哪些才是影響銷量的關鍵因素？
方差分析的應用場景
方差分析的三個種類
單因素方差分析
多因素方差分析
協方差分析
方差分析的原理
方差分析的四個步驟
解讀方差分析結果的兩個要點
演練：終端擺放位置與終端銷量有關嗎
演練：開通月數對客戶流失的影響分析
演練：客戶學歷對消費水平的影響分析
演練：廣告和價格是影響終端銷量的關鍵因素嗎
演練：營業員的性別、技能級別對產品銷量有影響嗎
演練：尋找影響產品銷量的關鍵因素
多因素方差分析原理
多因素方差分析的作用
多因素方差結果的解讀
演練：廣告形式、地區對銷量的影響因素分析（多因素）
協方差分析原理
協方差分析的適用場景
演練：飼料對生豬體重的影響分析（協方差分析）
列聯分析/卡方檢驗（兩類別變量的相關性分析）
交叉表與列聯表
卡方檢驗的原理
卡方檢驗的幾個計算公式
列聯表分析的適用場景
案例：套餐類型對客戶流失的影響分析
案例：學歷對業務套餐偏好的影響分析
案例：行業/規模對風控的影響分析
相關性分析方法總結
回歸預測模型篇
問題：如何預測產品的銷量/銷售金額？
常用預測模型
數值預測：回歸預測/時序預測
分類預測：邏輯回歸、決策樹、神經網絡、…
回歸分析/回歸預測
問題：如何預測未來的銷售量（定量分析）？
回歸分析簡介
回歸分析的種類（一元/多元、線性/曲線）
得到回歸方程的常用工具
散點圖+趨勢線
線性回歸工具
規劃求解工具
演練：散點圖找營銷費用與銷售額的關系（一元回歸）
線性回歸分析的五個步驟
演練：營銷費用、辦公費用與銷售額的關系（線性回歸）
解讀線性回歸分析結果的技巧
定性描述：正相關/負相關
定量描述：自變量變化導致因變量的變化程度
回歸預測模型質量
評估指標：判定系數R^2、
如何選擇最佳回歸模型
演練：如何選擇最佳的回歸預測模型（一元曲線回歸）
預測值準確性評估
MAD、MSE/RMSE、MAPE等
演練：如何選擇最佳的回歸預測模型（一元曲線回歸）
帶分類變量的回歸預測
演練：汽車季度銷量預測
演練：工齡、性別與終端銷量的關系
演練：如何評估銷售目標與資源配置（營業廳）
自動篩選不顯著因素（自變量）
回歸模型優化篇
回歸分析的基本原理
三個基本概念：總變差、回歸變差、剩余變差
方程的顯著性檢驗：是否可以做回歸分析？
因素的顯著性檢驗：自變量是否可用？
擬合優度檢驗：回歸模型的質量評估？
理解標準誤差的含義：預測的準確性？
模型優化思路：尋找最佳回歸擬合線
如何處理預測離群值（剔除離群值）
如何剔除不顯著因素（剔除不顯著因素）
如何進行非線性關系檢驗（增加非線性自變量）
如何進行相互作用檢驗（增加相互作用自變量）
如何進行多重共線性檢驗（剔除共線性自變量）
如何檢驗誤差項（修改因變量）
如何判斷模型過擬合（模型過擬合判斷）
演練：模型優化案例
規劃求解工具簡介（自定義回歸模型的工具）
自定義模型（如何利用規劃求解進行自定義模型）
案例：如何對餐廳客流量進行建模及模型優化
好模型都是優化出來的
時序預測模型篇
問題：類似于GDP這種無法找到或找全影響因素，無法進行回歸建模，怎么辦？
時間序列簡介
時間序列常用模型
評估預測值的準確度指標
平均絕對誤差MAD
均方差MSE/RMSE
平均誤差率MAPE
移動平均（MA）
應用場景及原理
移動平均種類
一次移動平均
二次移動平均
加權移動平均
移動平均比率法
移動平均關鍵問題
期數N的最佳選擇方法
最優權重系數的選取方法
演練：平板電腦銷量預測及評估
演練：快銷產品季節銷量預測及評估
指數平滑（ES）
應用場景及原理
最優平滑系數的選取原則
指數平滑種類
一次指數平滑
二次指數平滑（Brown線性、Holt線性、Holt指數、阻尼線性、阻尼指數）
三次指數平滑
演練：煤炭產量預測
演練：航空旅客量預測及評估
溫特斯季節預測模型
適用場景及原理
Holt-Winters加法模型
Holt-Winters乘法模型
演練：汽車銷量預測及評估
回歸季節預測模型
回歸季節模型的參數
基于時期t的相加模型
基于時期t的相乘模型
怎樣解讀模型的含義
案例：美國航空旅客里程的季節性趨勢分析
ARIMA模型
適用場景及原理
ARIMA操作
演練：上海證券交易所綜合指數收益率序列分析
演練：服裝銷售數據季節性趨勢預測分析
新產品銷量預測模型
新產品累計銷量的S曲線
如何評估銷量增長的拐點及銷量上限
珀爾曲線與龔鉑茲曲線
演練：預測IPad產品的銷量
演練：預測Facebook的用戶增長情況
數據預處理篇（了解你的數據集）
數據預處理的主要任務
數據集成：多個數據集的合并
數據清理：異常值的處理
數據處理：數據篩選、數據精簡、數據平衡
變量處理：變量變換、變量派生、變量精簡
數據歸約：實現降維，避免維災難
數據集成
外部數據讀入：Txt/Excel/SPSS/Database
數據追加（添加數據）
變量合并（添加變量）
數據理解（異常數據處理）
取值范圍限定
重復值處理
無效值/錯誤值處理
缺失值處理
離群值/極端值處理
數據質量評估
數據準備：數據處理
數據篩選：數據抽樣/選擇（減少樣本數量）
數據精簡：數據分段/離散化（減少變量的取值個數）
數據平衡：正反樣本比例均衡
數據準備：變量處理
變量變換：原變量取值更新，比如標準化
變量派生：根據舊變量生成新的變量
變量精簡：降維，減少變量個數
數據降維
常用降維的方法
如何確定變量個數
特征選擇：選擇重要變量，剔除不重要的變量
從變量本身考慮
從輸入變量與目標變量的相關性考慮
對輸入變量進行合并
因子分析（主成分分析）
因子分析的原理
因子個數如何選擇
如何解讀因子含義
案例：提取影響電信客戶流失的主成分分析
數據探索性分析
常用統計指標分析
單變量：數值變量/分類變量
雙變量：交叉分析/相關性分析
多變量：特征選擇、因子分析
演練：描述性分析（頻數、描述、探索、分類匯總）
數據可視化
數據可視化：柱狀圖、條形圖、餅圖、折線圖、箱圖、散點圖等
圖形的表達及適用場景
演練：各種圖形繪制
結束：課程總結與問題答疑。
課程標簽：市場營銷、大數據營銷
