2019-08-17 更新 992次瀏覽
第一單元已經到來的數字化社會——大數據價值展望
一、大數據已經在改變社會
1、生活在一個被算法壟斷的社會
2、更加智能化的硬件和物聯網
3、日益出格的數字化商業模式
4、社會文化、消費習慣的躍遷
5、工業化時代的終結
第二單元大數據十大思維
一、大數據三大核心思維
1、分類:真與假;好與壞;高、中、低。不會分類,就不會思考
2、預測:輸入變量,求得結果。代表了掌握規律的能力,生活是確定的
3、相關性:模糊、近似、有關,是一種簡便的、粗略的全盤操控能力
提問思考:關于“概率”的故事,給了我們怎么樣的思考;數字和數據的區別在哪里
二、大數據七大創新性思維
1、主動找數據變為被動推薦
2、抽樣數據變為全集數據
3、要求精確變為歡迎復雜
4、事后分析變為實時監控
5、人為分析變為機器學習
6、由流程為核心變為以數據為核心
7、由分類型產品變為個性化服務
8、由人與人連接變為人與機器連接
分組討論:以組為單位,根據林海老師所講的內容,結合自己日常工作、學習和生活中了解的內容,舉一個案例,向大家分享大數據創新思維的應用場景
三、成為大數據領域人才的關鍵轉型
1、擁抱變化和開放性的心態
2、培養系統性思維、建立架構意識
3、觀察、收集、分析、推理的基本功
4、成年人的挖洞式學習模式
5、要感謝那個逼迫你學習的人
提問思考:你對大數據感興趣的是什么?希望學習大數據達到什么樣的目標
第三單元大數據分析常用算法
一、大數據的內容和企業的關注點
1、大數據分析:價值創造工具,企業的重心
2、大數據存儲:支撐平臺
3、大數據計算:支撐工具
4、大數據產業:數據交易市場、API服務商
二、大數據分析五大初級算法
1、相關性分析:最入門、最常用、最剛需的分析方法
2、散點圖分析:最被忽略的探索性分析方法
3、概覽性分析:教科書上都不重視的全局總覽的分析方法
4、回歸分析:最容易理解的由x推導出y的方程式分析法
5、聚類分析:最粗暴的物以類聚人以群分的分析方法
實例演示:如何用大家都會用的Excel,運用這些初級算法,進行入門級別的數據分析
三、大數據分析六大中級算法
1、降維分析:數據太多,抓住主要數據的方法
2、決策樹分析:最容易理解的決策分析
3、關聯規則分析:貌似沒有規模,卻可以尋找一個規律
4、相似性分析:當前最熱門的分析方法,如:人臉識別、指紋識別
5、可視化分析:河流圖、風向圖、熱力圖等各種別具一格的數據呈現方式
6、文本分析:從大量的文字中快速提取關鍵信息
實例演示:林海老師介紹用泰坦尼克號幸存者的數據,分析幸存者的特征,在白板上逐步推導,進行演示,找出這一事件中幸存者的生存概率
四、兩大大數據高級算法
1、神經網絡算法:最牛逼的模擬大腦的算法,如埃爾法狗圍棋
2、支持向量機算法:實用性和準確性較強的一個機器學習算法
提問思考:機器學習和統計分析的區別,以及優勢、未來發展的趨勢
第四單元大數據分析的工具與操作方法
一、大數據分析的主要工具
1、R語言。下載、安裝、打開、helloworld示例
2、Python。下載、安裝、打開、Hellowworld示例
二、大數據分析方法和步驟
1、數據獲取(導入數據、爬取數據)
2、數據探索分析、概覽分析
3、明確分析目的
4、選擇x和y
5、對格式進行轉換
6、選擇模型(模型選擇準則)
7、使用交叉驗證規則,切分數據
8、用模型進行訓練
9、分析模型預測結果
10、確定最優模型
11、使用和預測
12、報告和呈現
實例演示:以一份國際白銀價格數據為例,林海老師詳細演示分析過程,對白銀的未來價格進行預測
三、數據分析中的常見問題
1、數據量
2、數據質量
3、歸一化
4、過擬合
案例介紹:常見的數據分析陷阱和邏輯謬誤
四、不同分析模型的比較
1、適用性,不同模型有不同的適用場景
2、經驗性,根據項目經驗,各個模型有差別
3、結果性,用結果來評價優劣
4、開放性,能看清內核,能修改完善最好
5、可控性,運行結果文檔,可以預期輸出
案例分析:藥品的研發過程和雙盲測試法
第五單元大數據創新的經典案例
一、互聯網公司的經典案例
1、推薦算法:當當網評論的排序優化,激發了購買
2、個性化頁面:淘寶的千人千面、個性化的產品介紹和價格、服務
3、自動撮合:基于位置的、基于價格、基于時間、基于供需
4、自動化流程:減少人工錄入和操作
5、客戶畫像:更加洞察需求
6、活動預測:流量引導、資源規劃
7、用戶行為分析:分析現狀,查找問題和改進
8、異常檢測:文字、圖片的異常偵測、識別
9、灰度策略:小部分用戶進行試錯
10、黑科技:無處不在的騷擾和隱私泄露
案例分析:大數據對競技體育行業的影響
二、傳統行業公司的大數據項目應用
1、中國電信運營商(中國移動、中國聯通)的大數據實戰
2、中國電力企業(國家電網、南方電網)的大數據實戰
3、中國金融行業(銀行、保險)的大數據實戰
4、中國制造行業(美的)的大數據實戰
討論:如何看待大數據泡沫現象
第六單元設計大數據解決方案
一、企業開展大數據工作的策略和建議
1、開始養數據,做好積累
2、業務閉環(付款閉環、績效閉環)處理,提高數據質量
3、以客戶、產品、項目、訂單為中心進行數據編織
4、先統計,再挖掘
5、應用場景以業務的“事前規劃、事中監控、事后總結”為主線
6、用數據說話,用數據決策,培養數據文化
7、培養業務研究型專家,對業務進行持續分析和改善
二、如何設計數據分析解決方案(模型:W-J-P-M-V-D)
1、What:問題是什么
2、Judgement:能用數據分析解決嗎
3、Prerequisite:具備數據基礎嗎
4、ModelSelect:選擇哪個模型
5、Visualization:怎么呈現結果
6、Design:設計流程,形成文檔
三、林海老師帶領學員,設計一個數據分析解決方案(題目:基于大數據的客戶畫像,需要被培訓公司提供些背景材料,可以在第一天培訓時提供)
四、頭腦風暴:以小組為單位,結合公司和所處行業的特點,基于目前的需求或存在的痛點,運用大數據分析技術,設計創新性解決方案,并對方案進行展示
課程標簽:企業戰略、商業模式