數據分析可以分為兩種:一種類似產品經理,一種偏向數據挖掘。前者更加註重業務,對業務能力要求比較高,例如需要了解一些常用的營銷和管理理論,有一定的傳播學基礎,對數據十分敏感,而後者則更加註重技術,對演算法和代碼的能力比較高,得有一定的計算機基礎。下文僅介紹第一種類似產品經理的數據分析師需要了解的知識和技術,希望能夠給想入坑的同學一點啟發。由於本人能力有限,也只是個人學習,如有錯誤,歡迎指正。
01數據分析|方法論
PEST分析法:用於行業分析。
政治(P):政治體制、經濟體制、財政政策、、稅收政策、產業政策、投資政策、專利數量、國防開支水平、政府補貼水平、民眾對政治的參與度。
經濟(E):GDP及增長率、進出口總額及增長率、利率、匯率、通貨膨脹率、消費價格指數、居民可支配收入、失業率、勞動生產率。
社會(S):人口規模、性別比例、年齡結構、出生率、死亡率、種族結構、婦女生育率、生活方式、購買習慣、教育狀況、城市特點、宗教信仰。
技術(T):新技術的發明和進展、折舊和報廢速度、技術更新速度、技術傳播速度、技術商業化速度、國家重點支持項目、國家投入的研發費用、專利個數、專利保護情況。
以互聯網行業為例:
5W2H分析法:可用於用戶行為分析、業務問題專題分析。
以用戶購買行為為例:
邏輯樹分析法:業務問題專題分析。
以利率增長為例:
4P營銷理論:可用於公司整體經營情況
以公司業務為例:
用戶行為理論:可用於用戶研究分析,以網站分析為例:
02數據分析師|知識技術的學習
統計學基礎:
統計數是收集、處理、分析、解釋數據並從數據中得出結論的科學。
例如我們需要知道水平條形圖和垂直條形圖有什麼區別,有哪些方法可在一張條形圖上體現多批數據,頻數和頻數密度的區別,如何使用直方圖,箱線圖是什麼等等這些比較基礎的理論知識。另外,統計學還告訴了我們數據是如何被收集的,數據的整體分布是怎樣的,數據的相關與回歸、時間序列分析和預測等等。這些在網易公開課上有不錯的教程:哈里斯堡社區大學公開課:統計學入門_全24集_網易公開課,另外我也幫你整理了一些常用的統計量和概率分布:
SQL(資料庫):
當我們去到公司,公司的數據不可能像我們自己的pc那樣就存在我們的本地上,每個公司一般都有自己的資料庫,那麼如何把數據從這些資料庫中調出來,然後整成我們希望的樣子呢,這些問題就需要SQL來解決了。零基礎學習SQL可以閱讀這裡:https://www.w3cschool.cn/sql/
Python或R:
這是兩種解釋性語言,就跟英語一樣,有自己的單詞和語法,我們只需要把單詞記住,語法熟練,就可以寫我們自己的英文作文了。R是專門用於數據分析和數據挖掘的,使用起來更直接,而Python則更廣泛,基本上爬蟲、數據分析、數據挖掘、人工智慧、web建站等所有的事情都能做。個人建議對自己要求比較高的同學都可以了解。
03如何用Excel|做數據分析
我把Excel單獨做一章的原因主要是百分之90的同學都會選擇用它來做數據分析,它的優點無非就是簡單易用,除去函數和一些高級的應用,完全不用寫代碼。但缺點也就很明顯了,不靈活,並且無法處理很大的數據量。下面我以數據分析常用的六步曲對它進行一個簡單的介紹:
Step1 明確分析目的和思路:
首先,我們應根據自己的需求,選用上面某一或多種數據分析方法論的方法。
Step2 數據收集:
各個公司資料庫、公開出版物(中國統計年鑒、中國社會統計年鑒、中國人口統計年鑒、世界經濟年鑒、世界發展報告)、互聯網、市場調查。
不同題目問卷錄入方法:數值題、單選題、多選題(二分法、多重分類法)、排序題、開放性文字題:
Step 3 數據處理:
數據清洗:
重複數據的處理:
方法五:開始-排序和篩選-降序-次數靠前大於1的就是重複值
數據計算:=B2*C2
數據抽樣:百度用下隨機函數等函數
Step 4 數據分析:
對比分析法
綜合評價分析:5個步驟
三大特點:
0—1標準化:
權重確定方法:目標優化矩陣表
上表,假如動手能力比人品重要,則C2為0,人品比創新意識重要,則D2為1,其餘同理,最後算出教育背景合計0隻是我們的假設,其當然也很重要,因為0無法算,所以統一全加1。某指標權重=(某指標新的重要性合計得分/所有指標新的重要性合計得分)*100%
杜邦分析法:
例如找A用戶增加,但A市場佔有率下降的原因:
漏斗圖分析法:
矩陣關聯分析法:以用戶滿意度為例
發展矩陣:
改進難易矩陣:
舉一反三:
高級數據分析方法:
Tip:Excel對於一些數據的清洗、處理和分析除了重點掌握數據透視表之外,也可下載易用寶、方方格子、慧辦公等第三方插件,非常好用啊。
Step5 數據展現:
除了Excel的數據可視化之外,現在用的最多的就是Tableau了,它是一款既能生成一般的統計圖表,也能夠用於數據展現的可視化軟體,並且支持多種數據來源的數據導入,只需點點滑鼠,就可輕鬆做出很多可交互的圖表,可以去官網看看它的教學視頻。
Step6 撰寫數據分析報告:
標題頁-目錄-前言-正文-結論與建議-附錄。
04大佬的數據分析|講解和案例
找數據網站:http://hao.199it.com/
垂直領域的統計工具平台:iOS:七麥數據、禪大師、APPduu;安卓:酷傳
第三方統計平台:友盟、TakingData、AppAnnie、騰訊雲分析、百度移動統計、神策數據、諸葛IO、GrowingIO
https://www.zhihu.com/question/20129061「數據分析師的具體工作職責和工作內容有哪些?」
https://www.pmcaff.com/discuss/index/315805294081088「數據分析師的日常工作有哪些?如何入門數據分析?」
鏈家網的租房數據做些有意思的事情?https://zhuanlan.zhihu.com/p/24554589
豆瓣讀書分析報告https://zhuanlan.zhihu.com/p/24420062
爬取6.6w+豆瓣電影之後的分析故事https://zhuanlan.zhihu.com/p/24133117
生活中的數據犀利哥之一:開篇及選車https://zhuanlan.zhihu.com/p/20604082?refer=hemingke
生活中的數據犀利哥之二:排隊https://zhuanlan.zhihu.com/p/20604263?
生活中的數據犀利哥之三:找座https://zhuanlan.zhihu.com/p/20605096?
生活中的數據犀利哥之四:看趨勢https://zhuanlan.zhihu.com/p/20640434?
生活中的數據犀利哥之五:找錯因果關係https://zhuanlan.zhihu.com/p/25629403
生活中的數據犀利哥之六:快遞員送貨https://zhuanlan.zhihu.com/p/25555346
北上廣深哪裡過得更瀟洒https://zhuanlan.zhihu.com/p/20355743?
滄海橫流,看行業起伏(2015年)https://zhuanlan.zhihu.com/p/20559922?
和頤事件之後: 怎麼定酒店更有安全感?https://zhuanlan.zhihu.com/p/20893016?
老鹿玩數據——不光是求婚神器(一)https://zhuanlan.zhihu.com/p/20712815?
老鹿玩數據——不光是求婚神器(二)https://zhuanlan.zhihu.com/p/20756963?
《春節自救指南》之數據分析https://zhuanlan.zhihu.com/p/24943568?
如何判斷一場知乎live的質量?https://zhuanlan.zhihu.com/p/25118397
豆瓣5.6分的《西遊伏妖篇》有水軍嗎?https://zhuanlan.zhihu.com/p/25047215
怎樣才能以最少的錢租個靠近地鐵的房子?https://www.zhihu.com/question/44724619/answer/192049017
「上海富了周圍,北京坑了周圍」https://www.zhihu.com/question/26673732/answer/183836709
如何不吹牛地形容北京有多大?https://www.zhihu.com/question/29554848/answer/169811236
路人甲:為什麼知乎的眾多答主答題後獲得的贊是在「一覺睡醒」後才發現的呢?https://www.zhihu.com/question/39272910/answer/164289608
大數據對物流管理有什麼影響?https://www.zhihu.com/question/23197748/answer/203163681
約會聚餐如何正確選擇餐館?https://zhuanlan.zhihu.com/p/28224566
路人甲:如何評論華為官方對快閃記憶體事件的回復https://www.zhihu.com/question/58645911/answer/159594099
小蚊子數據分析_新浪博客http://blog.sina.com.cn/xiaowenzi22
05參考書目|推薦書目
參考書目:
《誰說菜鳥不會數據分析》《深入淺出統計學》《深入淺出數據分析》《Excel數據處理與分析實戰技巧精粹》《路人甲:數據分析修鍊手冊》
推薦書目:
入門:《誰說菜鳥不會數據分析》《深入淺出數據分析》《深入淺出統計學》《深入淺出SQL》(深入淺出系列很通俗,全案例講解,可以當小說看)
高階和應用:《精益數據分析》《數據之美》《數學之美》《數據可視化之美》《啤酒與尿布》《增長黑客》《增長黑客實戰》《網站分析實戰》