我現在學到了正則表達式,但是看到很多關於python數據分析時用到正則表達式不多,還有metaclass也用的很少,就想問下我現在應該轉去學pandas,numpy這樣的包還是,繼續完善下基礎


Python 爬蟲 來進行Web數據挖掘已經是每個優秀數據分析師的必備技能,但對於沒有接受過系統技術培訓的Python自學者而言,想要獨立進行Web數據爬取與數據分析必然有難度,打下堅實的基礎毋庸置疑是每個初學者最需要重視的事情。

但如果想要在學習過程中嘗試利用Python做簡單的爬蟲也不是完全不能實現,以下是和鯨社區專欄為初學者提供的 一小時入門Python爬蟲 方法(截取部分代碼,點擊查看全文)

導入模塊

1、批量獲取數據頁面url

2、訪問頁面+解析

df=pd.DataFrame(datai)

df

獲得數據如下:

除此之外,和鯨社區的《大鵬教你玩數據》專欄內還有其他適用於用Python做數據分析的項目,希望能幫助到大家~

  • Python初學者常見問題
  • 如何用Pandas快速處理數據
  • 用隨機數模擬社會財富分配
  • Python數據可視化利器:PYECHARTS!
  • 1小時入門Python爬蟲:當數據分析師就該自己爬數據!
  • 用數據做攻略:找到一個城市最有趣的地方
  • 人口數據:揭秘一年裡來上海工作的人員流動情況
  • 用Python處理文本數據:星座運勢分析
  • Python也可以做圖表:matplotlib技能詳解

發佈於 2019-07-05繼續瀏覽內容知乎發現更大的世界打開Chrome繼續程序猿程序猿十幾年還在搬磚的碼農

不請自來,的確爬蟲和數據分析都首先得有python基礎,不過往後爬蟲和數據分析的技能,交集不多。數據分析的數據來源有可能是從爬蟲來而已。

numpy和pandas只是兩個工具庫,你最多就熟悉一些函數的api和使用方法,不過這個不是學數據分析。數據分析需要具備一定的數學基礎(數據建模,概率和統計),如果還有機器學習或者深度學習,那就更多了。所以你可以繼續往前看數據分析的知識,遇到python基礎不懂的地方可以回頭來繼續看。

以上


不請自來,的確爬蟲和數據分析都首先得有python基礎,不過往後爬蟲和數據分析的技能,交集不多。數據分析的數據來源有可能是從爬蟲來而已。

numpy和pandas只是兩個工具庫,你最多就熟悉一些函數的api和使用方法,不過這個不是學數據分析。數據分析需要具備一定的數學基礎(數據建模,概率和統計),如果還有機器學習或者深度學習,那就更多了。所以你可以繼續往前看數據分析的知識,遇到python基礎不懂的地方可以回頭來繼續看。

以上


首先,先把Python名字打對了先


這類基礎沒有說學到什麼層次,都是儘可能都要去了解。現在遇不到不代表以後遇不到。最好的是找些爬蟲項目跟數據分析項目練手,邊學邊做。還有多去GitHub這些網站看看,很多Python很實用的庫。多去了解一下,很好用!


基礎吧,基礎真的很重要,我之前就學了一點Python的基礎,然後學了爬蟲,基本的可以寫,但是很難受,之後還是要補上Python其他的相關知識


我現在也在學習這方面的知識

我的一點見解,如果學數據分析只是說完成公司分派的數據分析任務,先把數據分析的模塊啃下。數據爬蟲可以放後面需要再學(當然,看需求大不大)。

數據爬蟲有很多好玩的東西,看很多人爬了各種各樣的數據,然後再做一波數據分析,最後分享出來的分析報告挺有趣的!

一點點啃下去吧,不要急躁!加油


先說爬蟲,爬蟲就是跟網站前端工程師的戰爭,你爬出來的是什麼?HTML和JS。正則就是從大段大段的HTML中找到你想要的東西,比如資源鏈接,json,比如特定標籤。正則是最有用的,不知道為啥你用的不多。

再說數據分析,數據分析,核心是很理論的東西,概率論和數理統計,線性代數等等,numpy和pandas只是入門工具。大量的科學計算還需要其它的包支持。所以Python基礎需要多少?可以很多,純Python實現,可以沒有,Excel也有科學統計組件。


學無止境,學到你認為能完成你的任務為止。

爬蟲常用requests, scapy, beautifulsoup, selenium。

數據分析常用的是pandas包。


推薦閱讀:
相关文章