工學研究生,不是學計算機的,有些C和C#的編程基礎。找工作的時候不想自己一點點篩選工作,像我這種情況能不能搞出一個簡單點的東西來?


這個很快的,幾個小時,慢的一兩天就可以,這裡分享一下爬蟲系統學習路線圖吧

敬請「贊」!「評論」!「轉發」「關注」!


謝邀。

超級簡單的爬取用requests弄一下頂多一小時,requests官網:鏈接

稍微複雜點的你需要會正則beatifulssoup,xml或者css等解析方法。

再深入點,你需要學習一些比較好的開源框架,比如scrapy,pyspider

這些在百度上一搜就可以搜到,並不複雜,複雜的是如何高效穩定的爬取海量數據,以及解決反爬和模擬登錄。這些就涉及到分散式和前端技術,比如javascript等的一些知識了。

我這有幾篇之前寫過的爬蟲文章以及一些實戰內容,僅供參考。

  • 路遠:Python爬蟲學習之(一)| 從零開始
  • Python爬蟲學習之(二)| urllib進階篇
  • Python爬蟲學習之(三)| 快速入門正則表達式
  • Python爬蟲實戰之(四)| 模擬登錄京東商城
  • Python爬蟲實戰之(五)| 模擬登錄wechat
  • Scrapy爬取二手房信息+可視化數據分析


如果只是單一需求,不考慮深度學習的話,我估算是兩個小時吧,其中一個小時是在下載安裝Python,15分鐘百度爬蟲教程,15分鐘pip庫,然後複製,粘貼,修改目標網址和數據存儲路徑,然後,開爬,結束。


從頭開始的話

兩個小時吧


我現在正在自學,反正一本書要是深度了解的話一兩天肯定是學不完的


一個簡單的小爬蟲是很容易實現的,有一些編程基礎的話,跟著教程半天左右就可以學會了,畢竟python有這麼多好用的庫。要完全實現自己的要求可能要再花1-2天。


推薦閱讀:
相关文章