工学研究生,不是学计算机的,有些C和C#的编程基础。找工作的时候不想自己一点点筛选工作,像我这种情况能不能搞出一个简单点的东西来?


这个很快的,几个小时,慢的一两天就可以,这里分享一下爬虫系统学习路线图吧

敬请「赞」!「评论」!「转发」「关注」!


谢邀。

超级简单的爬取用requests弄一下顶多一小时,requests官网:链接

稍微复杂点的你需要会正则beatifulssoup,xml或者css等解析方法。

再深入点,你需要学习一些比较好的开源框架,比如scrapy,pyspider

这些在百度上一搜就可以搜到,并不复杂,复杂的是如何高效稳定的爬取海量数据,以及解决反爬和模拟登录。这些就涉及到分散式和前端技术,比如javascript等的一些知识了。

我这有几篇之前写过的爬虫文章以及一些实战内容,仅供参考。

  • 路远:Python爬虫学习之(一)| 从零开始
  • Python爬虫学习之(二)| urllib进阶篇
  • Python爬虫学习之(三)| 快速入门正则表达式
  • Python爬虫实战之(四)| 模拟登录京东商城
  • Python爬虫实战之(五)| 模拟登录wechat
  • Scrapy爬取二手房信息+可视化数据分析


如果只是单一需求,不考虑深度学习的话,我估算是两个小时吧,其中一个小时是在下载安装Python,15分钟百度爬虫教程,15分钟pip库,然后复制,粘贴,修改目标网址和数据存储路径,然后,开爬,结束。


从头开始的话

两个小时吧


我现在正在自学,反正一本书要是深度了解的话一两天肯定是学不完的


一个简单的小爬虫是很容易实现的,有一些编程基础的话,跟著教程半天左右就可以学会了,毕竟python有这么多好用的库。要完全实现自己的要求可能要再花1-2天。


推荐阅读:
相关文章