自学Python做出一个能爬些信息的爬虫需要多久?
工学研究生,不是学计算机的,有些C和C#的编程基础。找工作的时候不想自己一点点筛选工作,像我这种情况能不能搞出一个简单点的东西来?
这个很快的,几个小时,慢的一两天就可以,这里分享一下爬虫系统学习路线图吧
敬请「赞」!「评论」!「转发」「关注」!
谢邀。
超级简单的爬取用requests弄一下顶多一小时,requests官网:链接
稍微复杂点的你需要会正则,beatifulssoup,xml或者css等解析方法。
再深入点,你需要学习一些比较好的开源框架,比如scrapy,pyspider。
这些在百度上一搜就可以搜到,并不复杂,复杂的是如何高效稳定的爬取海量数据,以及解决反爬和模拟登录。这些就涉及到分散式和前端技术,比如javascript等的一些知识了。
我这有几篇之前写过的爬虫文章以及一些实战内容,仅供参考。
- 路远:Python爬虫学习之(一)| 从零开始
- Python爬虫学习之(二)| urllib进阶篇
- Python爬虫学习之(三)| 快速入门正则表达式
- Python爬虫实战之(四)| 模拟登录京东商城
- Python爬虫实战之(五)| 模拟登录wechat
- Scrapy爬取二手房信息+可视化数据分析
如果只是单一需求,不考虑深度学习的话,我估算是两个小时吧,其中一个小时是在下载安装Python,15分钟百度爬虫教程,15分钟pip库,然后复制,粘贴,修改目标网址和数据存储路径,然后,开爬,结束。
从头开始的话
两个小时吧
我现在正在自学,反正一本书要是深度了解的话一两天肯定是学不完的
一个简单的小爬虫是很容易实现的,有一些编程基础的话,跟著教程半天左右就可以学会了,毕竟python有这么多好用的库。要完全实现自己的要求可能要再花1-2天。
推荐阅读: