前幾天給大家分享了關於Scrapy爬蟲項目運行和調試的小技巧上篇,沒來得及上車的小夥伴可以戳超鏈接看一下。今天小編繼續沿著上篇的思路往下延伸,給大家分享更為實用的Scrapy項目調試技巧。
三、設置網站robots.txt規則為False一般的,我們在運用Scrapy框架抓取數據之前,需要提前到settings.py文件中,將「ROBOTSTXT_OBEY = True」改為ROBOTSTXT_OBEY = False。
在未改動之後settings.py文件中默認爬蟲是遵守網站的robots.txt規則的,如下圖所示。