scrapy设置深度爬取

参考:https://unordered.org/timelines/5a22cb0b4b400000

settings文件设置DEPTH_LIMIT = 4即可

DEPTH_PRIORITY为正值时越靠广度优先,负值则越靠深度优先,默认值为0

测试的代码:https://github.com/nihaohello/Crawl_Codes_Collect/tree/master/test_xian

2019.4.19

标签:

发表评论

电子邮件地址不会被公开。 必填项已用*标注