scrapy redis中在爬取分页网站怎么重启爬虫之后在下一页继续爬

2025-05-07 05:06:36
推荐回答(1个)
回答1:

在github上的scrapy-redis文档上就有配置启动/暂停的说明
# Don't cleanup redis queues, allows to pause/resume crawls.
#SCHEDULER_PERSIST = True