您好,今天芳芳来为大家解答以上的问题。scrapy 爬虫，scrapy爬虫实例相信很多小伙伴还不知道,现在让我们一起来看看吧！
1、scrapy自带有去重set（）集合功能，但是set是在内存中的，一旦关机就要重新开始。
2、那么我拿到数据不是在set里面，我把他存入redis，mysql，mongo，在取数据的时候，pop一下不就可以实现断点续传了。
本文就为大家分享到这里，希望小伙伴们会喜欢。
标签：
scrapy 爬虫（scrapy爬虫实例）
免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！