目录

爬虫流程及方法06(Scrapy进阶爬虫)(实时更新)

提高爬取速度的方法

1.在setting.py文件里修改并发选项

https://pic.liesio.com/2020/04/19/326ac8732a33f.png

2.使用scrapy-*的高级补充库,特化某方面,提升速度

https://pic.liesio.com/2020/04/19/496133a9f45cf.png

3.选择合适的技术路线进行爬虫