python爬虫之Scrapy 使用代理配置

在爬取网站内容的时候，最常遇到的问题是：网站对ip有限制，会有防抓取功能，最好的办法就是ip轮换抓取（加代理） 下面来说一下Scrapy如何配置代理，进行抓取 1.在Scrapy工程下新建“middlewares.py” # Importi…