欢迎关注”生信修炼手册”!
在scrapy框架中,Downloader Middlewares 称之为下载中间件, 可以对爬虫的requests请求进行封装处理,典型的应用有以下3种
1. 添加用户代理
所有的中间件代码都保存在middlewares.py文件中,通过自定义类的形式来创建一个中间件,代码如下
只需要重写process_request方法即可。
2. 添加IP代理
IP代理也是通用的实现方式,代码如下
3. 集成selenium
在scrapy中集成selenium, 可以进一步提高爬虫的处理范围,代码如下
定义好中间件之后,必须在settings.py中进行启动才可以,代码示例如下
通过中间件,我们可以对requests请求进行加工处理,方便的进行扩展,最后记得用在settings中启动中间件即可。
·end·
—如果喜欢,快分享给你的朋友们吧—
原创不易,欢迎收藏,点赞,转发!生信知识浩瀚如海,在生信学习的道路上,让我们一起并肩作战!
本公众号深耕耘生信领域多年,具有丰富的数据分析经验,致力于提供真正有价值的数据分析服务,擅长个性化分析,欢迎有需要的老师和同学前来咨询。
领取专属 10元无门槛券
私享最新 技术干货