首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

神龙HTTP带你一览反爬虫策略

网络爬虫技术已经成了很普及网络技术,对于一个内容型驱动的网络站点来说,受到网络爬虫技术的光顾是不可避免的。优秀的爬虫技术不会干扰网站的正常运营,而糟糕的爬虫技术会带来很多麻烦,因为它们的页面抓取能力差,经常并发几十上百个请求循环重复,加大了网络站点的访问压力,导致站点访问速度缓慢,甚至无法访问。

神龙HTTP带你一览反爬虫策略

网站为避免这种情况的发生,会运用到反爬技术。一般从三个方面反爬虫:一般用户请求的Headers,一般用户行为,网络站点目录和数据加载方式。

1.通过Headers反爬虫技术

从一般用户请求的Headers反爬虫技术是最常见的反爬虫技术策略。很多网络站点都会对Headers的User-Agent进行检测,还有一部分网络站点会对Referer进行检测(一些资源网络站点的防盗链就是检测Referer)。如果遇到了这类反爬虫技术机制,可以直接在爬虫技术中添加Headers,将浏览器的User-Agent复制到爬虫技术的Headers中;或者将Referer值修改为目标网络站点域名。对于检测Headers的反爬虫技术,在爬虫技术中修改或者添加Headers就能很好的绕过。

2.基于一般用户行为反爬虫技术

还有一部分网络站点是通过检测一般用户行为,例如同一IP短时间内多次访问同一页面,或者同一账户短时间内多次进行相同操作。

大多数网络站点都是前一种情况,对于这种情况,使用IP代理就可以解决,比如神龙HTTP代理,多平台适用,遍布全国的自营服务器节点。有了大量代理IP后可以每请求几次更换一个IP,这在requests或者urllib2中很容易做到,这样就能很容易的绕过第一种反爬虫技术。

对于第二种情况,可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网络站点,可以通过请求几次,退出登录,重新登录,继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。

3.动态页面的反爬虫技术

上述的几种情况大多都是出现在静态页面,还有一部分网络站点,我们需要抓取的数据是通过ajax请求得到,或者通过Java生成的。首先用Firebug或者HttpFox对网络请求进行分析。如果能够找到ajax请求,也能分析出具体的参数和响应的具体含义,我们就能采用上面的方法,直接利用requests或者urllib2模拟ajax请求,对响应的json进行分析得到需要的数据。

反爬虫和爬虫相辅相生,遵守目标站点的规则才是利人利己的好爬虫。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20210220A042KN00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券