网络爬虫技术已经成了很普及网络技术,对于一个内容型驱动的网络站点来说,受到网络爬虫技术的光顾是不可避免的。优秀的爬虫技术不会干扰网站的正常运营,而糟糕的爬虫技术会带来很多麻烦,因为它们的页面抓取能力差,经常并发几十上百个请求循环重复,加大了网络站点的访问压力,导致站点访问速度缓慢,甚至无法访问。
神龙HTTP带你一览反爬虫策略
网站为避免这种情况的发生,会运用到反爬技术。一般从三个方面反爬虫:一般用户请求的Headers,一般用户行为,网络站点目录和数据加载方式。
1.通过Headers反爬虫技术
从一般用户请求的Headers反爬虫技术是最常见的反爬虫技术策略。很多网络站点都会对Headers的User-Agent进行检测,还有一部分网络站点会对Referer进行检测(一些资源网络站点的防盗链就是检测Referer)。如果遇到了这类反爬虫技术机制,可以直接在爬虫技术中添加Headers,将浏览器的User-Agent复制到爬虫技术的Headers中;或者将Referer值修改为目标网络站点域名。对于检测Headers的反爬虫技术,在爬虫技术中修改或者添加Headers就能很好的绕过。
2.基于一般用户行为反爬虫技术
还有一部分网络站点是通过检测一般用户行为,例如同一IP短时间内多次访问同一页面,或者同一账户短时间内多次进行相同操作。
大多数网络站点都是前一种情况,对于这种情况,使用IP代理就可以解决,比如神龙HTTP代理,多平台适用,遍布全国的自营服务器节点。有了大量代理IP后可以每请求几次更换一个IP,这在requests或者urllib2中很容易做到,这样就能很容易的绕过第一种反爬虫技术。
对于第二种情况,可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网络站点,可以通过请求几次,退出登录,重新登录,继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。
3.动态页面的反爬虫技术
上述的几种情况大多都是出现在静态页面,还有一部分网络站点,我们需要抓取的数据是通过ajax请求得到,或者通过Java生成的。首先用Firebug或者HttpFox对网络请求进行分析。如果能够找到ajax请求,也能分析出具体的参数和响应的具体含义,我们就能采用上面的方法,直接利用requests或者urllib2模拟ajax请求,对响应的json进行分析得到需要的数据。
反爬虫和爬虫相辅相生,遵守目标站点的规则才是利人利己的好爬虫。
领取专属 10元无门槛券
私享最新 技术干货