HTTP隧道与Proxy-Tunnel技术

作为爬虫工作者，我们在日常数据采集中会使用代理代理ip去解决问题。很多时候我们使用的代理都是通过api模式去获取代理然后使用，这样的方式对我们的好处就是可以自己管理ip池。最近很多厂商都提供了一种新的模式，隧道代理。这种隧道代理有个很特别的就是使得客户端感觉不到代理的存在，在客户端看来，它是直接跟要请求的资源服务器在通信。对于我们很多新手来说是不错的方式，不需要花很多的时间去和代理纠结。 在使用隧道HTTP过着中涉及ip的两种模式，即Proxy-Tunnel自主切换IP，该模式适合一些需要登陆、Cookie缓存处理等爬虫需要精确控制IP切换时机的业务。 爬虫程序可以通过设置HTTP头Proxy-Tunnel: 随机数， 当随机数相同时,访问目标网站的代理IP相同。比如： 需要登录,获取数据两个请求在一个IP下,只需对这组请求设置相同Proxy-Tunnel,例如:Proxy-Tunnel: 12345， 该组请求在代理有效期内使用相同的代理IP。但是需要注意的是同一时间不同请求组可以设置不同Proxy-Tunnel: 随机数,并发完成数据爬取。