因为之前有小伙伴说想看如何使用代理ip爬取付费的数据,所以今天给大家带来一个制作ip代理池的教程
开始爬取ip
但是我们如果把它的返回结果打印出来,就会发现,我们的爬虫被干掉了,那么怎么办呢?
我们来给他加一个headers:
加一个useragent还不够
我们加好了headers之后,那么我们就可以正确拿到信息了,下面看一下我们应该匹配的规则:
现在我们得到了很多的ip地址,可以不怕ip被封了哦。
不过,还有一个很大的问题,我们的代理是否有效呢?这个问题,我将在明天更新是为大家讲解,随便还会讲解如何使用多线程去爬取我们的vip数据。
喜欢的朋友记得点击关注哦~~~
领取专属 10元无门槛券
私享最新 技术干货