思考:哪些地方我们会用到POST请求?
所以同样的,我们的爬虫也需要在这两个地方回去模拟浏览器发送post请求
在模拟登陆等场景,经常需要发送post请求,直接使用requests.post(url,data)
即可
根据代理ip的匿名程度,代理IP可以分为下面四类:
在使用的使用,毫无疑问使用高匿代理效果最好
从请求使用的协议可以分为:
不同分类的代理,在使用的时候需要根据抓取网站的协议来选择
反反爬
使用代理ip是非常必要的一种反反爬
的方式 但是即使使用了代理ip,对方服务器任然会有很多的方式来检测我们是否是一个爬虫,比如: - 一段时间内,检测IP访问的频率,访问太多频繁会屏蔽 - 检查Cookie,User-Agent,Referer等header参数,若没有则屏蔽 - 服务方购买所有代理提供商,加入到反爬虫数据库里,若检测是代理则屏蔽 所以更好的方式在使用代理ip的时候使用随机的方式进行选择使用,不要每次都用一个代理ip
equests发送post请求使用requests.post方法,带上请求体,其中请求体需要时字典的形式,传递给data参数接收;在requests中使用代理,需要准备字典形式的代理,传递给proxies参数接收;不同协议的url地址,需要使用不同的代理去请求
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。