正文开始
在上一篇文章: 从cookie池搭建说起,简单说明了自己对于该网站的想法,在经过两天的测试与研究之后,我有了更多的想法....想法一: 为每个Cookies绑定唯一IP
你作为一个普通用户,如果对方网站检测到你不停地变换IP从不同地方来发送请求,那他肯定会有识别.那么我们可以把每一个Cookies分配唯一的IP代理,也就是你这个...解决方法是:
该网站的验证码图片是base64,用python转一下,接上第三方就OK
同时该网站参数中还带有token参数,经过前端大佬的断点调试,发现是对多个字段的两次加密
保持会话session....你需要让对方网站知道是你这个用户,所以你的cookies,ip,headers相关信息必须保持一致,我当时的想法是使用requests的session来完成这一步操作,但是很难完全模拟,因为整个爬虫使用...,直到把所有的链接跑完.本次需要采集的链接并不多,质量要求不高,只需要我采集到数据就好.