基于tor匿名网络的多ip爬虫.更换ip的方式有多种,其中tor这类型则适合ip更换次数不大,网页数据量也不大,但是又厌恶代理那天天失效的麻烦,则最简单快捷的便是使用tor在本机搭建一个出口端口...,让需要更换ip的爬虫程序制定proxies指向的端口.简单而且快捷,可使用的ip池子总数1000左右,实际中有500左右可以使用,匿名性当然不用质疑了....要在程序内实现tor更换出口ip则调用下条指令即可
os.system("""(echo authenticate '"mypassword"'; echo signal...newnym; echo \
quit) | nc localhost 9051""")
四.总结
最终,在已知的7种爬虫更换ip的方式中...,tor算是部署成本最小的,只要你本机能够访问外国网站即可拥有500个ip供使用,并且能够保证相当高的匿名性.但是问题也是存在的,如果目标网站网页内容多,或者在抓取的时候使用phantomjs等方式就也一样是网速要求比较高这个时候就需要另外的方式了