如何隐藏我的IP在python中进行网络抓取？
如何隐藏我的IP在python中进行网络抓取？
提问于 2020-05-21 23:53:51
我正在用python在一些页面上做web抓取，我已经被其中的一些阻止了。当我试图通过TOR浏览器检查它时，我已经看到我无法访问页面，所以我认为这些页面已经能够跟踪我所有的IP或我没有很好地配置TOR (我认为不是因为我用Chrome和TOR检查了我的IP地址和TOR是不同的)，所以，有人知道为什么吗？
此外，我正在尝试在我的python代码中执行一个函数或方法来自动更改mi IP。我所看到的是，最好的方法是通过TOR浏览器(将其用作从页面获取数据的搜索引擎)，但我无法使其工作。你对创建这个函数有什么建议吗？
谢谢!
回答 1
Stack Overflow用户
回答已采纳
发布于 2020-05-22 02:08:53
我希望防刮保护也能阻止来自已知Tor出口节点的访问。我想他们不知道那是你。一些网站租用/实施最先进的刮擦保护服务。
您可以在朋友和家人处设置自己的代理，并使用非常保守的爬取率，或者搜索商业住宅代理产品。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/61938512
复制相关文章
相似问题
腾讯云开发者
