我已经写了一个网络爬虫与代理使用scrapy。因为我总是需要一个随机的代理池来避免被禁止，我决定编写另一个爬虫来抓取一个提供免费IP的网站。每次开始爬虫过程时，我都需要首先抓取IP，将它们导出到一个文件中，然后转到另一个爬虫的根目录并将IP读取到setting.py中。我想知道是否有可能将两个爬虫合并到一个项目中，这样我只需要运行一个命令就可以开始整个爬行过程。
非常感谢!
浏览 7提问于2016-07-07得票数 0
1回答
我已经通过使用PuppeteerCrawler开发了一个爬虫动作，目前使用的是min。还有麦克斯。并发性1和我有几个问题：最佳毕业生，Wulfg ng
浏览 1提问于2019-10-29得票数 0
1回答
我不太确定这是否是发表我的问题的合适论坛。我正在分析Apache和IIS日志格式的web服务器日志。我想找到自动浏览的证据。网络机器人、蜘蛛、机器人等)我使用python 来检测日志文件中的机器人。无论如何，可能会有其他机器人(自动程序)已经穿越网站，但机器人检测无法识别。
浏览 1提问于2013-06-30得票数 0
我想用requests.get设置代理IP，但是控制台输出是我自己的IP，我想问爬虫工程师，怎么解决？
浏览 3提问于2022-08-25得票数 0
2回答
通过IP将环境锁定到特定的一组机器。我希望能够验证端到端的场景，即执行“点赞”并在用户的时间轴上查看解析的OpenGraph数据，而不必向公众开放我的网站。我知道Facebook爬虫有一个用户代理，但允许用户代理是有风险的，因为任何人都可以发送任何用户代理字符串。理想情况下，我希望将其锁定在Facebook爬虫的IP范围内，而不必解析日志来查找其中的一个或两个IP(我假设有相当多的机器在网络上爬行数据)。我今天的问题是，我可以点击“喜欢”，让它以一个简
浏览 2提问于2012-01-16得票数 1
我正在使用python进行网络爬虫的工作。
例如，假设我在server-1之后，我使用代理设置来连接到外部世界。因此，在Python中，我可以使用代理处理程序来获取urls。现在的问题是，我正在建立一个爬虫，所以我不能只使用一个IP，否则我将被阻止。为了解决这个问题，我有一堆代理，我想拖着走过去。我的问题是:这是两级代理，一个连接到主服务器-1，我使用代理，然后在代理之间混洗，我想使用代理。我如何才能做到这一点？
浏览 7提问于2011-04-20得票数 7
我在Google上查询了一个短语，当我点击第一个结果时，它要求我登录，并且不允许我在没有登录的情况下继续。我想知道Google如何爬行这些需要登录的页面。
浏览 0提问于2019-01-10得票数 1
回答已采纳
我需要向爬虫提供访问私有维基的权限。对于如何启用对单个客户端(而不是用户，因为爬虫无法登录到wiki)的访问，有什么建议吗？
浏览 2提问于2011-01-27得票数 0
回答已采纳
4回答
有已知的网络爬虫列表吗？
、、、
我看了看用户代理，其中一些显然是机器人或网络爬虫，但许多我不确定，他们可能是也可能不是网络爬虫，它们导致了许多下载，所以对我来说知道这一点很重要。是否有一些已知的网络爬虫的列表和一些文档，如用户代理，IP，行为等？
我对官方的不感兴趣，比如谷歌的，雅虎的，或者微软的，这些通常都是很好的表现和自我证明。
浏览 0提问于2009-11-14得票数 17
回答已采纳
我正在用Python语言开发一个分布式网络爬虫，它运行在CentOS 6.3服务器集群上，爬虫使用了来自不同代理提供商的许多代理。对于用户名/密码身份验证的代理提供商来说，一切工作起来都很有吸引力。但是现在我们已经购买了一些使用基于IP的身份验证的代理，这意味着当我想要使用其中一个代理爬入网页时，我需要从我们的服务器的一个子集发出请求。问题是，在Python中(使用库/软件)有没有办法通过2个代理向域发出请求？(一
浏览 1提问于2013-04-24得票数 2
回答已采纳
3回答
如何忽略网络爬虫？
、、、
当然，当一些机器人/爬虫扫描我的网站时，他们会增加这个值，而我会摆脱这个问题。那么，是否存在要忽略的IP地址列表？或者一些可以帮助我做到这一点的机制？
浏览 5提问于2011-08-01得票数 1
1回答
实际上，我得到了机器人设备的机器人欺诈，而在用户代理，它似乎comscore爬虫。Mozilla/5.0 (兼容；接近；+https://www.comscore.com/Web-Crawler) 如何才能停止从代理IP访问机器人。 非常感谢
浏览 7提问于2020-10-26得票数 0
我有来自服务器的apache日志，我使用python脚本过滤了来自bots/爬虫/刮刀器的访问，该脚本检查包含“bot”、“googlebot”等文本的用户代理字符串。地址的反向DNS：Address: 207.46.12.74
现在，我正在考虑过滤掉特定的IP地址，当我在他们的IP地址上执行msnbot时，我检测到它们是rDNS，但是当我向一位同事展示这一点时，他觉得微软的bingbots没有报告他们的用户代理
浏览 0提问于2011-06-02得票数 1
回答已采纳
2回答
有人遇到过一个叫格雷斯热的爬虫吗？他们在我们的网站上反复敲击同一个页面。我相信他们正在寻找广告相关的关键字，基于以前的内容广告宣传。奇怪的是，我们从来没有在他们如此感兴趣的页面上进行过这样的竞选活动。User-agent: grapeshot对如何阻止这种讨厌的爬虫有什么想法吗？我开始认为最好的方法是在IIS中设置IP规则？
浏览 0提问于2013-10-21得票数 5
回答已采纳
我已经实现了一个登录功能，它将用户重定向到另一个域并再次返回。当然，我不希望搜索引擎(至少我们关心的搜索引擎)被重定向，那么什么是可以接受的解决方案呢？$agent = strtolower($_SERVER['HTTP_USER_AGENT']); strpos($agent, "slurp") || strpos($agent, "google")
浏览 1提问于2012-09-03得票数 0
我想建立一个与scrapy亚马逊爬虫。我不明白为什么..。rotating_proxies.middlewares.RotatingProxyMiddleware': 610,}
我有1000个代理，大多数都没有死，几乎都
浏览 18提问于2019-11-07得票数 1
3回答
我正在写一个代码，连接到网站，并检查一些代码，如爬虫。但我需要通过代理连接并更改IP地址(这样它就不会在服务器日志中显示客户端的IP )。
如何通过java做到这一点呢？
浏览 0提问于2011-01-05得票数 22
3回答
我想跟踪我的site.For的所有访问者( Os，浏览器和更多细节)，我正在保存用户代理和URL和其他基本数据到database.Later执行Crone时，用户代理被分析并获取浏览器，Os。但我想识别爬虫(因为它们不能被视为访问者)。那么有没有办法从用户代理中识别爬虫呢？爬虫的用户代理是否遵循任何常见的模式？
浏览 1提问于2012-06-12得票数 0
我有一个Scrapy爬虫，我想轮换IP，这样我的应用程序就不会被阻塞。我正在使用request.meta['proxy'] = 'http://51.161.82.60:80'在scrapy中设置IP，但这是一个VM的IP。我的问题是，虚拟机或机器的IP是否可以用于scrapy，或者我需要代理服务器？
目前我正在做这件事。这不会抛出任何错误，但当我从http://checkip.dyndns.org得到响应时
浏览 9提问于2018-12-06得票数 0
1回答
我正在创建一个使用多个IP代理的爬虫。每当我尝试在没有代理的情况下抓取网站时，我都能够获得html源代码，但是当我尝试启用ip代理时，它总是失败并抛出一个异常(远程服务器返回错误：(403)禁止)。但是如果代理被启用，它在get response部分失败。
我不明白为什么cookie不是使用代理设置的？是不是cookies的代理服务器设置导致了它？或者我可以在启用代理的同时对其做些什么？
浏览 0提问于2016-02-06得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
