我构建了一个爬虫，它获取用户输入的产品列表的产品信息。有时，爬虫会结冰，特别是如果产品列表很长，如果爬虫在无头模式下运行的话。因为这是一个不可复制的错误，我不认为我能修复它，但有没有办法检测爬虫已经冻结，然后再试一次？
费利佩
浏览 2提问于2019-05-21得票数 1
为了解决SEO问题，我们的想法是使用无头浏览器来运行javascript服务器端，并将生成的html提供给爬虫程序。
有没有运行在谷歌应用引擎上的python无头浏览器？
浏览 1提问于2013-01-18得票数 7
回答已采纳
我用Python3，BeautifulSoup和无头浏览器做了一个网络爬虫，但现在我需要先登录，我不知道怎么做。
浏览 17提问于2020-02-05得票数 0
2回答
我试图在一个vps上运行一个爬虫(使用scrapyjs，它使用python-gtk2)。在运行爬行器时，我得到了错误如何在无头设置中运行此程序？
浏览 3提问于2014-12-25得票数 2
回答已采纳
我正在用Python编写一个网页爬虫，并且非常喜欢它！但是，我注意到urlopen(url).read()在Python上生成的结果与终端上的curl生成的结果有一些不同。我试着，但没有成功。有一种简单的方法可以在Python上生成卷曲结果吗？在本例中，我解析了 URL。我在两个请求User-Agent: Mozilla/5.0上传递了相同的头。
浏览 2提问于2015-11-01得票数 2
回答已采纳
我正在使用机械化从许多网站检索数据。当我尝试登录www.douban.com时，我发现当我成功登录时，有很多cookies没有设置。最后，我发现它们来自谷歌分析。它们是由javascript设置的。但是，不能处理javascript，那么如何获取这些cookie呢？没有这些cookies，我仍然无法访问www.douban.com。
浏览 0提问于2012-02-24得票数 0
回答已采纳
2回答
爬虫标头
、
我正在创建一个简单的爬虫，它将从预定义的站点列表中抓取。我的问题很简单:有没有爬虫应该特别使用的http头？什么被认为是必需的，什么是需要定义的？
浏览 3提问于2016-11-18得票数 2
我的Rails3站点被带有奇怪的accept头的爬虫程序击中，触发异常，如下所示以下是一些导致问题的accept标头application/jxw在这些情况下，这被解释为请求的格式，因此导致缺少模板错误。我真的不关心我返回给这些爬虫的是什么，只是想避免异常。
浏览 0提问于2011-02-05得票数 8
我正试图在python中制作一个背景网页爬虫。我已经为它编写了代码，然后我使用pythonw.exe应用程序在没有任何控制台窗口的情况下执行它。此外，我在无头模式下运行ChromeDriver。
浏览 5提问于2020-08-25得票数 0
回答已采纳
如何配置Glue爬虫，使其不创建自己的模式，而是在Glue表中使用预定义(手动输入)模式/cols？每次我试一次，爬虫就会创建一个新的表。我需要这样做的原因是因为CSV文件没有头记录，所以我不希望爬虫猜测每个文件的科尔和数据类型。
浏览 7提问于2022-03-04得票数 0
1回答
我使用BeautifulSoup的API在Python中创建了一个API爬虫。网络爬虫在爬行某些站点时使用相同的头信息/用户代理，我注意到当我在两台不同的机器上运行相同的脚本(一个在我的笔记本上，另一个在服务器上)时，它们会产生不同的结果。这让我很困惑，因为它们都使用相同的脚本，具有相同的头信息/用户代理来爬行相同的站点。我想不出任何其他可能导致这种情况的设置。下面是我如何在python中定义我的用户代理并创建一个汤对象
user_agent = "Mozi
浏览 4提问于2014-11-22得票数 3
回答已采纳
我尝试在无头模式下使用puppeteer为whatsapp创建爬虫，但whatsapp只支持Chrome。(Chrome不能在无头模式下工作)
浏览 1提问于2018-11-14得票数 0
我想写爬虫，支持cookie存储操作和会话。java无头浏览器有两种不同的实现方式。HtmlUnit对javascript和html解析有更好的支持。但是，有什么理由使用HttpUnit来提高爬虫的性能呢？
浏览 1提问于2011-08-28得票数 2
1回答
可配置HTML信息提取
、、、
场景：例如，一项共同任务如下：
获取ID X的表。如果有这样的答案的话，我会接受一个基于nutch的答案，因为我们正在研究如何将爬虫迁移到nutch，尽管我更喜欢一个通用的java解决方案。
浏览 0提问于2019-06-23得票数 0
1回答
适合浏览网站的Python模块
、、、、
我正在寻找一个python模块，可以让我浏览搜索栏，链接等的网站。就上下文而言，我希望对这个网站做一些网络抓取，我只想获取有关2020年选举的每个州的信息(投票数据等)，并将其组织在一个数据库集合中。因此，我在python中寻找一种方法，在这个方法中，我可以快速地浏览站点，获取每个页面的数据等等，以及更新和添加现有的数据。因此，找到一种快速导航链接和搜索栏与我输入的数据将是非常有用的方法。
浏览 3提问于2020-05-24得票数 1
回答已采纳
关于谷歌的AJAX爬行规范，如果服务器为#! URL返回一件东西(即JavaScript-繁重的文件)，而当#!被?_escaped_fragment_=替换时，服务器返回给Googlebot的其他东西(即页面的"html快照“)，感觉就像是在掩饰我。毕竟，Googlebot如何确保服务器返回#!和?_escaped_fragment_= URL的诚意对等物。然而，这正是AJAX爬行规范实际上告诉网站管理员要做的事情。我是不是遗漏了什么？Googlebot如何确保服务器在两种情况下都返回相同的内容？
浏览 2提问于2011-12-22得票数 4
回答已采纳
1回答
识别搜索爬行器
、、、
我有一个网站，统计有多少人访问了这个特定的网页，但我不想计数什么时候搜索爬虫访问他们。java是否有任何方法来识别它是爬虫还是真正的用户？使用Java7和tomcat
谢谢
浏览 2提问于2015-10-21得票数 1
回答已采纳
我在一个网站上使用了这个漂亮的汤代码：funda = "https://www.funda.nl/koop/amsterdam/"print(response)
ht
浏览 6提问于2019-11-01得票数 0
回答已采纳
1回答
我试图做一个爬虫和某些网站不会加载一个无头浏览器用户代理。我知道这可以用python和其他语言来完成，但是我还没有在go中看到过任何例子。
浏览 2提问于2016-02-01得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
