回答情况：
提问时间：
问题标签：
我有一个网络爬虫，我想把它检索到的html+javascript传递给selenium，这是可能的吗？为了澄清，我不想使用webdriver.get检索selenium的页面，因为我的爬虫更快。
浏览 3提问于2013-07-13得票数 1
回答已采纳
Selenium (RC)正被用于测试ASP.NET 1.1站点。当我们通过Selenium (这反过来通过配置的浏览器(在本例中是Firefox)自动执行请求)提出请求时，http谓词是"HEAD“。为什么当Selenium正在自动化浏览器而不是If-修改--从头开始生成HEAD谓词呢？
我们还看到了使用HEAD动词的(非主流)爬虫的日志条目。我们创建了robots.txt条目来阻止这些爬虫对站点进行索引，但是现在我们想知道从SEO的角度来看最佳实践是什么。对于爬虫来说，
浏览 2修改于2013-02-25得票数 2
回答已采纳
环顾四周，似乎如果你通过Scrapy登录到一个网站，如果你试图在爬虫中使用Selenium，认证的登录会话不会转移。有没有办法把这个会话转移到Selenium上？或者我必须用Selenium重新登录网站吗？
谢谢!
浏览 1提问于2016-07-15得票数 3
1回答
我正在制作一个爬虫，可以用于所有的电子商务网站。目前，我正在以下网站上测试我的爬虫。
就个人而言，我成功地抓取了所有四个网站，但当我制作一个普通的爬虫时，我不知道如何显示更多的产品。最初我已经开始使用selenium，但这不是必需的，如果有比Selenium更好的其他模块，我会很乐意使用它。
浏览 1修改于2014-06-14得票数 0
我将通过分析Web页面的内容来构建一个Web爬虫。我正在使用Selenium Java API来呈现页面，并尝试构建完整的DOM来进行模糊分析。但是，我发现Selenium提供的API只能用于通过标记或id/类名称查找元素。如何使用Selenium转储完整的DOM树？有什么想法吗？
浏览 13提问于2016-09-23得票数 0
我构建了一个爬虫，它获取用户输入的产品列表的产品信息。有时，爬虫会结冰，特别是如果产品列表很长，如果爬虫在无头模式下运行的话。因为这是一个不可复制的错误，我不认为我能修复它，但有没有办法检测爬虫已经冻结，然后再试一次？
爬虫是使用Selenium和Python构建的。
浏览 2提问于2019-05-21得票数 1
我正在使用selenium和scrapy实现一个TikTok爬虫.... driver = webdriver.Chrome(chrome_options=options)爬虫打开使用使用Selenium的简单脚本的相同问题
f
浏览 6修改于2019-12-11得票数 5
我正在使用phantomjs来构建一个网络爬虫。我目前使用的爬虫是一个使用selenium的Python脚本，它需要一个正在运行的Firefox浏览器。虽然Selenium非常适合于调试脚本(因为我可以使用firebug来检查网页)，但是如果没有GUI，它就不能部署到linux服务器上。
浏览 1提问于2013-07-31得票数 6
我想使用selenium创建一个网络爬虫。self.parse)
print(response.request.meta['driver'].title)SELENIUM_DRIVER_NAME= 'chrome'SELENIUM_DRIV
浏览 3修改于2021-02-12得票数 7
回答已采纳
www.notebooksbilliger.de/lenovo+320+15abr+80xs009bge/incrpc/topprod with status 405 in msec 53
这页似乎有爬虫保护是否还可以使用风暴爬虫和selenium一起爬行呢？
浏览 1修改于2018-04-09得票数 1
回答已采纳
我构建了基于ChromeDriver Selenium的爬虫，当我的自动爬虫爬行应用程序时，我想测量web应用程序的代码覆盖率。
浏览 2修改于2021-06-03得票数 1
回答已采纳
1回答
我使用go selenium包：https://github.com/tebeka/selenium，并使用幻影浏览器： "browserName": "phantomjs",if err !我试图做一个爬虫和某些网站不会加载一个无头浏览器用户代理。我
浏览 2提问于2016-02-01得票数 0
回答已采纳
我有一个如下所示的数据集：6-9 a b a6-9 c a9-10 c a bAge a b c
6-9 2
浏览 0修改于2020-05-12得票数 0
我有如下数据集：6-9 a b c6-c c b我想要找出a，b，c在不同年龄组中的总频率，使用R如下：6-
浏览 0修改于2019-11-13得票数 2
-21 6-21 ' as col from dualselect '6-20 6-20 6-20 6-20 6-20 ' from dualselect '6-9 6-9 6-9 6-9 6-9 6-9 6-9 ' from dual)Mon: 6-21, Tue: 6-21, Wed: 6-21, Thu: 6-21, Fri: 6-21, S
浏览 6修改于2015-09-08得票数 6
我正在用Python和selenium做一个简单的网络爬虫。(在PyCharm Window 10上运行)from selenium import webdriver
from selenium.webdriver.common.keys
浏览 3提问于2017-07-14得票数 0
回答已采纳
我有一个如下所示的数据集：6-9 a b 6-9 c a9-10 c a bAge a b c
6-9
浏览 0修改于2019-11-20得票数 0
我正在开发一个应用程序，这将有一些网站的网络爬虫。到目前为止，一切顺利，但是，我们必须保存一些爬虫通过该站点的证据。我们正在考虑用爬虫经过的屏幕保存一个PDF文件，但是，由于Azure函数没有GDI+，它不能与Selenium或PhantomJS一起工作。
浏览 7提问于2018-07-16得票数 0
回答已采纳
我正在寻找一个爬虫，它能够处理与Ajax的页面，并能够在开始爬行网站之前与目标网站执行某些用户交互(例如，点击某些菜单项，填写一些表格等).I尝试webdriver/selenium (这是真正的网络抓取工具)，现在我想知道是否有任何爬虫程序，支持模拟某些用户交互之前开始爬行？
浏览 1修改于2011-06-28得票数 0
腾讯云开发者
