1回答
我想创造一个爬虫/刮刀。以及我想爬的元素，在我看来是为JS服务的。在我的浏览器中，我可以看到这个元素，但是在webdriver上，我看不到这个元素。例如，URL：
但是在chrome上，我看不到这样的元素：我的网络驱动程序代码是这样的：driver =
浏览 0提问于2021-04-08得票数 0
回答已采纳
我正在尝试使用subprocess从python启动google-chrome，但到目前为止还没有成功。基本上我有一个bash命令，如下所示： --no-first-run \ --disable-translate \ --disable-extensions \ --disable-
浏览 32提问于2019-07-14得票数 0
1回答
我有一个网络爬虫，我想把它检索到的html+javascript传递给selenium，这是可能的吗？为了澄清，我不想使用webdriver.get检索selenium的页面，因为我的爬虫更快。
浏览 3提问于2013-07-13得票数 1
回答已采纳
2回答
我正在使用selenium和scrapy实现一个TikTok爬虫.... options = webdriver.ChromeOptions() ua(chrome_options=options)<e
浏览 6提问于2019-12-10得票数 5
我需要使用PHP从网站中获取数据，并将其保存在MySQL数据库中。我还想获取图像并将它们保存在我的服务器中，以便在我的站点中显示它们。我听说可以使用API，但是我想知道我是否可以使用CURL来完成这个任务。我想每天获取大量的数据，那么使用CURL会消耗大量的服务器端资源吗？还有哪些其他方法可以获取数据？
浏览 5提问于2011-08-17得票数 1
我正在用Python和selenium做一个简单的网络爬虫。(在PyCharm Window 10上运行)from selenium import webdriverdriver.get(http://www.python.org)
我尝试了文件路径的各种格式，但似乎都返回了错误。
浏览 3提问于2017-07-14得票数 0
回答已采纳
1回答
我有许多使用scrapyd并行运行的scrapy爬虫。我正在做的事情类似于下面的代码。 self.display.start()
self.driver = webdriver.Firefox
浏览 1提问于2016-03-04得票数 7
我在Chrome上尝试了这些带有XPathHelper扩展的XPathHelper，它的工作原理和意图一样，但似乎不适用于Selenium (Chrome、WebDriver和PhantomJS)。
浏览 2提问于2016-11-17得票数 0
1回答
从代码中获取所有href
、、、、
我在做一个网络爬虫。为了在页面中查找链接，我使用了selenium中的xpathdriver.get(side)driver = webdriver.Firefox()Listlinkera = driver.find_elements
浏览 0提问于2011-12-20得票数 1
回答已采纳
1回答
我尝试使用Python Selenium运行代码import time
profile.set_preference("network.proxy.http_port",82)
driver=webdriver.Firefox我正在开发一个网络爬虫，需要更改ip
浏览 37提问于2016-08-30得票数 2
回答已采纳
1回答
使用NodeJS，我可以使用PhantomJS来帮助我抓取动态网站，使用PhantomJS，我可以使用Selenium来完成这项工作。
浏览 2提问于2017-07-05得票数 1
我正在寻找一个爬虫，它能够处理与Ajax的页面，并能够在开始爬行网站之前与目标网站执行某些用户交互(例如，点击某些菜单项，填写一些表格等).I尝试webdriver/selenium (这是真正的网络抓取工具)，现在我想知道是否有任何爬虫程序，支持模拟某些用户交互之前开始爬行？
浏览 1提问于2011-06-28得票数 0
我正在研究一个爬虫项目，并尝试使用docker + selenium +多个代理。这是我理想的工作流程:一台机器包含多个容器，一个爬虫(Selenium)脚本在一个容器中运行，每个脚本将完成“抓取和渲染网站->提取信息->更新本地数据库”的过程。): if driver is None:
chromeOptions = webdriver.ChromeOptions但我仍然不知道是否应该
浏览 1提问于2019-10-19得票数 0
我正在编写一个爬虫，需要等待所有AJAX加载的HTML内容，然后从他们提取任何锚标签。当我调用webdriver.get(URL)时，我不确定它实际上是在等待将某些AJAX内容添加到DOM中。然而，即使在等待之后，webdriver.page_source也与等待之前一样。有没有什么方法可以让我在等待之后将AJAX内容放入webdriver.page_source中，以便分析异步插入的内容？
浏览 0提问于2013-06-11得票数 4
9回答
禁用chrome下载多个文件确认
、、、、
我用ruby watir-webdriver开发了一个爬虫，可以从页面上下载一些文件。我的问题是，当我点击下载第二个文件时，Chrome会在顶部打开一个栏，要求确认我正在从这个网站下载多个文件。一旦webdriver使用了它，我就无法确认下载。有什么方法可以避免这种确认吗？我在想，是否有任何配置可以避免它，或者是否有扩展来做到这一点，或者即使我可以点击webdriver的确认。
谢谢
浏览 1提问于2013-04-05得票数 18
1回答
不久前我偶然发现了pyexecjs，我想知道它是否可以与scrapy一起用于抓取JS生成的数据。
我检查了应该如何使用该库的示例，但我不确定如何将其与scrapy集成。
浏览 4提问于2014-10-12得票数 0
1回答
我有一个简单的网络爬虫，我会在一个循环中使用它来抓取youtube视频中的信息，如下所示from webdriver_manager.chromeimport ChromeDriverManager options = webdriver.ChromeOptions()driver = webdriver.Chrome(executable_path=ChromeDriverM
浏览 2提问于2022-03-14得票数 0
回答已采纳
我正在运行一个使用selenium和firefox webdriver的爬虫程序。我的程序在mac/ubuntu上运行成功，但在windows上运行。webdriver.Firefox()
打开一个新的geckodriver窗口(类似cmd的窗口)，然后就挂在那里了。程序在那之后就不会继续前进了。
浏览 9提问于2017-02-04得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
