我有一些非常困难的时间，试图弄清楚如何对同一网站进行多个请求。我不得不从一个网站上抓取3000个产品。这意味着向该服务器发出各种请求(例如，搜索产品、点击产品、返回主页) 3000次。我声明我正在使用Selenium。如果我只启动我的Firefox webdriver的一个实例，我得不到MaxRetryError，但是随着搜索的进行，我的webdriver变得越来越慢，当程序达到大约一半的搜索时，它就停止响应。因此，
浏览 81提问于2020-07-01得票数 0
我在使用webdriver.remote(在码头容器中)连接到另一个selenium网格容器时遇到了问题。这些是我使用webdriver的docker-compose文件和python文件。python file:
Options = webdriver.ChromeOptions()Options.add_argument:hub - HUB
浏览 12提问于2022-08-05得票数 0
1回答
我目前正在使用Python进行web抓取。我使用了Selenium和Beautifulsoup库来抓取。我最近知道Selenium适用于php/Laravel。我的问题是，我可以使用Laravel + Selenium web驱动程序抓取web吗？如果是，你能给我提供一些链接或存储库，以便我学习吗？我被迫在我的抓取工作中使用php/Larave
浏览 19提问于2019-11-19得票数 0
我想知道有没有什么方法可以制作一个python脚本来从网站上获取一个所说的值，在我的例子中是一个离线数字，它在一个每5分钟刷新一次的网站上。我想要设置它，如果该值增加，它将发送给我一封电子邮件。我之所以想这么做，是因为我在一家拥有超过15,000名矿工的比特币开采设施工作，我们必须不断地监控他们。但是，在做诸如清洁之类的日常工作时，携带笔记本电脑是非常令人恼火和恼人的。我对python知之甚少，所以如果有人能给我指出正确的</
浏览 3提问于2020-10-01得票数 0
1回答
我已经使用Selenium 3.141.0和Python3.6构建了一个刮取器，它对每个请求使用随机代理。我已经放慢了抓取器的速度，所以它一次只做一个请求，然后在发出下一个请求之前暂停20秒。这些是我得到的错误，并按这个顺序排列。exception" %e) print("New connection error %s" %e)
except MaxRetryError</
浏览 13提问于2019-05-18得票数 0
我正在尝试抓取innerHTML，如果在chrome中执行任务时弹出窗口出现，然后根据innerHTML，单击or并保存或退出。我遇到的问题是在可能的弹出窗口之前，我在一个iframe中，需要切换回主体。我正在使用selenium： iframe (I am here)Dimsel As Selenium.ChromeDriv
浏览 51提问于2019-11-07得票数 2
我想要做的.我试过的.这可能是有意义的，因为我输入的网站网址在默认情况下是空白的，而且我认为它不会像我使用“请求”库的"allow_redirects=True“那样将URL重定向到任何地方。这个下载链接似乎总是有效的，但我不知道如何用Python获取它。我已经找到了关于使用"Spynner“库
浏览 0提问于2020-05-06得票数 1
回答已采纳
1回答
当我单击所需的选项卡，在显示其内容后，首先会出现两个问题。1-网页地址不改变，对所有标签都是相同的。2-当我看到带有浏览器(firefox和chrome)的“查看页面源”的页面源时，所有选项卡的页面源看起来也是相同的，而当我对其中一个选项卡使用“检查Elemnt”时，我看到我的目标内容以html形式显示的代码问题是，我无法通过python访问所需选项卡的内容，这是web</
浏览 2提问于2020-02-06得票数 4
回答已采纳
我正在尝试抓取一个在后台运行一些AJAX的网页。使用python和Selenium，我已经完成了加载网页、在表单中输入数据、单击提交和等待的过程。在这一点上，我正在尝试捕获重新生成的JSON格式的数据，但是文章建议不可能将JSON主体提取出来。我试着自己研究一下Selenium代码，让它返回所有内容，但我没有太多的运气。有没有人遇到过类似的问题，并有解决方法的建议？我不需要使用seleniu
浏览 1提问于2013-03-24得票数 1
回答已采纳
很可能会让我的IP被禁止。有人建议我使用WebKit (如Ghost.py )来抓取数据，但在浏览器中模拟打开的选项卡使连接保持打开状态。我对WebKit知之甚少，是否有人能为我确认Ghost.py能够重用相同的连接，或者是否有其他更好的建议。
浏览 1提问于2015-08-12得票数 1
回答已采纳
我想输入如图所示的信息。 ? start_date': '2018-06-01', 'end_date':'2019-01-23'}
response = requests.post(url, data = payload) 但是，我不能得到正确的结果正确的方法应该是什么？ 如何使用pyqt5完成此操作
浏览 14提问于2019-01-23得票数 4
我刚开始使用docker，所以我在尝试运行我的selenium测试时遇到了问题。我知道我需要用网格或独立的方式运行selenium服务器，它工作得很好，但是我如何通过docker (docker run mytest:1.0)来运行我的测试呢？我一直收到诸如"urllib3.exceptions.MaxRetryError: HTTPConnectionPool(urllib3.exceptions.MaxRetryError=‘localh
浏览 0提问于2021-08-26得票数 0
所以我从我的作品网站上收集了所有的数据，以获得我所有的班次和关于那些班次的数据，比如python和漂亮的汤。抓取移位是很好的，因为它们只是元素。但是要获得信息，比如谁在轮班，你必须单击一个元素，它会显示一个隐藏的元素，但也会根据你点击的日期更改信息。这可以使用javascript函数showFloorPlan('N','N','N','20200624')进行更改 我需要能
浏览 17提问于2020-06-23得票数 0
我试图刮数据从板球网站，并已经写了一个方法，接受一个球员的名字，并显示他们的相应数据。
如果您看到此方法，则取一个播放机名称并显示其所有数据。我的要求是显示所有球员的完整记分卡，而不是只显示一个球员的数据。
浏览 0提问于2020-03-04得票数 0
2回答
我试着用selenium抓取几个网页并使用结果，但是当我两次运行这个函数时import osfrom selenium import webdriverfrom selenium.webdriver.chrome.
浏览 17提问于2020-11-09得票数 10
回答已采纳
我正在尝试获取网页的文本数据，就像它在我的浏览器上的样子一样。我的问题是，我还使用了一个网页的扩展，它的给定数据(由于它而显示的文本)也要被收集。我知道urllib，但它只收集正常的网页数据，而不是扩展生成的数据。那么，如何收集这些数据有什么帮助吗？另外，我想问的是，这是否可能？
浏览 12提问于2020-08-15得票数 0
我正在尝试从一个使用Selenium的网站中提取一些信息，下面是到该网站的链接：，我试图获取的信息是玩家统计信息，它位于下拉按钮' statistics‘处，它将您带到另一个页面，我检查了这个按钮，得到了一个XPath和CSS，但是当我运行我的程序时，它不会打开玩家的统计页面，而是打开下面的链接：。chromedriver=2.41.578737 (49da6702b16031c40d63e5618de03a32ff6c197e),platform=Windows NT 6.3
浏览 0提问于2018-08-07得票数 0
回答已采纳
我正在使用Python中的Selenium webdriver进行web抓取项目。谢谢
浏览 19提问于2011-11-30得票数 5
回答已采纳
我完全是python的新手，但是每当我运行这段代码时，我都会收到以下错误：“消息:无法定位元素：(// div @class = 'contact-us')”，即使当我检查站点时，我可以看到div。这是我的代码：from selenium import webdriver
driver = webdriver.Firefox
浏览 0提问于2018-10-27得票数 1
回答已采纳
3回答
我正在尝试从下面的morningstar网站上获取数据：
import requests, os, bs4, string
浏览 3提问于2016-02-27得票数 3
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号