我想通过ingramer网站下载Instagram的照片。下面是我的代码： from selenium import webdriverimport timeos.chdir(r'C:\Users\ir\Downloads')
b.get('https://ingramer<
浏览 31提问于2021-05-09得票数 1
当我仅从一个页面中抓取数据时，该脚本可以完美地工作。当我运行多个页面时，lopp卡住了，返回的数据只来自页面1。循环需要扫描很多页面，你知道如何纠正代码吗？timefrom urllib.error import URLError, HTTPError
from selenium
浏览 11提问于2020-04-28得票数 0
回答已采纳
1回答
a').removeClass('activeLink'); }我正在使用vb.net，一些网站很容易使用firebug，在那里，通过查看脚本，我能够提取所需的数据。
浏览 3提问于2010-03-13得票数 1
抓取移位是很好的，因为它们只是元素。但是要获得信息，比如谁在轮班，你必须单击一个元素，它会显示一个隐藏的元素，但也会根据你点击的日期更改信息。这可以使用javascript函数showFloorPlan('N','N','N','20200624')进行更改 我需要能够从几个星期的班次中收集数据，显示谁在哪个班次工作。我试着将javascript:showFloorPlan('N','N','N','20200
浏览 17提问于2020-06-23得票数 0
1回答
抓取句柄302重定向
、、、、
我正在尝试用一个粗糙的CrawlSpider抓取一个网站，问题是这个网站一直在随机地重定向我，这意味着一个url有时可能会加载，有时会被重定向到某个页面。我试着改变我的用户代理，尝试通过创建一个类似于浏览器发送的http头来模仿浏览器的行为，即使我使用crawlera发送请求，也没有解决我的问题。
浏览 2提问于2017-11-06得票数 0
我的问题是，我还使用了一个网页的扩展，它的给定数据(由于它而显示的文本)也要被收集。我知道urllib，但它只收集正常的网页数据，而不是扩展生成的数据。那么，如何收集这些数据有什么帮助吗？
浏览 12提问于2020-08-15得票数 0
我正在网络上抓取以下网址：
如果我想抓取页面，我可以通过模拟selenium中的单击(如"button.click()“)向右滚动。但是，我发现这很容易出错。例如，总是有带有Chrome的ClickInterceptedException。有没有更好的方法来抓取网页右边的内容？
浏览 2提问于2019-06-20得票数 0
1回答
从地下刮取历史气象资料
、、、
我对数据抓取很陌生，最近，我试图用python的selenium库从wunderground.com中抓取数据。但是，我发现，有时候selenium web驱动程序无法成功地打开网页，我认为这个问题可能与网站使用的JavaScript有关，但不确定哪些部分出错了。有人知道怎么解决吗？提前谢谢。下面是正确显示的示例：我的代码在这里，这是一个非常简单的selenium调用。import webdriver
from selenium
浏览 5提问于2021-09-09得票数 2
回答已采纳
python 3.6.7while tg: n = n + 1 # Selenium
浏览 1提问于2020-03-20得票数 1
1回答
硒对洁汤性能的影响
、、、
我正在做一些用Selenium做的web抓取(所以使用这个不是问题)。当我必须识别一个元素(即:获得一个src属性)时，我应该使用Selenium内部选择引擎，还是应该使用Jsoup (这要容易得多)。所以，问题是: Jsoup的使用性能这么好吗？我应该尽可能多地使用硒吗？谢谢
浏览 3提问于2015-11-29得票数 8
我需要使用selenium模块从网络摄像头服务器中获取图像帧。知道吗？谢谢。致以问候。
浏览 6提问于2013-07-14得票数 0
回答已采纳
我在python中有一个抓取脚本，它使用Selenium/geckodriver/Firefox，运行在Ubuntu 18服务器上。有时，它不能正确关闭，Selenium会崩溃，但它会让许多Web Content进程处于打开状态。如果不关闭，它们会耗尽所有内存，然后selenium就不能打开，脚本也会失败。在我的python脚本中，我使用subprocess模块尝试并在Selenium崩溃时自动化。: only one patter
浏览 5提问于2020-10-09得票数 2
回答已采纳
我现在正在执行一项任务，系统地从似乎是由javascript呈现的课程列表中抓取内容。我在web上使用PyQt4遵循了一些脚本，但失败了(我在下面复制了它)。更准确地说，这个脚本在一些网站上使用javascript，它通过点击特定的链接来加载内容。相反，它使用标签容器和FTP来存储和加载信息(我从其源代码中找到)。
我想知道是否有任何方法可以修改以下脚本，以便我可以使用PyQt4抓取这些内容，或者我必须寻找其他方法来实现此目的？
浏览 17提问于2016-09-21得票数 3
我需要在Node.js中使用无头Selenium进行抓取。我试过Webdriver.io，它可以处理无头Selenium。但是当我运行无头Selenium时，它根本不起作用。
浏览 15提问于2016-09-17得票数 1
但是，有没有一种方法可以使用Scrapy请求自动获取这些请求头，而不是手动获取？我尝试使用：response.request.headers，但此信息还不够：
{b'Accept': [b'text/html,application/xhtml+xml,application/xml
浏览 50提问于2021-05-21得票数 0
回答已采纳
1回答
我目前正在使用Python进行web抓取。我使用了Selenium和Beautifulsoup库来抓取。我最近知道Selenium适用于php/Laravel。我的问题是，我可以使用Laravel + Selenium web驱动程序抓取web吗？如果是，你能给我提供一些链接或存储库，以便我学习吗？我被迫在我的抓取工作中使用php/Laravel，因为他们说php很容易在服务器上
浏览 19提问于2019-11-19得票数 0
我正在使用Selenium来抓取/解析一个糟糕的网站(如果它不是很糟糕，我可能不会使用Selenium，而且是的，尊重robots.txt)。我正在使用find_element_by_id()从一个未知大小的表中读取一组链接，并使用顺序元素ids。这可以顺利地遍历存在的元素，但是当我请求不存在的元素时，需要大约30秒才能抛出错误，该元素告诉我在表的末尾。
这个文件并没有那么大--来自DOM检查器的html转储提供了一个81
浏览 0提问于2014-04-04得票数 0
回答已采纳
在几次请求之后，我的抓取代码被目标站点使用re-captcha阻止。我使用https://github.com/gocolly/twocaptcha使用selenium chrome驱动程序绕过验证码。使用selenium chrome驱动程序时，它可以正常工作，但当我运行我的抓取再次编写代码，但它仍然被阻塞。我的问题是： 当使用selenium chrome驱动绕过re-ca
浏览 69提问于2020-08-13得票数 0
回答已采纳
在检查twitter页面时：
<span class="css-901oao css-16my406 r-1qd0xha r-ad9z0x r-bcqeeo r-qvutc0">InSight sol我想要的是从上交所提取"InSight SOL363 (2019-12-04)低-99.8ºC (-147.6ºF)高-21.1ºC (-5.9ºF)风，风速为5.8米/秒(13.0英里/小时)，在6.60 hPa时的气压为
浏览 3提问于2019-12-07得票数 1
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
