如何用Selenium，Python点击班级？(抓取微软网站)
Selenium是一个自动化测试工具，可以用于模拟用户在网页上的操作，包括点击、输入、提交表单等。Python是一种流行的编程语言，具有丰富的库和工具，可以用于编写Selenium脚本。
要使用Selenium和Python点击班级并抓取微软网站的数据，可以按照以下步骤进行：
- 安装Selenium库：在Python环境中安装Selenium库，可以使用pip命令进行安装。例如，在命令行中执行以下命令：
- 安装Selenium库：在Python环境中安装Selenium库，可以使用pip命令进行安装。例如，在命令行中执行以下命令：
- 下载并配置WebDriver：Selenium需要与浏览器进行交互，所以需要下载并配置相应的WebDriver。根据使用的浏览器类型，下载对应的WebDriver，并将其添加到系统的PATH环境变量中。
- 导入Selenium库：在Python脚本中导入Selenium库，以便使用其中的类和方法。例如，在Python脚本的开头添加以下代码：
- 导入Selenium库：在Python脚本中导入Selenium库，以便使用其中的类和方法。例如，在Python脚本的开头添加以下代码：
- 创建WebDriver实例：使用Selenium提供的WebDriver类创建一个浏览器实例，以便后续操作。例如，创建一个Chrome浏览器实例：
- 创建WebDriver实例：使用Selenium提供的WebDriver类创建一个浏览器实例，以便后续操作。例如，创建一个Chrome浏览器实例：
- 打开微软网站：使用WebDriver实例的
get()方法打开微软网站。例如，打开微软教育官网： - 打开微软网站：使用WebDriver实例的
get()方法打开微软网站。例如，打开微软教育官网： - 定位班级元素并点击：使用WebDriver实例的
find_element()方法定位班级元素，并使用click()方法进行点击操作。具体的定位方式可以根据网页结构和元素属性进行选择。例如，假设班级元素的CSS选择器为.class-link，则可以使用以下代码进行点击操作： - 定位班级元素并点击：使用WebDriver实例的
find_element()方法定位班级元素，并使用click()方法进行点击操作。具体的定位方式可以根据网页结构和元素属性进行选择。例如，假设班级元素的CSS选择器为.class-link，则可以使用以下代码进行点击操作： - 抓取数据：根据需要，使用WebDriver实例的各种方法和属性来抓取所需的数据。例如，可以使用
page_source属性获取当前页面的HTML源代码，然后使用其他库（如BeautifulSoup）进行解析和提取数据。 - 关闭浏览器：在完成操作后，使用WebDriver实例的
quit()方法关闭浏览器。例如： - 关闭浏览器：在完成操作后，使用WebDriver实例的
quit()方法关闭浏览器。例如：
需要注意的是，以上步骤仅为示例，具体的操作和代码可能因网页结构和需求而有所不同。在实际应用中，还可以结合其他技术和工具，如数据库操作、数据处理、异常处理等，来完善和优化脚本。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云主页：https://cloud.tencent.com/
- 云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 云数据库MySQL版：https://cloud.tencent.com/product/cdb_mysql
- 云原生应用引擎（TKE）：https://cloud.tencent.com/product/tke
- 人工智能平台（AI Lab）：https://cloud.tencent.com/product/ailab
- 物联网套件（IoT Hub）：https://cloud.tencent.com/product/iothub
- 移动推送服务（信鸽）：https://cloud.tencent.com/product/tpns
- 云存储（COS）：https://cloud.tencent.com/product/cos
- 区块链服务（BCS）：https://cloud.tencent.com/product/bcs
- 腾讯云元宇宙：https://cloud.tencent.com/solution/virtual-universe
相关·内容
我正在寻找一个爬虫，它能够处理与Ajax的页面，并能够在开始爬行网站之前与目标网站执行某些用户交互(例如，点击某些菜单项，填写一些表格等).I尝试webdriver/selenium (这是真正的网络抓取工具)，现在我想知道是否有任何爬虫程序，支持模拟某些用户交互之前开始爬行？(用Java、Python或Ruby ...)
谢谢
如果是，我很感谢任何描述这一点的链接。
浏览 1提问于2011-06-28得票数 0
我知道网络抓取，我从不同的网站上获取了数据，我使用的是python语言和selenium webdriver chrome。但我调用一个网站，它是打开的首页，然后我点击或转到任何其他页面，然后网站限制我和网站知道我正在使用自动铬。
浏览 7提问于2019-03-13得票数 0
1回答
我目前正在开发一个检查大学班级可用性的程序，但网站使用javascript来显示班级及其时间。使用Java，我正在抓取这些数据，并使用它告诉用户类何时打开。
我试过使用Selenium，但我不知道如何很好地使用它。有没有更简单的方法来做这件事？
浏览 1提问于2013-05-27得票数 0
我正在浏览Selenium WebDriver的文档，例如，它可以驱动Chrome。我在想，“驾驶”PhantomJS不是更有效率吗？
有没有一种方法可以在PhantomJS中使用Selenium？
我的预期用途是web抓取:我抓取的网站加载了AJAX和许多可爱的JavaScript，我认为这个设置可以很好地替代我目前正在使用的Scrapy Python框架。
浏览 4提问于2012-06-27得票数 35
回答已采纳
我使用C#和Python的Selenium Webdriver从网站获取数据元素，但web抓取的速度非常慢。抓取35000个数据表花了我大约1.5天的时间。使用Selenium Webdriver，我可以执行Javascript来获取Java元素。有没有一些库可以不需要像Webdriver这样的东西来在网页上执行Javascript来检索元素，并且能够点击元素？或者有没有比硒更快的替代品？
浏览 5提问于2015-04-16得票数 13
1回答
硒点击的视觉反馈
、、、
我使用Selenium (Python)和Firefox来抓取一个网站。在浏览网站时，我想看看它点击的地方。类似于单击后出现0.5秒的圆圈。
其他语言(Java)的答案也是受欢迎的。只要是硒。
有人有这方面的经验吗？
浏览 1提问于2018-10-30得票数 1
回答已采纳
我正在尝试抓取一个网站，以学习python和网络抓取。特别是，我试图在这个页面上抓取足球数据：
我的主要问题是如何抓取主数据表的所有页面，而不仅仅是第一个页面。我正在尝试使用selenium并分析当我点击“下一步”按钮时我的浏览器发送的请求，但我遇到了一些问题。感谢您的关注。
浏览 2提问于2018-08-30得票数 1
我正在尝试使用python selenium来抓取Instagram。具体地说，我想要抓取一个账户的帖子。问题出在视频帖子上。在桌面网站上，视频帖子只显示视图，当你点击视图时，它只显示点赞的数量，而不是喜欢该视频帖子的账户。This image shows the only thing that is available。我如何才能访问视频帖子之类的内容？
浏览 11提问于2020-12-26得票数 0
1回答
我正在构建一个chrome扩展，我想运行一个python脚本，它是在我的PC上点击一个按钮从一个扩展(基本上是HTML)。python脚本使用selenium web驱动程序从网站中抓取数据，并将其存储在另一个日志文件中。
浏览 1提问于2018-11-29得票数 1
1回答
我当时正致力于抓取网站上文章的链接。但通常情况下，当网站加载时，它只列出5篇文章，然后它需要点击加载更多的按钮来显示更多的文章列表。Html源代码只有前五篇文章的链接。
我使用selenium python自动单击加载更多按钮，以完全加载包含所有文章列表的网页。
现在的问题是，我如何才能提取所有这些文章的链接。
在使用selenium完全加载站点后，我尝试用driver.page_source获取html源代码并将其打印出来，但它仍然只有前5篇文章的链接。
我想得到所有这些文章的链接，这些文章是在点击加载更多按钮后加载在网页上的。
请有人帮忙提供解决方案。
浏览 4提问于2020-05-30得票数 0
我正在尝试使用selenium和chromedriver从网站“”中抓取数据。当我运行代码时，chromedriver成功地输入了url，但无法加载页面，显示了一个空白页面。我尝试将目标网站切换到google.com，但抓取成功。我的结论是目标网站服务器检测到selenium并拒绝发送回数据。那么如何在Python语言中使用selenium和chromedriver从网站抓取数据呢？我是一个Python初学者，感谢您的帮助。下面是我的简单代码：
from selenium import webdriver
my_driver_path = r"C:\python chrome driv
浏览 0提问于2020-05-29得票数 0
我正在抓取一个网站。屏幕上的可视文本是从数据库生成的，在inspect元素或页面源代码中找不到它。
我试着手动点击控件A和控件C，它工作得很好。有没有办法使用Selenium点击控件A，然后将选中的文本保存到一个变量中？
浏览 7提问于2021-06-22得票数 0
我点击Firefox中的一个链接，网页使用javascript发送一个请求，然后服务器发送某种类型的响应，其中包括网站地址。因此，这个新网站将在一个新窗口中打开。链接后面的html代码是(我省略了初始和最后的<span>标记)：
> class="taLnk hvrIE6"
> onclick="ta.trackEventOnPage('AttractionContactInfo', 'Website',
> 2316062, 1); ta.util.cookie.setPIDCookie(15190);
&
浏览 22提问于2014-10-21得票数 19
回答已采纳
我目前正在用python编写一个程序，它将从我的大学的班级注册网站上抓取数据，这样当某个班级的座位空缺时，我就会收到通知。
我使用selenium导航各种下拉菜单和文本输入框。我可以成功地到达我想要的页面，但是从一个页面到另一个页面，URL的内容并不是唯一的。
例如，您选择所需主题的页面是。如果我选择，比方说，用英语书写，网址就变成了。
无论我选择英语写作、数学、生物还是其他科目，这都是一样的。因此，如果我使用requests模块下载页面的HTML，我会收到一条404错误消息。
是否有什么方法可以在不提供URL的情况下下载当前页面的HTML？
提前感谢您的帮助！
浏览 15提问于2017-03-16得票数 0
我想使用风车或selenium来模拟一个浏览器，它访问一个网站，抓取内容，并在分析完内容后，根据分析结果进行一些操作。
作为一个例子。浏览器访问一个网站，在那里我们可以找到，比如说50个链接。当浏览器仍在运行时，例如，python脚本可以分析找到的链接，并决定浏览器应该点击哪个链接。
我最大的问题是使用风车或selenium可以完成多少个http请求。我的意思是，这两个程序是否可以模拟在浏览器中访问网站并仅通过一个http请求抓取内容，或者当浏览器仍在运行时，它们是否会使用另一个对网站的内部请求来获取链接？
太感谢了！
浏览 8提问于2013-07-14得票数 0
1回答
我试图刮一个网页，在那里需要寻找一些ID。我在Selenium驱动程序中使用Python。
为了访问搜索屏幕，我尝试找到“搜索”按钮并点击它。我尝试过许多方法来完成这个任务，但是在Python中我总是得到一个异常。我过去经常用VBA IE抓取来调用这些链接，这真的很容易。
当检查Chrome上的HTML时，元素如下：
"a target="content" href="search/search/BaseFormular.start"
id="Search.Customer" onmouseover="nav_enter(
浏览 4提问于2022-07-11得票数 0
1回答
真的需要这个社区的帮助！
我正在使用Selenium和Beautiful Soup在Python中对动态内容进行web抓取。问题是，即使使用以下代码，也无法将定价数据表解析为Python：
html=browser.execute_script('return document.body.innerHTML')
sel_soup=BeautifulSoup(html, 'html.parser')
然而，我后来发现，如果我在使用上面的代码之前单击WebPage上的“查看所有价格”按钮，我可以将该数据表解析为python。
我的问题是，我如何解析和访问我的py
浏览 15提问于2018-02-14得票数 2
我正在使用Python从一个网站上抓取内容。首先，我在Python上使用了BeautifulSoup和Mechanize，但我看到网站上有一个通过JavaScript创建内容的按钮，所以我决定使用Selenium。
既然我可以通过像driver.find_element_by_xpath这样的方法使用Selenium查找元素并获取它们的内容，那么当我可以使用Selenium做任何事情时，还有什么理由使用BeautifulSoup呢？
在本例中，我需要使用Selenium来单击JavaScript按钮，所以使用Selenium进行解析更好，还是应该同时使用Selenium和Beautiful S
浏览 1提问于2013-07-03得票数 53
回答已采纳
3回答
我是网络抓取的新手，并试图抓取以下网站：
我正在尝试使用python进行抓取。我已经尝试了请求，PhantomJS，selenium chromedriver来获取html。但是我得到的html与我在使用google chrome进行检查时看到的html不匹配。
我对抓取非常陌生，对html的了解很少，对JavaScript几乎一无所知。我的主要难题是获得我在google chrome中看到的html，这样我就可以开始抓取了。
提前感谢！
浏览 30提问于2018-02-01得票数 0
因此，我正在尝试使用Selenium (Python)浏览药房网站。这个网站提供了数千种药品和保健产品的目录。
我试着做一个“横向”的网络抓取，提取每一个产品在目录的每一页的链接(此刻，我可以这样做)。
当我试图进入目录的下一页时，问题就出现了，我没有点击按钮，URL也没有变化。
网址：
分页中的前面的按钮如下所示：
HTML还有下一条路径：
我想知道是否有人可以帮助selenium或任何其他库中的代码。谢谢!
浏览 7提问于2022-02-02得票数 0
我正在尝试使用python来抓取一个用无限滚动实现的网站。实际上，网络就是pinterest。我知道如何使用selenium来抓取具有无限滚动的web。但是，WebDriver基本上模仿了访问web的过程，而且速度慢得多，比使用BeautifulSoup和urllib进行抓取要慢很多。你知道有什么时间有效的方法来刮一个无限滚动的网页吗？谢谢。
浏览 0提问于2014-12-29得票数 0
回答已采纳
1回答
我正在为网站Upwork写一个抓取代码，需要点击每个页面的工作列表。这是我的python代码，我使用selenium对其进行网络爬行。
from bs4 import BeautifulSoup
import requests
from os.path import basename
from selenium import webdriver
import time
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDri
浏览 0提问于2017-07-02得票数 0
2回答
NoSuchElementException:错误:无法定位元素：{“”：“xpath”，“选择器”：“//td@class=‘C($primaryColor)W(51%)’}”(会话信息: chrome=77.0.3865.120)
我的守则如下：
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
driver = webdriver.Chrome('/Users/ryanyee/Desktop/Python Code/Selenium/Launch
Chrome/c
浏览 6提问于2019-10-17得票数 0
回答已采纳
2回答
这是我第一次尝试使用Selenium从网站上抓取数据。幸运的是，我获得了Selenium和Chrome的坐标，并且它打开了想要的网站opens.Once，我想告诉Python点击'SEARCH‘，空框空(在包含旁边)，然后告诉xlsx导出结果’，并将xlsx文件保存为result_file。我不知道为什么这个片段会爆炸。请提供您的协助。
from selenium import webdriver
driver = webdriver.Chrome("C:\Python27\Scripts\chromedriver.exe")
driver.get("http
浏览 5提问于2016-11-22得票数 1
回答已采纳
我有一个使用JSP填充其内容的网站。
我正在尝试使用Selenium来抓取那里的内容。当我打开页面时，我花了几秒钟的时间睡觉，直到页面完全加载(我可以看到数据通过眼球完成填充)。
然而，当我做browser.find_elements_by_class..。我找不到任何元素！我不知道如何用Selenium来解决这个问题。
浏览 1提问于2013-10-15得票数 0
回答已采纳
3回答
硒自动化可以与BS4一起使用吗？
、、、、
我正在使用selenium进行自动化和抓取。现在我发现有些网站的速度太慢了。如果我使用beautifulSoup，那么我可以更快地抓取它们，但自动化却无法完成。
有什么地方我可以自动化网站(按钮，点击，事件等)还能在beautifulSoup上用它刮网站吗？
你能给我一个用bs4 + selenium实现按钮/搜索自动化的例子吗？
任何帮助都将不胜感激..。
浏览 2提问于2020-04-09得票数 1
回答已采纳
2回答
我知道使用Python的Beautiful Soup抓取HTML的基础知识。但是，页面会进行AJAX调用，以获取球员上场时间的数据。(我使用firebug识别了网络调用)。
我的问题是:有没有可能使用python来“抓取”这些信息？我需要什么工具，除了HTML我还应该知道什么？(我目前正在阅读有关JavaScript和AJAX的文章)。
我为这个不明确的问题道歉，但我甚至不知道如何用谷歌搜索可能存在也可能不存在的工具。
更新:几天后，我提出了一个在Python语言中结合使用Selenium和PhantomJS的解决方案。基本上，我使用Selenium转到每个链接，等待页面加载，然后抓取信息。在
浏览 0提问于2013-11-02得票数 0
1回答
我正在尝试从Sofascore网站(我使用python & Selenium)抓取特定匹配的数据。
我可以先去，然后用url 点击热刺-阿森纳的比赛。
但是，当我从浏览器中直接输入这个链接时，我会到达一个完全不同的页面，为以后的比赛做准备。
是否有一种方法来区分这2页，以便能够刮除原始匹配？谢谢
浏览 8提问于2022-08-08得票数 0
4回答
我想从一个网站上有TextFields，按钮等抓取数据。我的要求是填写文本字段并提交表单以获得结果，然后从结果页面中抓取数据点。
我想知道Scrapy是否有这个功能，或者是否有人可以推荐一个Python库来完成这个任务？
(编辑)
我想从下面的网站上抓取数据：
我的要求是从ComboBoxes中选择值并单击search按钮，然后从结果页面中抓取数据点。
附注:我正在使用selenium Firefox驱动程序从其他网站抓取数据，但这个解决方案并不好，因为selenium Firefox驱动程序依赖于Firefox的EXE，即在运行刮板之前必须安装Firefox。
火狐有时会在执行刮板的过程
浏览 1提问于2013-05-28得票数 8
回答已采纳
我对Selenium是个新手，实际上我从昨天就开始尝试了，我发现了一些关于Selenium和python的有趣的东西。
我找到了一些关于如何抓取JS页面并与之交互的信息。但我的疑问是，如何使用selenium从可点击的地图中获取数据。我试着找出页面中是否有隐藏的链接，但是没有。我计算出，当我将鼠标移到地图上的任何按钮(在地图中)时，x，y位置会发生变化(当然……)在我点击按钮后，我可以抓取我的数据。使用静态模型，我可以抓取我想要的所有数据。
所以我的问题是，我如何模拟鼠标在地图上的移动和这个点击动作？
诚挚的问候,
浏览 1提问于2015-12-20得票数 0
1回答
从使用Ajax请求的网站抓取数据
、、、、
到目前为止，我已经做了一个从网站上抓取数据的程序，我用python、selenium和美丽汤制作了一个程序，当它想从像这样的网站的页面中刮取数据时，我必须点击一个名为"سابقه“的选项卡(顶部是سابقه)，然后网站使用Ajax请求获取数据，然后我循环遍历表，表有多个页面，所以我必须点击表下面的数字，然后再收集新的数据。我的问题是这个方法非常慢，因为我还必须从500页中收集数据，每页包含35个表。还有其他更快的方法吗?或者，如果解决方案在python中，那么在我的程序中激发Ajax请求并获得response.It的方法会更好。
浏览 3提问于2017-12-15得票数 0
回答已采纳
2回答
我正在尝试使用Python抓取这个网站：'‘。
首先，我注意到我感兴趣的表实际上位于这个url：
但是，requests + BS4只给了我HTML格式的页面源代码。我假设这是因为内容是动态的。
因此，我尝试了Selenium + BS4来抓取网站，但我仍然只能抓取页面源代码。
from selenium.webdriver import Firefox
from bs4 import BeautifulSoup
import lxml
driver = Firefox()
url = 'https://ec.europa.eu/assets/eac/msca/jobs/im
浏览 4提问于2020-02-02得票数 0
我已经设法抓取了不需要使用js登录的网站，并从允许我通过CORS问题的网站获得了一些帮助(比如allorigins)，但我就是无法通过登录问题。我看过很多关于如何用node.js和python做这件事的帖子，但是没有一篇是关于如何用javascript做的。
那么我该怎么做呢？有没有可能纯粹在客户端做这件事呢？
我愿意做所有需要的学习和探索，但我需要在这个庞大的主题中找到方向。
浏览 1提问于2018-03-13得票数 0
我试图通过python来抓取一个网站，但是我无法通过请求检索到正确的API，因为我无法获取产品信息：
这就是这个网站，有没有人能够得到产品信息的API答案，比如名称和价格？Obs:需要注意的是，当你向下滚动时，网站产品会自动加载。
如果我不能通过请求来做到这一点，我可能会选择selenium，因为它的抓取效率很低，我真的很想避免使用selenium。
提前感谢:)
浏览 0提问于2021-11-15得票数 0
所以我想刮一个网站的数据。我在python脚本中使用selenium来抓取数据。但是我注意到，在Google的网络部分，Chrome可以记录XmlHttpRequest来查找网站的json/xml文件。因此，我想知道我能否在python脚本中直接使用这些数据，因为selenium很重，需要更多的带宽。selenium或其他web刮刀工具是否应该用作与浏览器通信的媒介？如果没有，请提供一些有关只使用chrome本身为我的python文件使用的刮取数据的信息。
浏览 0提问于2019-06-09得票数 0
网站加载后，我成功地点击了一个按钮，这将在这个类中生成一些数字
<div class="styles__Value-sc-1bfbyy7-2 eVmhyz"></div>
但不是立即，它会把它们一个接一个地放进去。Selenium将立即获取放入类中的第一个值，但不等待添加其他值。在抓取它之前，可以等待它加载其中的所有值。
下面是我用来抓取值的python代码：
total = driver.find_element_by_xpath("//div[@class='styles__Value-sc-1bfbyy7-2 eVmhyz'
浏览 10提问于2020-05-27得票数 0
1回答
我有一些动态网站(足球现场投注)。没有API，我正在阅读selenium中的所有内容。我每次都有无限循环和寻找元素。 while True:
elements = self.driver.find_elements_by_xpath(games_path)
for e in elements:
match = Match()
match.betting_opened = len(e.find_elements_by_class_name('no_betting_odds')) == 0 问题是它比我需要的速度慢了一百倍。 这是什
浏览 13提问于2021-10-20得票数 0
3回答
我在GCP上定义了一个云函数，用于抓取，这是一个用Python编写的网站。
首先，我定义了一个函数，它简单地打开了webdriver：
from selenium import webdriver
def launch_search(request):
# Starting a webdriver
driver = webdriver.Chrome()
return 'Success'
这个函数不能工作(当我触发它时是Error: could not handle the request)，可能是因为我的远程计算机上没有安装Chrome驱动程序。因此：
浏览 13提问于2019-10-03得票数 6
这里是第一篇文章，也是Python的全新版本。我正在尝试学习如何从网站上抓取数据。当你第一次加载网站时，会出现一个免责声明窗口，而我所要做的就是使用browser.find_element_by_id点击接受按钮。 在单击"Accept“按钮之前，我使用webdriverwait命令等待页面加载，但我一直得到一个Timeoutexception。这是我目前拥有的代码： from selenium import webdriver
#get the chrome webdriver path file
browser = webdriver.Chrome(executable_path
浏览 26提问于2019-03-16得票数 1
回答已采纳
2回答
我正在使用Python中的Selenium进行web抓取项目。
我想通过输入登录细节登录，然后单击提交按钮。
我可以输入用户名和密码。但是我不能用鼠标点击提交按钮。
“提交”按钮的类型为<input>。
<input type="image" src="/images/buttons/loginnow.gif" tabindex="3">
下面是我试图单击鼠标的python代码。
submitButton=driver.find_element_by_xpath("//input[@type='image&
浏览 3提问于2011-11-29得票数 7
回答已采纳
我正在尝试抓取一个网站，但是它没有加载selenium。当我在我的“真正的”chrome浏览器中浏览这个网站时，一切都很正常。有没有什么方法可以用我的真正浏览器和python来自动化东西，而不是使用selenium？ 谢谢
浏览 21提问于2021-03-24得票数 0
回答已采纳
我想要抓取一个有很多广告的网站，当代码点击出现新广告的任何东西时，我想关闭这个标签，我尝试这样使用： MainWindow = driver.current_window_handle
Windows = driver.window_handles
for window in Windows:
driver.switch_to.window(window)
if MainWindow != driver.current_window_handle:
driver.close()
print(driver.title) 它会给我一个错误： File "
浏览 23提问于2021-08-23得票数 0
我想抓取一些网站。我正在使用selenium/PhantomJS抓取JS(react、angular、jquery等)。和python爬行其他所有的东西。
我的主要问题是，我无法区分页面是否使用JS加载。
任何想法都将受到欢迎！
浏览 2提问于2018-03-16得票数 0
1回答
我试着用漂亮的汤从网站上抓取数据，但要抓取所有内容，我必须点击按钮 <button class="show-more">view all 102 items</button> 加载每一项。我听说可以用selenium来完成，但这意味着我必须用脚本打开浏览器，然后抓取数据。有没有其他方法来解决这个问题。
浏览 16提问于2019-06-10得票数 0
如何在Python Selenium中将日语响应页翻译成英文。由于我需要抓取一个日语网站，我甚至不能从该网站提取一个文本，因为所有的都是日语。
浏览 12提问于2017-02-21得票数 1
1回答
所以，我一直在做一个网络抓取脚本，从一个特定的网站下载一个视频，我做了，抓取网站，并有视频来源。这个视频有一个play botton，我试过在它上面使用selenium，但是我不知道如何使用selenium执行下载。我还试过其他密码
wget.download('http://wwwstatic.chia-anime.tv/player.php?id=96576')
我还试过使用请求库iter工具，但只下载14.4kb
另外，我观察到播放视频的直接链接(上面的链接)有一个点击按钮，当点击它时，它会向另一个站点发送一个网络请求，但是我不知道如何复制它。
请帮帮忙
浏览 7提问于2020-03-18得票数 1
1回答
这里新编程，所以请原谅这些愚蠢的问题。我一直在努力想出如何用Python来进行网络抓取，很多YouTube视频和其他问题都让我觉得有些困难，我很难把答案与实际代码联系起来。
到目前为止我的代码是：
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
impor
浏览 1提问于2021-02-11得票数 0
回答已采纳
1回答
我用python写了一些脚本，使用selenium从redmart网站上抓取不同产品的名称和价格。我的目标是单击主页面上部10个类别中的每个类别，并解析所有转到目标页面的产品。然而，当点击一个类别时，浏览器是在新打开的页面上，所以在这一点上，有必要再次转到主页，单击10个类别链接中的另一个。我的抓取器点击一个链接，转到它的目标页面，解析那里的数据，回到主页，点击相同的链接，然后一遍又一遍地做剩下的事情。下面是我正在尝试使用的脚本：
from selenium import webdriver
from selenium.webdriver.common.by import By
from se
浏览 3提问于2017-08-07得票数 1
回答已采纳
我正在使用selenium python，我想知道如何在24小时内有效地抓取超过50,000个数据点。例如，当我在网页'insight.com‘上搜索产品时，抓取器大约需要3.5秒来搜索产品并获取其价格，这意味着对于大量数据，抓取器需要几天时间。从使用线程同时查找多个产品的一部分，我还可以如何加速这个过程？我只有一台笔记本电脑，将不得不同时抓取其他六个类似的网站，因此不想要太多的线程，计算机的运行速度将显着减慢。人们如何实现在如此短的时间内抓取大量数据？
浏览 28提问于2020-06-18得票数 2
1回答
用R硒访问影根元素
、、、、
我正在尝试抓取一些网站，其中一个有一个‘接受cookies’按钮，这是嵌套在一个影子根。我在这里发布了一个关于如何点击这个按钮的问题：
然而，经过一些帮助后，我认为问题在于元素在卷影根中，因此不能像我通常那样访问。
网址：
我已经找到了Python和Java的解决方案，但我想用R selenium来做这件事，任何帮助都将非常感谢。
亲切的问候
浏览 5提问于2021-11-25得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
