如何在Python中使用Selenium和BeautifulSoup4抓取多个URL
在Python中使用Selenium和BeautifulSoup4抓取多个URL的步骤如下：
- 首先，确保已经安装了Selenium和BeautifulSoup4库。可以使用以下命令进行安装：
pip install selenium
pip install beautifulsoup4- 导入所需的库：
from selenium import webdriver
from bs4 import BeautifulSoup- 创建一个WebDriver对象，选择一个合适的浏览器驱动程序，例如ChromeDriver：
driver = webdriver.Chrome('path_to_chromedriver')请注意，需要下载并指定正确的ChromeDriver路径。
- 定义一个函数来抓取URL的内容：
def scrape_url(url):
driver.get(url)
html = driver.page_source
soup = BeautifulSoup(html, 'html.parser')
# 在这里可以使用BeautifulSoup提取所需的数据
# 例如，可以使用soup.find()或soup.find_all()来查找特定的元素
# 并使用元素的属性或文本进行进一步处理
return soup- 定义一个URL列表，包含要抓取的多个URL：
url_list = ['url1', 'url2', 'url3']- 使用循环遍历URL列表，并调用抓取函数来获取每个URL的内容：
for url in url_list:
soup = scrape_url(url)
# 在这里可以对每个URL的内容进行进一步处理- 最后，记得关闭WebDriver对象，释放资源：
driver.quit()这样，你就可以在Python中使用Selenium和BeautifulSoup4抓取多个URL了。请注意，以上代码仅为示例，实际应用中可能需要根据具体情况进行适当的修改和优化。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云主页：https://cloud.tencent.com/
- 腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 腾讯云云数据库 MySQL 版：https://cloud.tencent.com/product/cdb_mysql
- 腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
- 腾讯云人工智能（AI）：https://cloud.tencent.com/product/ai
- 腾讯云物联网（IoT）：https://cloud.tencent.com/product/iotexplorer
- 腾讯云移动开发（移动推送、移动分析等）：https://cloud.tencent.com/product/mobile
- 腾讯云区块链（BCS）：https://cloud.tencent.com/product/bcs
- 腾讯云元宇宙（Tencent Real-Time Rendering）：https://cloud.tencent.com/product/trr
相关·内容
1回答
我一直试图找到一种方法，允许用户在Python的网页上选择一个元素。
在下面的代码中，您可以看到我已经预定义了一个元素。我想要的是用户能够悬停在网页上的元素上，然后单击它，然后返回一个值给python。与铬中的元素选择器非常相似。
这个是可能的吗？任何想法
element = f"#pdp__select-size > li:nth-child({nth}) > button"
(ps我已经导入了BeautifulSoup4和Selenium来帮助抓取的网页)
谢谢
金吉
浏览 5提问于2021-11-16得票数 0
我正在尝试使用selenium和chromedriver从网站“”中抓取数据。当我运行代码时，chromedriver成功地输入了url，但无法加载页面，显示了一个空白页面。我尝试将目标网站切换到google.com，但抓取成功。我的结论是目标网站服务器检测到selenium并拒绝发送回数据。那么如何在Python语言中使用selenium和chromedriver从网站抓取数据呢？我是一个Python初学者，感谢您的帮助。下面是我的简单代码：
from selenium import webdriver
my_driver_path = r"C:\python chrome driv
浏览 0提问于2020-05-29得票数 0
我正在尝试学习使用python进行数据抓取，并且一直在使用请求和BeautifulSoup4库。它适用于普通的html网站。但是当我试图从那些延迟加载数据的网站获取一些数据时，我发现我得到了一个空值。一个例子就是
from bs4 import BeautifulSoup
from operator import itemgetter
from selenium import webdriver
url = "https://www.example.com/;1"
browser = webdriver.PhantomJS()
browser.get(url)
html = b
浏览 4提问于2017-10-04得票数 1
回答已采纳
3回答
如何从html中提取数据
、、、、
我尝试使用beautifulsoup4和python来抓取某个网站。但是，当我尝试查看URL中的内容时，它只给了我一个标题部分，而没有给我想要使用的正文部分。
URL = "url"
URL_page = requests.get(URL)
print(URL_page.text)
这给了我
<!DOCTYPE html>
<html>
<head>
"Contents of Header"
</head>
<body>
<div id='root'></
浏览 1提问于2020-06-11得票数 0
1回答
我在安装BeautifulSoup4时遇到了问题。这是我在木星笔记本中用来导入漂亮汤的代码。
from selenium import webdriver
import beautifulsoup4
import pandas as pd
---------------------------------------------------------------------------
ModuleNotFoundError Traceback (most recent call last)
Cell In [12], line 2
浏览 7提问于2022-11-30得票数 -1
回答已采纳
我在我的windows7 PC.Now中安装了python2.7，我通过.Now找到了两个安装BeautifulSoup4的命令。easy_install beautifulsoup4和pip install beautifulsoup4.But我的困惑是，我必须在哪个目录下运行commands.My python文件夹是C:\Python27。你能帮我在哪里运行那个命令吗？
误差
Microsoft Windows [Version 6.1.7600]
Copyright (c) 2009 Microsoft Corporation. All rights reserved.
C
浏览 0提问于2013-01-03得票数 0
回答已采纳
我正在尝试设置BeautifulSoup4，以便能够运行以下操作：
from bs4 import BeautifulSoup
然而，当我去安装BeautifulSoup4时，我会得到以下内容：
Defaulting to user installation because normal site-packages is not writeable.
Requirement already satisfied: beautifulsoup4 in ./Library/Python/2.7/lib/python/site-packages (4.8.2)
Requirement already
浏览 0提问于2020-03-18得票数 0
回答已采纳
1回答
未找到Pipenv模块
、、、
我已经有一段时间没有用Python进行开发了，看到pipenv进入这个场景，我真的很兴奋。然而，我在使用它时遇到了一些问题。
我安装了pipenv，然后使用了pipenv install beautifulsoup4。我的理解是，这应该已经创建了一个pipfile和一个虚拟环境。所以我启动了pipenv shell。瞧，我的文件在那里，还有美丽的汤。我想做的下一件事是pipenv install selenium。我写了这个非常简短的脚本(我现在正在学习做网络抓取)：
from bs4 import BeautifulSoup
from selenium import webdriver
d
浏览 1提问于2018-03-20得票数 4
回答已采纳
1回答
我正在尝试使用python (请求和BeautifulSoup4库以及Selenium)来抓取数据。
当我试图从网站中获取一些数据时，数据在延迟后加载，它返回一个空值。我明白，对于这个任务，我必须使用WebDriverWait。
import requests
from bs4 import BeautifulSoup
# selenium imports
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import
浏览 0提问于2018-06-24得票数 2
回答已采纳
我正在尝试创建一个web脚本，但是当我运行它时，它给出了这个错误：
import bs4 ModuleNotFoundError: No module named 'bs4'
当我打开我的项目解释器时，bs4和beautifulsoup4已经安装好了。此外，当我运行命令pip install beautifulsoup4时，它显示：
Requirement already satisfied: soupsieve>1.2; python_version >= "3.0" in ./venv/lib/python3.8/site-packages (f
浏览 0提问于2020-12-24得票数 0
2回答
我试着用Beautifulsoup4 python模块通过web抓取来获取网页的标题，它返回了一个字符串“无法接受！”作为标题，但是当我通过浏览器打开网页时，标题是不同的。我试着循环浏览链接列表和所有网页的标题，但是它返回的字符串是“不能接受的！”所有的链接。
这里是python代码
from bs4 import BeautifulSoup
import requests
URL = 'https://insights.blackcoffer.com/how-is-login-logout-time-tracking-for-employees-in-office-done-by
浏览 18提问于2022-03-01得票数 0
回答已采纳
我正在使用Selenium和beautifulSoup4进行抓取。问题是我的脚本有时‘result’是空的，有时不是。我不明白为什么它有时不能工作。是网站的安全问题还是RAM的问题?我不知道
page_source = BeautifulSoup(driver.page_source, "html.parser")
result= page_source.find_all('div',{'class':'pv-profile-section-pager ember-view'})
浏览 4提问于2021-06-09得票数 1
2回答
我已经开始学习如何使用urllib和漂亮汤从网站上抓取信息。我想从这个页面获取所有文本(在代码中)，并将其放入一个文本文件中。
import urllib
from bs4 import BeautifulSoup as Soup
base_url = "http://www.galactanet.com/oneoff/theegg_mod.html"
url = (base_url)
soup = Soup(urllib.urlopen(url))
print(soup.get_text())
当我运行它时，它会抓取文本，尽管它输出的是所有字母之间的空格，但仍然显示H
浏览 0提问于2012-10-18得票数 1
回答已采纳
我正在尝试使用Selenium或BeautifulSoup4从https://www.finishline.com中抓取数据。到目前为止，我还没有成功，所以我向Stackoverflow寻求帮助--希望有人知道如何绕过他们的抓取保护。 我试过使用Beautifulthon4和Selenium。下面是一些简单的例子。 在我的主程序中使用的常规导入： import requests
import csv
import io
import os
import re
from selenium import webdriver
from selenium.webdriver.common.keys
浏览 34提问于2019-04-12得票数 4
回答已采纳
我正在尝试用Python3.3、httplib2和beautifulsoup4抓取雅虎财经网页以获取股票价格数据。代码如下：
def getData (symbol = 'GOOG', period = 'm'):
baseUrl = 'http://finance.yahoo.com/q/hp?s='
url = baseUrl + symbol + '&g=' + period
h = httplib2.Http('.cache')
response, content =
浏览 3提问于2013-03-03得票数 4
2回答
我正在创建一个使用python (beautifulsoup4)的网络抓取器。我想获取" hackerearth“网站的内容，但由于我在heroku (美国服务器)上托管了我的网络爬虫，所以它是在污染美国版本的hackerearth，而不是基于我的国家的版本。所以我想获取基于我的国家的网站版本。 url = "https://www.hackerearth.com/challenges/"
r = requests.get(url)
浏览 39提问于2020-12-20得票数 0
如果我想刮一个需要首先使用密码登录的网站，我如何开始使用beautifulsoup4库使用python来抓取它呢？以下是我所做的网站，不需要登录。
from bs4 import BeautifulSoup
import urllib2
url = urllib2.urlopen("http://www.python.org")
content = url.read()
soup = BeautifulSoup(content)
如何更改代码以适应登录？假设我想刮的网站是一个论坛，需要登录。一个例子是
浏览 12提问于2014-04-16得票数 93
回答已采纳
在我的Python中，我试图抓取最多5个滚动的Twitter页面，但是我的脚本抛出了一个TypeError，声明WebElements不可迭代。任何解决这个问题的方法。
import time
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
path_chromedriver = '/Users/SubrataMohanty/Desktop/chromedriver'
browser = webdriver.Chrome(path_chromedriver)
bas
浏览 3提问于2017-05-16得票数 0
回答已采纳
1回答
我使用Atom (1.53.0)用于使用美丽汤进行网络抓取。
我在行中得到一条错误消息：
from bs4 import BeautifulSoup
内容如下：
ImportError: No module named bs4
在终端中执行以下命令时：
pip install beautifulsoup4
我得到了结果：
Requirement already satisfied: beautifulsoup4 in ./opt/anaconda3/lib/python3.7/site-packages (4.8.2)
Requirement already satisfied: soupsi
浏览 4提问于2021-01-05得票数 2
我正在尝试创建一个python脚本来抓取公共县记录网站。我最终希望能够有一个所有者姓名的列表，脚本运行所有的姓名，并提取最新的信托契约信息(贷款人名称和日期归档)。对于下面的代码，我只是将所有者名称写成字符串‘锚定股票有限公司’。
我已经使用Selenium自动将所有者姓名输入到表单框中，但当按下'return‘按钮并显示我的结果时，网站url不会改变。我尝试使用xpath查找表中的特定文本，但查找时路径并不存在。我的结论是该路径不存在，因为它在第一个页面上搜索xpath，但没有显示结果。BeautifulSoup4在这种情况下不起作用，因为解析url只会返回一个空的搜索表单html
浏览 0提问于2016-10-25得票数 1
1回答
我需要一个网络抓取专家的帮助。我试图从这个网站的视频标签中获得src。当我试图使用selenium或beautifulsoup4来捕获它时，它似乎不存在。find_elements返回一个空列表。这个“//*@id=”player“/div2 2/div2 3/video”是safari中检查元素中该元素的XPATH。我可以在检查网页时看到它，但我不能刮它。我也尝试过使用find_element("src")方法，但没有成功。它抛出一个异常，表示没有找到这样的元素。
这是我的密码：
from selenium import webdriver
from selenium.web
浏览 1提问于2022-11-18得票数 0
我最近开始对通过python库beautifulsoup4进行网络抓取感兴趣，我的目标是获取有关新冠肺炎案例的数据(在摩洛哥是一个良好的开端)；我的信息所在的网站是："“有一个包含所有信息的大表，我尝试这样做：
U = 'https://www.worldometers.info/coronavirus/'
response = requests.get(U)
html_soup = BeautifulSoup(response.text, 'html.parser')
info = html_soup.find_all('tr', cl
浏览 0提问于2020-10-16得票数 0
回答已采纳
1回答
我想问一下，在您看来，是否有可能用beautifulsoup4刮掉genius.com的评论。我问这个问题是因为当我用bs4抓取页面时，我找不到注释的部分，因为它们在一个可扩展的容器后面。如果我从浏览器中查看页面的html，即使我没有点击“展开”按钮，也可以看到注释，但是当我用bs4抓取时，我在html源代码中找不到它们。
我怎样才能解决这个问题？有一种方法可以用bs4刮掉评论吗？还是我应该用硒？(我想避免使用selenium，因为我必须刮掉很多数据，而且使用selenium，这可能太慢了)。
浏览 2提问于2021-12-15得票数 -1
我在/usr/bin/python中有原始的python2.7.5，我通过在/usr/local/bin/python3中下载python3.5.1包安装了Python3，然后我安装了BeautifulSoup4，如下所示：
sudo easy_install BeautifulSoup4
Searching for BeautifulSoup4
Best match: beautifulsoup4 4.4.1
Processing beautifulsoup4-4.4.1-py2.7.egg
beautifulsoup4 4.4.1 is already the active version
浏览 0提问于2016-02-21得票数 2
回答已采纳
我是Python和Selenium的新手。我正在尝试做一些事情--我相信我正在以一种非常绕来绕去的方式--任何帮助都是非常感谢的。
我试图解析的页面有不同的卡片需要点击，我需要转到每一张卡片，并从那里获取名称(h1)和url。我还没有走得很远，这就是我到目前为止所做的。
我浏览第一页，抓取所有urls，将它们添加到一个列表中。然后我想浏览一下列表，转到每个url (打开一个新标签)，然后从那里抓取h1和url。看起来我甚至不能抓取h1，它打开一个新的标签，然后挂起，然后打开相同的标签。
提前谢谢你！
from selenium import webdriver
from selenium.
浏览 1提问于2020-10-29得票数 0
Docker代码
# Import Ubuntu image to Docker
docker pull ubuntu:16.04
docker run -it ubuntu:16.04
# Instsall Python3 and pip3
apt-get update
apt-get install -y python3 python3-pip
# Install Selenium
pip3 install selenium
# Install BeautifulSoup4
pip3 install beautifulsoup4
# Install library for
浏览 4提问于2017-10-07得票数 2
我正在浏览Selenium WebDriver的文档，例如，它可以驱动Chrome。我在想，“驾驶”PhantomJS不是更有效率吗？
有没有一种方法可以在PhantomJS中使用Selenium？
我的预期用途是web抓取:我抓取的网站加载了AJAX和许多可爱的JavaScript，我认为这个设置可以很好地替代我目前正在使用的Scrapy Python框架。
浏览 4提问于2012-06-27得票数 35
回答已采纳
目前，我正在使用Android和BeautifulSoup开发一个网络抓取应用程序。我如何实现？
从bs4导入BeautifulSoup
像我在Python中一样进入Android Studio吗？
我的build.gradle是
python {
buildPython "C:/Python38/python.exe"
pip{
install "bs4"
install "beautifulsoup4"
install "requ
浏览 2提问于2021-12-03得票数 3
回答已采纳
我想编辑一个使用re.compile来抓取数据的Kodi插件，并让它使用BeautifulSoup4。
原始代码如下：
import urllib, urllib2, re, sys, xbmcplugin, xbmcgui
link = read_url(url)
match = re.compile('<a class="frame[^"]*"'
' href="(http://somelink.com/section/[^"]+)" '
浏览 6提问于2016-03-22得票数 1
回答已采纳
1回答
我试图刮刮公司名称，邮政编码，电话号码和网页地址：发现很困难，因为信息只有在点击页面上的区域时才能检索到。如果有人能帮忙的话，我会非常感激的。对于Python来说都是非常新的，特别是抓取！
!pip install beautifulsoup4
!pip install urllib3
from bs4 import BeautifulSoup
from urllib.request import urlopen
url = "https://www.matki.co.uk/matki-dealers/"
page = urlopen(url)
html = page.re
浏览 6提问于2022-08-22得票数 0
我需要实现一个数据抓取任务，并从动态图中提取数据。该图表随时间更新，类似于您查看公司股票的图表时会发现的情况。我正在使用python中的请求和beautifulsoup4库，但我只知道如何刮取文本和链接数据。我似乎不知道如何将图形的值输入csv文件
所讨论的图表可在- 中找到。
浏览 3提问于2014-11-12得票数 1
回答已采纳
1回答
从HTML iframe检索数据
、、、、
我一直试图使用Selenium和BeautifulSoup4访问BeautifulSoup4中的数据，但没有成功。
我想检索中显示的数据。
你有什么意见建议？
浏览 2提问于2021-10-29得票数 0
回答已采纳
1回答
因此，我使用python和beautifulsoup4(我没有绑定)来抓取一个网站。问题是当我使用urlib获取页面的html时，它不是整个页面，因为其中一些是通过javascript生成的。有什么办法可以绕过这件事吗？
浏览 0提问于2014-03-28得票数 5
回答已采纳
我是一个非常新手在python和现在建立了一个在Selenium的网络抓取器，将采取所有的URL的产品在点击‘标签’在网页上。但我的代码从第一个“tab”中获取URL。下面的代码。谢谢你们。我开始有点沮丧了，哈哈。
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium
浏览 0提问于2021-03-24得票数 2
我在selenium 3中查找了python文档，但仍然无法理解这两种不同的驱动程序调用之间的区别。
webdriver.Firefox()
和
webdriver.Firefox(<path to gecko executable >)
什么时候使用Selenium？
因为我正在做一个网络抓取项目，这对我有很大的帮助。
浏览 0提问于2018-09-06得票数 0
我正在尝试使用python和selenium来抓取这个网站。然而，我所需要的所有信息都不在主页上，所以我如何单击“应用程序编号”列中的链接，一个接一个地转到该页面，然后刮掉信息，然后返回原始页面？
我试过：
def getData():
data = []
select = Select(driver.find_elements_by_xpath('//*[@id="node-41"]/div/div/div/div/div/div[1]/table/tbody/tr/td/a/@href'))
list_options = select.optio
浏览 2提问于2018-09-11得票数 0
回答已采纳
2回答
我刚接触Python，我发现在python中理解日志的整个概念真的很难。我目前正在使用Python3做这个web抓取项目。我使用了BeautifulSoup4来帮助我:下面是我写的代码：
from bs4 import BeautifulSoup
import urllib3
import urllib.request
web = "https://docs.python.org/3/howto/logging-cookbook.html"
page = urllib.request.urlopen(web)
soup = BeautifulSoup(page)
浏览 0提问于2017-04-22得票数 1
我试图使用Python和BeautifulSoup4来抓取一个网站，下面是我的代码：
import requests
import bs4
result = requests.get("https://wolt.com/en/svk/bratislava/restaurant/la-donuteria-bratislava")
soup = bs4.BeautifulSoup(result.content,"html5lib")
for i in soup.find_all("div", {"class": re.compile(
浏览 1提问于2022-02-15得票数 0
1回答
我正在尝试使用Orange中的BeautifulSoup4从同一网站抓取的URL列表中抓取数据。 当我手动设置URL时，我已经成功地从单个页面中抓取了数据。 from urllib.request import urlopen
from bs4 import BeautifulSoup
import requests
import csv
import re
url = "https://data.ushja.org/awards-standings/zone-points.aspx?year=2021&zone=1§ion=1901"
req =
浏览 21提问于2021-07-23得票数 1
回答已采纳
1回答
我正在尝试抓取在页面的div中找到的表。
到目前为止，我基本上是这样尝试的：
# NOTE: Download the chromedriver driver
# Then move exe file on C:\Python27\Scripts
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWa
浏览 14提问于2016-09-19得票数 3
回答已采纳
我正在尝试制作一个自定义的索引检查实用程序来检查哪些URL已经被Google使用Python和selenium进行了索引
我需要获得谷歌搜索结果，以便我可以检查查询的网址是否存在于结果中。我能够得到50到60个结果之前，谷歌验证码。
下面是我关心的代码
options = webdriver.FirefoxOptions()
options.set_headless()
driver = webdriver.Firefox(executable_path=r'./geckodriver', firefox_options=options)
urls = [line.stri
浏览 2提问于2021-04-10得票数 0
我试图使用BeautifulSoup4和请求来抓取xml页面中的数据，但是我似乎无法打印结果。我没有收到错误，但没有打印数据。
import time
import requests
from bs4 import BeautifulSoup
url = "website.com?xml=1"
result = requests.get(url)
content = result.content
soup = BeautifulSoup(content, "html.parser")
steamID = soup.find_all("x")
浏览 0提问于2018-05-12得票数 1
回答已采纳
我希望有人能够帮助我在Google Colab中使用python中的selenium来选择弹出下拉菜单选项。 网址是：http://www.neotroptree.info/data/countrysearch 该网站允许按地理位置进行搜索。一旦你在域名框中输入一个搜索词(这里我使用的是搜索词'Cerrado')，就会出现一个带有域名匹配的下拉菜单。如果单击Cerrado下拉选项，网页将显示该搜索的所有数据结果。 这样做的最终目标是从这些数据结果(例如，纬度、经度等)中抓取文本信息。由于没有与域搜索关联的唯一URL，因此我认为获取搜索URL的唯一方法是使用python &am
浏览 36提问于2021-01-26得票数 0
我尝试用Selenium和BeautifulSoup4抓取动态加载的href属性。 当我查看-source网站时，href属性是空的，但当我单击inspect元素时，href属性将有一个链接。意味着href属性是动态加载的。如何提取该链接？ 我正在尝试以下代码 def Scrape_Udemy():
driver.get('https://couponscorpion.com/marketing/complete-guide-to-pinterest-pinterest-growth-2020/')
content = driver.page_source
浏览 42提问于2020-08-09得票数 0
回答已采纳
我使用beautifulsoup和requests运行了一个python程序来抓取嵌入的视频URL，但是要下载这些视频，我需要绕过一个广告弹出窗口，javascript重新加载，直到m3u8文件开始出现在网络流量中；
因此，我需要模拟单击以到达javascript重新加载(如果有比selenium更好的方法，尝试减少脚本依赖)，然后当m3u8文件出现时，我需要获得它们的url。
浏览 6提问于2019-12-07得票数 0
1回答
我想用Python脚本将表中的数据保存到Excel文件中，这也不是问题。然而，该网站的源代码并不包含任何我想要的价值。如果我使用Chrome插件"DataMiner"，它可以读出数值。我如何在Python中实现这一点？在图片中，显示了我想要抓取的数据。不幸的是，这些数据并没有包含在源代码中。
from selenium import webdriver
import time
from bs4 import BeautifulSoup
import requests
url = 'https://herakles.webuntis.com/WebUntis/monit
浏览 6提问于2021-12-03得票数 0
2回答
我试着用python 3在cli中运行漂亮的汤，这样我就可以四处游玩，找出如何最好地使用它。我是通过pip安装的。
pip3 list
显示
Package Version
-------------- -------
beautifulsoup4 4.8.0
但是，当我运行python3 CLI并尝试导入漂亮的汤来玩时，我会得到一个错误：
>>> import beautifulsoup4
Traceback (most recent call last):
File "<stdin>", line 1, in <mo
浏览 1提问于2019-09-19得票数 0
回答已采纳
2回答
我想做一个爬虫收集一些信息从一个网站。为此，我使用Python和Selenium。问题是不能用类名找到元素，而是可以使用XPATH找到元素。我为此使用的代码如下所示：
HTML：
<h1 class="txt-h4 clr-900 lf-2">
Xiaomi Redmi Note 11 Dual SIM 128GB And 6GB RAM Mobile Phone
</h1>
Selenium XPATH：(工作解决方案)
product_name = driver.find_element(By.XPATH, "/html/body/div[1
浏览 11提问于2022-10-14得票数 -1
回答已采纳
这里是Python新手。
我正在练习并尝试使用BeautifulSoup4从表中抓取一些数据，然后将其传输到Excel表中。做了几个小时，终于开始寻求帮助了。
我不断地发现错误：
'NoneType‘对象没有属性’查找‘
from bs4 import BeautifulSoup
import requests, openpyxl
# Scrape data from inmotion.dhl
try:
url = requests.get('https://inmotion.dhl/en/formula-1/fastest-pit-stop-award')
浏览 4提问于2022-09-27得票数 -1
我正在学习python中的网络爬行和抓取。我想要抓取数据，在一个网站上有链接，而在这些链接里面有更多的链接。所以我想抓取数据直到预定义的级别n。这是我的基本代码 import requests
from selenium import webdriver
from requests_ntlm import HttpNtlmAuth
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time
from bs4 import BeautifulSoup
from
浏览 40提问于2019-12-17得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
