Python抓取-我的代码没有继续找到其他元素
Python抓取是指使用Python编程语言来实现网络数据的爬取和提取。它可以通过模拟浏览器行为，访问网页并提取所需的数据，可以用于数据分析、数据挖掘、机器学习等领域。
Python抓取的优势包括：
- 简单易学：Python语法简洁清晰，上手容易，适合初学者。
- 强大的库支持：Python拥有丰富的第三方库，如BeautifulSoup、Scrapy等，可以方便地进行网页解析和数据提取。
- 多线程和异步支持：Python提供了多线程和异步编程的支持，可以提高抓取效率。
- 跨平台：Python可以在多个操作系统上运行，包括Windows、Linux和MacOS等。
Python抓取的应用场景包括：
- 数据采集：可以用于抓取各类网站的数据，如新闻、商品信息、社交媒体数据等。
- 数据分析：抓取网页数据后，可以进行数据清洗、处理和分析，用于生成报告、预测趋势等。
- 网络监测：可以抓取网站的变化，监测网站的更新情况、竞争对手的动态等。
- 自动化测试：可以模拟用户行为，进行网站的自动化测试，检查网站的功能和性能。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云服务器（CVM）：提供弹性计算能力，支持多种操作系统，适用于部署Python抓取程序。详细介绍请参考：https://cloud.tencent.com/product/cvm
- 腾讯云对象存储（COS）：提供高可靠、低成本的对象存储服务，适用于存储Python抓取的数据。详细介绍请参考：https://cloud.tencent.com/product/cos
- 腾讯云数据库（TencentDB）：提供多种数据库类型，如MySQL、Redis等，适用于存储和管理Python抓取的数据。详细介绍请参考：https://cloud.tencent.com/product/cdb
- 腾讯云函数（SCF）：提供无服务器的函数计算服务，可以用于部署和运行Python抓取程序。详细介绍请参考：https://cloud.tencent.com/product/scf
总结：Python抓取是使用Python编程语言进行网络数据爬取和提取的技术，具有简单易学、强大的库支持、多线程和异步支持、跨平台等优势。它可以应用于数据采集、数据分析、网络监测、自动化测试等场景。腾讯云提供了多个适用于Python抓取的产品，如云服务器、对象存储、数据库和函数计算等。
相关·内容
1回答
我正在python中处理selenium，我想要抓取所有页面，但我遇到了麻烦:以下是我想要单击的元素： ? 我正在使用下面的代码： link=driver.find_element_by_link_text ('2')
link.click() 但它会点击另一个元素 Deos有没有其他方法来获取下一页？
浏览 22提问于2021-03-25得票数 0
嗨，我已经成功地通过使用Python和正则表达式抓取了一些购物网站的所有页面。但现在我遇到了麻烦，要抓取某个特定网站的所有页面，该网站的下一页后续链接不存在于当前页面中，就像这里的
本网站通过Ajax调用动态加载同一页面中的下一页数据。所以在抓取的时候，我只能抓取第一页的数据。但我需要抓取该网站所有页面中的所有项目。
我没有办法获得这些类型的网站的所有网页的源代码，其中下一页的后续链接在当前页面不可用。请帮我解决这个问题。
浏览 0提问于2013-05-28得票数 0
1回答
我很难通过Python登录到一个使用Selenium的网站。
作为学习过程的一部分，我尝试用Python从美国航空公司( American )抓取我的账户活动。这需要登录，这就是我的代码(见下面)失败的地方。所有表单字段都被填充，但是，当我提交时，页面似乎只是刷新和清除我的条目。
我做过的检查：
登录信息是正确的。我已经手动登录了。
我在睡觉的时候玩过不同长度的游戏。未获成功
进入前已清空。未获成功
运行代码，直到(但不包括) submit()行，然后手动单击“登录”按钮。登录仍然失败。这让我觉得这些字段被错误地填充了，但是我看不出问题在哪里。
提前感谢您的帮助！
fr
浏览 5提问于2017-12-19得票数 0
回答已采纳
1回答
我需要能够从“纽约时报”()上摘取许多特定类别文章的内容。例如，假设我们想看所有与“恐怖主义”相关的文章。我会转到这个链接查看所有的文章：
从这里，我可以点击个别的链接，这指示我到一个URL，我可以刮。我使用来帮助我检索文章文本。
下面是我到目前为止掌握的代码，它允许我从一篇特定的文章中抓取所有文本：
from bs4 import BeautifulSoup
session = requests.Session()
url = "https://www.nytimes.com/2019/10/23/world/middleeast/what-is-going-to-happen-t
浏览 1提问于2019-11-05得票数 1
如果我想要类的第一次使用，所以我不必猜测find_elements_by_xpath()，那么我的选项是什么？目标是编写更少的代码，确保对我正在抓取的源代码的任何更改都可以很容易地修复。能不能从本质上
find_elements_by_css_selector('source[1]')
但是，这段代码不起作用。
我在Python中使用selenium，很可能会使用phantomJS作为webdriver (用于测试的火狐)。
浏览 1提问于2013-08-04得票数 1
回答已采纳
1回答
我想制作一个能与Symbolab交互的python。这是一个。我尝试使用请求库和HCTI库示例将页面呈现为图像。每当我这样做时，页面就会松开它的格式。我对网络抓取是新的，但我想这是由于css没有呈现，因为我只是抓住了html。我有没有办法保存像Symbolab这样的站点的图像文件，使页面呈现为web浏览器(所有方程都是可读的，等等)？
浏览 4提问于2022-04-28得票数 -1
mytubeid标记(如<iframe src="/portal/corporateEventsCalendarIframe.html" mytubeid="mytube1" width="820" height="1600" frameborder="0"/>)在iframe中做什么？
请注意，iframe中没有id或其本身！
如何在代码中引用它？我正在使用python+selenium+scrapy构建一个tool抓取工具。
浏览 5提问于2017-03-07得票数 0
回答已采纳
我正在使用python做一个项目，使用requests HTML进行web抓取，我遇到了一个问题，在我试图抓取的网站上，HTML的一部分在两个地方的结构是相同的(一个用于移动设备，另一个用于桌面)。当我使用.find()方法时，它会同时获取这两个参数。区分它们的唯一方法是通过它们上面的div的id。有没有人知道有没有一种方法可以搜索另一个元素之上的元素，有点像.find()的对立面。
浏览 20提问于2019-07-04得票数 0
我试图从这个中抓取一些html代码，现在当我打印所有内容时，一些链接(我只想要“目录”和“打印机友好版本”)在href内有这个字符串："../etc“。当我要打印抓取的代码时，我需要用全局路径替换href的本地路径，这样我就可以点击抓取的链接到达正确的网页。如果请求的操作没有用处，有没有办法在我需要处理的href中写入正确的路径？
#!C:/Python27/python
from lxml import etree
import requests
q = "http://www.dlib.org/dlib/november14/giannakopoulos/11gianna
浏览 0提问于2015-09-15得票数 1
我一直在努力抓取一个站点，它通常有10到12个DIVs，具有相同的类名。当点击这些DIVs中的任何一个时，它会转到一个新的页面。我想从该页面中抓取数据，然后导航回上一页，然后单击下一个div，以此类推。
但我不明白，当我回到上一页时，如何点击下一个div呢？
任何帮助都将不胜感激。
matches = browser.find_elements_by_class_name('ipo-CompetitionBase ')
index = 0
while index <= len(matches):
matches[index].click()
browser
浏览 2提问于2016-06-12得票数 2
回答已采纳
1回答
我是一名学生，正在用Ruby做我的第一个CLI项目，我正在尝试用Nokogiri抓取一个网站。该网站的内容并没有严格地组织到它们自己的classes/id中，但是有一些信息我就是搞不懂如何抓取。它看起来是这样的：
<p>
<strong> First Aired:</strong>
"2017 | "
<strong> Episodes:</strong>
" 24"
<br>
我想知道是否有一种方法可以抓取每个"Ep
浏览 5提问于2020-10-03得票数 0
我写了一个脚本来做一些网页抓取。网页上有javascript，所以在使用PyQT5抓取所需内容之前，我使用BeautifulSoup来呈现页面。
但是，我有很多页面要抓取(超过10,000页)，我试图将内容存储在一个dict中，然后将其转换为json文件。我试图周期性地定期编写json文件，因为我认为由于刮伤的数量，dict变得太大了。还收到了出口代码。
在另一个线程中，有人建议更新视频卡驱动程序(不知道为什么会影响我的Python脚本，但我尝试了一下。没有进展。
浏览 0提问于2018-10-27得票数 0
我试图弄清楚Python如何知道如何删除字符串两端的空格。下面是我所指的代码，这是我尝试重新创建条带()函数的第一步：
#! python3
#myStrip.py - I will be recreating the strip function in python
import re
def stripFunc(stringToStrip,character):
if character == '':
whiteSpRegex = re.compile(r'^\s+|\s+$')
finishedStrin
浏览 3提问于2020-07-23得票数 0
回答已采纳
1回答
我正在使用Selenium在一个抓取项目中导航页面。这是HTML：
<input type="hidden" id="day_nr" value="2"/>
<div id="js-table" class="js-table table">
Day 2 of 2
<div class="js-pager">
<input id="myCustomUrl" name="myCustomUrl"
浏览 15提问于2020-02-22得票数 1
回答已采纳
我正在抓取一个网站，那里有链接，这些链接已经有了孩子，他们的孩子生下了自己的孩子。孩子们也会生出他们自己的孩子。我希望我的代码停留在循环中。抓取链接，然后在a中找到链接，然后将它们存储在列表中，跟踪子链接，抓取详细信息，然后继续到最后。然后从b开始，接着是一代代的孩子和他们的孩子。然后转到c，做同样的事情。我的问题是，我如何在python中做类似的事情，同时又停留在循环中。如果有人遇到了这样的问题，请您帮助建议您将如何着手，以及最好的策略是什么。下面是一棵树，用来描绘这些关系。 父母= a，b，c a_children = [e, f, g]
e_children = [h, j
浏览 13提问于2021-10-04得票数 1
2回答
我很纠结于尝试抓取一个网站(使用Python/Selenium)，其中包含部分JS构建的链接和内容。在我的例子中，我想要获取的链接如下：{{link_ID}}
因为不能直接抓取这个URL，所以我的Python代码如下所示：
def URL_from_JS (URL):
driver = webdriver.PhantomJS(executable_path=r'C:\###\phantomjs-2.1.1-windows\bin\phantomjs.exe')
driver.get(URL)
link = driver.find_element_by_
浏览 2提问于2016-04-12得票数 2
2回答
仅剪贴式正文文本
、、、
我尝试使用python Scrapy从正文中抓取文本，但还没有成功。
希望一些学者能够在这里帮助我从<body>标记中抓取所有的文本。
浏览 1提问于2011-03-22得票数 9
回答已采纳
我正在尝试使用Beautifulsoup在Indeed.com上通过网络抓取招聘信息。但是，当我抓取URL时，返回的HTML与我在Google Chrome中手动转到URL，然后查看HTML时看到的HTML不同。
这会导致我的应用程序获得一些不在我试图抓取的网页上的招聘信息。
例如，当我抓取时，我的程序找到以下公司名称：
[['Nordic Tech House',
'Beaubi',
'NO COMPANY NAME AVAILABLE',
'National Pen',
'SWEDISH STOCKIN
浏览 0提问于2019-07-10得票数 2
1回答
从互联网上抓取XML文件，并将其数据输入数据库。它的大部分都运行得很好。但我对具有相同名称但附加了不同值的xml标记有一个问题。
因此，我们有一个这样的xml文件：
<Overtag>
<Tag> Name </Tag>
<SubTag> TextSubTag </SubTag>
<TagWithValue value="SomeValue"> TextTagWithValue </TagWithValue>
</Overtag>
<Overtag>...
浏览 4提问于2016-09-11得票数 0
尝试抓取与下面的链接类似的页面，页面不会立即加载所有结果-它会等待您滚动到页面末尾，然后再加载更多结果。因此，当下面的代码运行时，它只获取到目前为止加载的结果(本例中20,000个结果中有16个)。
现在使用以下基本代码：
require(relenium)
require(XML)
firefox=firefoxClass$new()
url="https://www.rbauction.com/search?id=ar®ion=Europe&s=YXI3fE49NDI5NDk1NzE5MCs0Mjk0MjM4MzMy"
url=sprintf(url
浏览 1提问于2014-04-02得票数 1
1回答
我是Python的Selenium新手。我正在尝试抓取一些数据，但我不知道如何解析这样的命令的输出：
driver.find_elements_by_css_selector("div.flightbox")
我试着用谷歌搜索一些教程，但是我没有发现任何关于Python的东西。
你能给我个提示吗？
浏览 14提问于2015-06-19得票数 4
回答已采纳
2回答
似乎所有在鼠标下检索元素的方法都与Visual Hit测试有关。
有没有什么机制可以让我抓取代表HitTest返回的当前可视化树的实际UIElement？
总结我正在做的事情：
我有一个自定义的工具提示类，它依赖于根据鼠标所在的UIElement执行某些操作。
简单地说，它挂接到所属窗口的PreviewMouseMove事件并更新“当前项”。此当前项应表示鼠标当前位于其上方的UIElement。
不幸的是，我在使用Mouse.DirectlyOver、VisualTreeHelper.HitTest (包括回调)时遇到的所有问题都不起作用。
有谁能提供一些关于如何在Window的MouseMo
浏览 4提问于2013-05-13得票数 4
1回答
我正在遍历一些页面，从<a>标记中抓取文本。我使用的是python 3.7。 一切都运行得很顺利，除了一个页面，它没有我抓取的<a>标签。我希望能够从每个页面的<a>标记中抓取所需的文本，并在没有该标记的页面之后继续执行脚本。 我试图通过使用“if else None”语句来绕过这个问题。但我一直没能让它起作用。 这会导致属性错误：'NoneType‘对象没有属性'a’ p = indaplaybox.div.a
P_O = p.text if p else None
print(P_O) indaplaybox的普通HTML如下所示： &
浏览 16提问于2019-01-06得票数 0
回答已采纳
7回答
Python有提供JavaScript支持的屏幕抓取库吗？
我一直在使用pycurl来处理简单的HTML请求，对于需要JavaScript支持的更复杂的请求，使用了Java的HtmlUnit。
理想情况下，我希望能够从Python中完成所有事情，但我还没有遇到任何允许我这样做的库。它们存在吗？
浏览 8提问于2010-02-03得票数 14
回答已采纳
1回答
我试图刮一个网页，在那里需要寻找一些ID。我在Selenium驱动程序中使用Python。
为了访问搜索屏幕，我尝试找到“搜索”按钮并点击它。我尝试过许多方法来完成这个任务，但是在Python中我总是得到一个异常。我过去经常用VBA IE抓取来调用这些链接，这真的很容易。
当检查Chrome上的HTML时，元素如下：
"a target="content" href="search/search/BaseFormular.start"
id="Search.Customer" onmouseover="nav_enter(
浏览 4提问于2022-07-11得票数 0
1回答
我正在使用BeautifulSoup从这个网站上抓取
我不想在我的输出中看到那些被支持的列表：
我的代码：
for o in soup.findAll('div', attrs={"class": "block-wrapper"}):
for de in o.findAll("li"):
if de != []:
de=remove_tags(str(de))
print (de)
python中的输出：
浏览 4提问于2020-03-05得票数 0
回答已采纳
我正在学习使用Python Selenium和BeautifulSoup进行web抓取。目前，我正在尝试抓取谷歌搜索趋势上的热门搜索
这是我当前的代码。然而，我意识到完整的html没有下载，我只有最近几个日期的内容。我能做些什么来纠正这个问题？
from selenium import webdriver
from bs4 import BeautifulSoup
googleURL = "http://www.google.com/trends/hottrends#pn=p5"
browser = webdriver.Firefox()
browser.get(googl
浏览 1提问于2013-05-17得票数 15
4回答
错误时停止
、、
在python中，我使用selenium来抓取网页。有一个按钮，我需要反复点击，直到没有按钮。到目前为止，我的代码如下：
count = 20
while count:
driver.find_elements_by_class_name('buttontext')[0].click()
count-=1
问题是，我实际上不知道我需要做多少次- count = 20是不正确的。我真正需要的是让它继续运行，直到命令遇到错误(IndexError: list index out of range)，然后停止。我该怎么做？
浏览 0提问于2015-09-15得票数 0
回答已采纳
4回答
对于ERP系统中的每个供应商(供应商总数#= 800+)，我将收集其数据，并将此信息导出为pdf文件。我在Python中使用Selenium，创建了一个名为刮板的类，并定义了多个函数来自动化这个任务。函数gather_vendors负责抓取，并通过从标记元素中提取文本值来做到这一点。
每个供应商都有一个叫做的部门。EFT Manager有9行是我要从其中提取的：
对于#2和#3，两者都有字符串值(删除机密信息)。但是，#3返回null。我不明白为什么在要提取文本值时，#3继续返回null。
每个元素的代码格式是相同的。
我试着转换帧，但那不起作用。我试着从编辑模式中抓
浏览 1提问于2018-08-23得票数 0
回答已采纳
我正在用python中的butifulsoup module进行抓取。
我的守则：
for cactus in cactus_product:
price = cactus.find("span", class_="._89yzn").text
title = cactus.find("span", class_="._2tW1I").text
f.write(title + "," + price)
错误
Traceback (most recent call last):
File
浏览 2提问于2021-04-29得票数 0
回答已采纳
我正在抓取一个网页，以获取URL，然后使用它们来抓取一堆信息。我想避免总是复制和粘贴，但是我找不到如何使get()与对象一起工作。代码的第一部分运行得非常好，但是当我到达试图获取url的部分时，会得到以下错误消息：
Traceback (most recent call last):
File "/Users/rcastong/Desktop/imgs/try-creating-object-url.py", line 61, in <module>
driver4.get(urlworks2)
File "/Users/rcastong/
浏览 5提问于2022-02-26得票数 1
回答已采纳
1回答
不久之前，我才开始学习python，我希望更多地了解我导入的模块的功能和方法是如何工作的。
我希望python库类似于javascript框架--在这里，我可以进入一个导入的文件，查看构建框架/模块的实际代码。
但是当我在python子目录中搜索时，我发现模块是.lib格式的。
那么，标准库模块是实际的python代码，我可以以某种方式检查它的功能吗？或者它们太深，我无法像这样研究它们？
顺便提一句，对于非标准的图书馆进口，也就是漂亮汤，同样的规则会适用吗？我希望通过查看代码来了解webscraping是如何从底层抓取的。
谢谢
浏览 1提问于2014-07-02得票数 3
回答已采纳
我正在使用Python3中的Selenium WebDriver来抓取/，并试图获取“出发航班”目录中的价格列表。这个div没有ID，也没有CSS类名，所以我尝试通过XPath识别它。在粘贴板上，找到我所说的div，Ctrl +F <div class="">。
下面是我的代码：
outbound_fares = browser.find_elements_by_xpath("//*[@id='air-booking-product-0']/div[4]")
outbound_prices = outbound_fares.find_
浏览 0提问于2018-04-15得票数 0
4回答
我需要从这个网站上抓取新闻公告，。公告似乎是动态生成的。它们不会出现在源代码中。我通常使用机械化，但我认为它不会工作。我能为此做些什么呢？我可以使用python或perl。
浏览 0提问于2011-11-30得票数 2
回答已采纳
我正在编写一个Python程序来提取锚标与hrefs匹配某个正则表达式模式从卖家页面。
例如，我的第一个以字母'A‘开头的卖家URL如下：
现在，我想要的是让所有的产品链接由上面的卖家通过抓取下面模式下的hrefs的锚标签来销售。
但是来自第一个URL的产品列表分布在多个页面上。
假设我正在使用Python2.7和XPath1.0字符串函数以及regex，我该如何处理分页符呢？
注意:我使用的是Chrome版本60.0.3112.113 (官方版本)(64位)
浏览 1提问于2017-09-13得票数 1
1回答
所以让我们想象一下，我有一个网站，它有这样的代码：
<input class="js-search-input" type="text" name="q" (and some other useless attribute here)>
我想要做的是写一段代码来抓取这个网站并识别这个输入(在本例中使用CSS选择器很容易做到这一点)，并且我希望它为我在输入标记中键入类型的。注意，我不想提交页面，我只想在那里键入单词！我已经刮了这个网站，这是相当容易，但这部分真的挑战我，因为我也没有找到具体的谷歌/youtube的答案。
谢谢你提前提供
浏览 1提问于2021-04-01得票数 0
回答已采纳
7回答
我最近下载并安装了Python3.9，因为我想运行一个网站抓取器，以便更容易地组织在网上找到的食谱。然而，当我尝试运行pip时，它说它无法识别它(我也尝试过编辑路径，但我找到的每个视频或站点都有不同的信息)。
即使对我的Python版本进行基本检查也没有结果：
我已经卸载并重新安装了Python3.9，但是没有用。在我的python文件中也没有脚本文件，我的计算机似乎甚至没有意识到安装了Python。
浏览 0提问于2020-10-24得票数 6
目前，我正在我的python抓取项目中使用beautifulSoup。但是，在我需要抓取的页面中，我需要与javascript元素交互。所以我被迫使用selenium (我不太熟悉)。到目前为止，这是我的代码：
from selenium.webdriver import Firefox
from selenium.webdriver.firefox.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expec
浏览 0提问于2020-12-27得票数 0
回答已采纳
1回答
在python中使用Selenium时，我遇到了一点问题。有一个我正在抓取的页面，我正在访问一个父元素的子元素。然而，每次我运行脚本时，并不总是保证我能够获得孩子。
举个例子，我有：
filters = driver.find_element_by_class_name("classname")
filters_children = filters.find_elements_by_class_name("anotherclassname")
我打印出filters_children1只是为了确认一下。
大约60%的代码会运行得很好，并且filters_chi
浏览 2提问于2019-03-07得票数 0
2回答
我正在抓取一个包含以下内容的HTML页面：
<table border=1 class="searchresult" cellpadding=2>
<tr><th colspan=2>Last search</th></tr>
<tr><th align=left>Search term</th><td>xxxxxx</td></tr>
<tr><th align=left>Result</th><t
浏览 0提问于2011-08-13得票数 1
回答已采纳
你好，这是我想要从使用BeautifulSoup抓取第一个链接的代码。
视图-来源：
我想要抓取这里的第一篇文章，所以它应该是"Trust Wallet Now Supports Lumens，4 More Tokens“
我正在尝试使用Python来实现这一点。
我使用这个代码，但是它抓取了所有的链接，我只想抓取第一个链接
with open('binanceblog1.html', 'w') as article:
before13 = requests.get("https://www.binance.com/en/blog"
浏览 33提问于2019-03-28得票数 0
1回答
我是，在python中使用漂亮的using和Selenium来抓取网。在ubuntu中，当我运行像python3 filename.py这样的python文件时，我无法在同一个终端中执行其他一些任务，直到那个python脚本完成它的执行。
有没有任何方法可以让我从终端运行python文件，然后使它独立于它。这样，当python文件在后台执行时，我可以在同一个终端上工作。
我将感谢你的回应。
浏览 2提问于2020-04-18得票数 1
回答已采纳
1回答
我正在学习python，在抓取一个web之后，我不太理解响应格式。为什么我没有得到作为这个代码的响应？
import requests
from bs4 import BeautifulSoup
quote_page = 'https://www.bloomberg.com/quote/SPX:IND'
page = requests.get(quote_page).text
soup = BeautifulSoup(page, "lxml")
price_box = soup.find('span', class_="pric
浏览 0提问于2019-08-10得票数 0
回答已采纳
4回答
我一直在做研究，到目前为止，我发现了python包，我将计划使用它的，现在我试图找出一个好方法来建立一个好方法来建立一个刮板使用抓取无限滚动网站。在深入研究之后，我发现有一个名为selenium的包，它有python模块。我有一种感觉，有人已经这样做了，使用Scrapy和来抓取无限滚动网站。如果有人能指出一个例子，那就太好了。
浏览 2提问于2014-03-28得票数 9
我正在尝试使用python中的selenium和chromedriver从网站中抓取数据。登录到网站后，我必须从一个下拉菜单中选择一些值，但我无法使用代码单击下拉菜单。我把守则写成：
from selenium.webdriver.support import expected_conditions as EC
wait = WebDriverWait(driver,60)
element=wait.until(EC.element_to_be_clickable((By.XPATH,"//input[@id='ContentPlaceHolder1_rcmbCapacityT
浏览 2提问于2021-12-18得票数 2
回答已采纳
我做的第48天从100天的代码:完整的Python专业引导2022年。这是基于这个点击游戏：的问题，我这里是循环点击tier_2，然后我得到错误：
追溯(最近一次调用)：文件"C:/Users/Mariusz/Desktop/100-Days-of-Code/Intermediate/Day 48 - Selenium/main.py"，第44行，在tier_2.click()文件"C:\Users\Mariusz\AppData\Local\Programs\Python\Python38-32\lib\site-packages\selenium\webdriver
浏览 5提问于2022-02-16得票数 0
我正在使用selenium在Python上做一个网络爬行器，我想从一个div中抓取一个特定的元素(data-car-id)，我可以使用Xpath找到这个元素。 ?
浏览 20提问于2020-09-13得票数 1
回答已采纳
我使用boto在python中连接dynamodb。我没有看到任何关于查询dynamodb的适当教程。
“我需要的是使用dynamodb抓取表的内容，其中名字或姓氏中出现了给定的名称，其中名字和姓氏是两个字段。”
浏览 0提问于2013-04-01得票数 0
回答已采纳
你好，又一次，堆叠的伙伴们。简短描述..我正在使用Python从一个汽车论坛上抓取一些数据，并将所有数据保存到CSV文件中。在其他stackoverflow成员的帮助下，他们设法在所有页面中挖掘特定主题，收集每个帖子的日期、标题和链接。 我还有一个单独的脚本，我现在正在艰难地实现(对于找到的每个链接，python都会为它创建一个新的汤，抓取所有帖子，然后返回到上一个链接)。 我非常感谢任何其他的技巧或建议，因为这是我第一次使用python，我认为可能是我的嵌套循环逻辑搞砸了，但多次检查对我来说似乎是正确的。 下面是代码片段： link += (div.get('href'))
浏览 56提问于2017-03-02得票数 1
回答已采纳
2回答
我对网络抓取是个新手。我正在使用Python来抓取数据。有没有人可以帮助我如何从以下位置提取数据：
<div class="dept"><strong>LENGTH:</strong> 15 credits</div>
我的输出应该是长度：15 credits
下面是我的代码：
from urllib.request import urlopen
from bs4 import BeautifulSoup
length=bsObj.findAll("strong")
for leng in length:
浏览 0提问于2016-08-22得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
