正确的soup.find()命令是什么？
正确的soup.find()命令是用于在BeautifulSoup对象中查找满足特定条件的第一个元素。该命令的语法如下：
soup.find(name, attrs, recursive, text, **kwargs)
- name：表示要查找的标签名或标签名列表，可以是字符串或正则表达式。例如，查找所有的div标签可以使用soup.find('div')。
- attrs：表示要查找的标签的属性，可以是字典或字典列表。例如，查找class属性为"example"的div标签可以使用soup.find(attrs={'class': 'example'})。
- recursive：表示是否递归查找子孙节点，默认为True。如果设置为False，只会在当前节点下查找。
- text：表示要查找的标签包含的文本内容，可以是字符串或正则表达式。例如，查找包含"example"的文本的div标签可以使用soup.find(text='example')。
- **kwargs：表示其他要过滤的属性和值，可以是任意数量的关键字参数。
soup.find()命令的返回值是满足条件的第一个元素，如果找不到符合条件的元素，会返回None。
推荐的腾讯云相关产品：腾讯云基础服务-云服务器（CVM）和腾讯云人工智能开放平台-智能图像（AI Image）。
相关·内容
1回答
美汤找不到HTML元素
、、、、
我们试图在下面的Forever21页面上找到html元素"c_pagination_list“：。但是，当我们使用BeautifulSoup来获取这个元素时，它会返回empty或None。下面是我们尝试获取此元素的以下方法：
numberArray = soup.findAll('div', attrs={ 'class' : 'c_pagination_list'})
number = soup.find('div', class_='c_pagination_list')
number = soup
浏览 1提问于2016-11-06得票数 0
有一些Python经验。对美丽的汤非常陌生。 我正在尝试获取一个div ID列表，以便soup查找然后导出 写这个的正确方法是什么？ #my div ID list
DivIdList = [IdOne, IdTwo, IdThree,]
#to be filled with soup
ListName = []
HostList = []
InfoList = []
#loop through div ID list
for i in DivIdList:
#when found fill up with soup
Name = soup.find('I
浏览 23提问于2021-04-21得票数 0
回答已采纳
有两个元素：<div class = "abc def">和<div class = "abc">
我想选择后者。
我的代码是
soup.find('div', {'class':'abc'})
然而，它选择了前者。
正确的做法是什么？
浏览 1提问于2019-10-22得票数 2
在这段代码中，我遇到了一个问题。当我打印链接时，它返回空列表。所以代码是不正确的。问题是什么?如何解决？
from bs4 import BeautifulSoup
import requests
search = input('Serach for:')
params = {"q": search}
r = requests.get('http://www.bing.com/search', params=params)
soup = BeautifulSoup(r.text, 'html.parser')
results
浏览 32提问于2020-05-07得票数 0
回答已采纳
我正在尝试解析一个站点上的特定“项目”，但我不知道它是一个类、对象、id还是其他东西
我的代码：
soup = BeautifulSoup(urllib2.urlopen(myURL))
divdata = soup.find('div')
print(divdata)
然后返回：
<div data-store='{"Auth":{"cookie":null,"user":null,"timestamp":1485297666762},"Blocked":{},"Broadc
浏览 0提问于2017-01-25得票数 0
我正在尝试从下面的网站https://www.punters.com.au/form-guide/form-finder/e2a0f7e13bf0057b4c156aea23019b18上抓取种族名称(“硅谷R2”)和马的名称(“Ronniejay”)。 执行此操作的正确soup.find()代码是什么。 我获取比赛名称的代码如下： from bs4 import BeautifulSoup
import requests
source = requests.get('https://www.punters.com.au/form-guide/form-finder/e2a0f7e1
浏览 76提问于2020-09-30得票数 1
回答已采纳
1回答
我试图登录到一个aspx页面，然后以登录用户的身份获取另一个页面的内容。
import requests
from bs4 import BeautifulSoup
URL="https://example.com/Login.aspx"
durl="https://example.com/Daily.aspx"
user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.124 Safari/537
浏览 0提问于2015-06-26得票数 0
1回答
我正在尝试从这个页面中提取新冠肺炎的“确认”案例的数量。
这是我的代码行table_div = soup.find('div', {"id": "gsPosDIV"})，但不工作，我真的是新手与网络抓取。提取此数据的正确形式是什么？
这是html <div id="gsPosDIV" class="h5 mb-0 font-weight-bold text-gray-800">47,144</div。
浏览 10提问于2020-05-18得票数 0
回答已采纳
我有一个简单的Python脚本，它使用BeautifulSoup来查找HTML树的一部分。例如，要查找<div id="doctext">标记内的所有内容，脚本将执行以下操作：
html_section = str(soup.find("div", id="doctext"))
但是，我希望能够使find()的参数根据输入文件中给定的字符串而变化。例如，用户可以向脚本提供一个URL，后跟一个类似"div", id="doctext"的字符串，脚本将相应地调整查找结果。假设输入文件如下所示：
http:/
浏览 0提问于2012-11-24得票数 3
回答已采纳
1回答
我想从页面https://house.leju.com/dl147961/获取值387。
res = requests.get('https://house.leju.com/dl147961/')
soup = BeautifulSoup(res.text, 'lxml')
num = soup.find('h2', {'class':'clearfix'}).find('em', {'class':'new_font'}).text
令人惊讶的是，num是628！
浏览 2提问于2019-07-25得票数 2
回答已采纳
1回答
我正在尝试从火狐下载页面中获取当前美国英语版本的火狐，以便使用Python和BeautifulSoup进行下载。我使用的是Python版本2.4.3。
我相信我已经很接近了，但是可以使用一些指针来引导我朝着正确的方向前进。
下面是我当前的代码：
import urllib2
from BeautifulSoup import BeautifulSoup
url = "http://www.mozilla.org/en-US/firefox/all/";
page = urllib2.urlopen(url)
soup = Beauti
浏览 3提问于2013-08-22得票数 0
我正在尝试使用从网站抓取的数据在我的PostgreSQL中创建行。 我很确定我的方法是错误的。 这是我的一个Django应用程序中的tasks.py，它应该进行抓取，然后将抓取的数据添加到db中： from models import Movies
from bs4 import BeautifulSoup
import requests
url = 'any url'
r = requests.get(url).text
soup = BeautifulSoup(r, 'lxml')
title = soup.find('a', c
浏览 3提问于2021-05-11得票数 0
如何将输入元素设置为只使用漂亮的汤读取？我的元素看起来如下：
<input id="province" value="BC" />
我知道您可以在标记中创建新属性，就像为字典创建新键一样，但这是行不通的：
soup.find(id="province")["readonly"]
溶液
soup.find(id="province")["readonly"] = None
浏览 0提问于2016-02-16得票数 1
回答已采纳
我想从下面的html片段中返回‘数据页’的值(从整个页面中剪短)。
<div class="catalogPagination" data-js-component="catalog-pagination/catalog-pagination">
<span class="catalogPagination_button catalogPagination_button-prev catalogPagination_button-disabled">
</span>
<div
浏览 3提问于2016-04-05得票数 2
回答已采纳
2回答
我正在尝试使用zillow的API收集关于一所房子的所有数据。我得到了一些字段，而另一些字段则返回为null。
以下是我的Python代码：
from bs4 import BeautifulSoup
import requests
import urllib, urllib2
import csv
url = requests.get("https://raw.github.com/rfarley90/random/master/zillowresults.html")
pageText = url.text
soup = BeautifulSoup(pageText)
浏览 1提问于2014-01-28得票数 0
我正在尝试创建一个自定义python 2 nagios脚本，以便能够监视单个起搏器资源。当它从文件中读取输入时，我设法让它工作，但当从cli收集输入时，我无法使它工作。
就像这样起作用了：
from __future__ import print_function
from bs4 import BeautifulSoup
import os,sys
with open ("/tmp/crm_output.txt","r") as f:
#with os.popen ("/usr/sbin/crm_mon -r -X") as f:
c
浏览 0提问于2019-08-09得票数 2
回答已采纳
13回答
soup.find("tagName", { "id" : "articlebody" })
为什么不返回<div id="articlebody"> ... </div>标签和中间的东西呢？它不返回任何内容。我知道它确实存在，因为我从
soup.prettify()
soup.find("div", { "id" : "articlebody" })也不起作用。
(编辑：我发现BeautifulSoup没有正确解析我的页面，这可能意味着我试图解析的页面格式不
浏览 65提问于2010-01-26得票数 188
回答已采纳
2回答
我试图找出元素，它可以匹配任何输入字符串。
例如:-
data = soup.find(text="something")
这很好，但是当我要搜索这样的东西时，如何使用它：-
data = soup.find(text="something" or text="another something")
如果不可能搜索多个字符串，那么执行类似事情的最佳方法应该是什么。
浏览 0提问于2019-06-27得票数 0
回答已采纳
我试图从以下几个方面得到'5‘的值：
<div class="DrugPriceBox__price___dj2lv">₹<!-- -->5</div>
我使用的python-漂亮汤代码没有返回任何内容：
drugprice=soup.find('div', class_="DrugPriceBox__price___dj2lv")
print(drugprice)
网页网址是：
提前谢谢你！
其他信息：
解决问题后的工作代码：
if __name__ == '__main__':
浏览 5提问于2022-06-27得票数 0
回答已采纳
2回答
我仍然在学习python，并认为一个好的项目是制作一个Instagram刮板。首先，我想试着刮一下凯莉·詹纳斯的个人资料，我想我会用BS4搜索，但后来我遇到了一个问题。
import requests
from bs4 import BeautifulSoup as bs
instagramUser = input('Input Instagram Username: ')
url = 'https://instagram.com/' + instagramUser
r = requests.get(url)
soup = bs(r.text, 'h
浏览 6提问于2022-01-13得票数 0
回答已采纳
1回答
在用Python3.8、Selenium和BeautifulSoap抓取网页时，我想删除或更改一些元素。由于并非所有页面都包含相应的元素，因此我必须捕获异常： try:
soup.find('aside', id="post").decompose()
except Exception:
pass
try:
soup.find('footer', id="footer").decompose()
except Exception:
pass
try:
soup.find(class_=&#
浏览 20提问于2020-12-04得票数 0
我得到了下面的代码，它应该用在另一个函数中，所以我想使用一个变量来传递它
soup.find("div", {"class" : "article-entry text"}).text.replace('\n', "")
使用
textFormat = "soup.find("div", {"class" : "article-entry text"}).text.replace('\n', "")"
显然行不通。我必须
浏览 0提问于2017-09-03得票数 0
我试图用下面的代码从中获取产品的详细信息-
def get_soup(url):
soup = None
try:
response = requests.get(url)
if response.status_code == 200:
html = response.content
soup = BeautifulSoup(html, "html.parser")
except Exception as exc:
print("Unable to fecth data due to..", str(exc
浏览 0提问于2018-06-06得票数 0
回答已采纳
我正在解析显示项目数据的网站上的网页。这些项目大约有20个字段，这些字段可能会出现，也可能不会出现--比如:价格、数量、上次购买的时间、高、低等。
我目前正在使用一系列命令；大约20行soup.find('div',{'class':SOME_FIELD_OF_INTEREST})来查找每个单独的感兴趣的字段。(有些是用div、span、dd等等编写的，所以很难只执行soup.find_all('div')命令。)
我的问题是:有没有一种优雅的方式来try和except所有的东西，这样代码的查看就可以更紧凑或简洁？现在，一条采样线将如下所示：
t
浏览 4提问于2012-12-09得票数 7
回答已采纳
4回答
下面是我的一些代码：
if self.tagname and self.tagname2 in list1:
try:
question = soup.find("div", "post-text")
title = soup.find("a", "question-hyperlink")
self.list2.append(str(title)+str(
浏览 0提问于2014-01-28得票数 69
如果我使用BS4解析一个网站，并从其源代码中打印文本"+26.67%“
<font color="green"><b><nobr>+26.67%</nobr></b></font>
我一直在使用.find_all()命令()，但都无济于事。搜索源代码并只打印文本的正确方法是什么？
我的代码：
import requests
from bs4 import BeautifulSoup
set_url = "*insert web address here*"
set
浏览 8提问于2014-02-13得票数 1
我有下面的python代码，目标是获得该股票的当前价格，即110.80美元。
import urlparse
import urllib2
import pdb
from bs4 import BeautifulSoup
from pprint import pprint
url = "https://www.google.com.hk/finance?q=0001&ei=yF14VYC4F4Wd0ASb64CoCw"
def WebCrawl(url):
htmltext = urllib2.urlopen(url).read()
soup = B
浏览 0提问于2015-06-10得票数 2
回答已采纳
1回答
python退出功能
、、、
我在Python中得到了一个语法错误，错误：
SyntaxError: 'return' outside function
这似乎是不言自明的，但据我所见，返回是在一个函数中。
这是我的代码：
def getLinks(self, url, fandom, soup):
links = []
searchElementDict = {
'aff':'select', 'fcwd':'select', 'ffn':'select', 'tthm'
浏览 1提问于2013-09-23得票数 0
回答已采纳
我有一个使用分页的网页，我正在浏览页面上的所有页面。我试图存储当前的页面号，使用soup_page_number= soup.find("li", {"class":"page-item active"}).text，它可以像预期的那样工作，假设soup是一个带有页面号的URL，例如。
但是，当我试图获得站点上所有页面的页码时，通过循环遍历所有页面(对于第10页)，例如：
i=1
for i in range(10):
url = "https://www.url.com?p="
url = url + s
浏览 1提问于2019-11-18得票数 2
回答已采纳
2回答
在python3和beautifulsoup4中，我想在发出请求后从网站获取信息。我这样做了：
import requests
from bs4 import BeautifulSoup
req = requests.get('https://sisgvarmazenamento.blob.core.windows.net/prd/PublicacaoPortal/Arquivos/201901.htm').text
soup = BeautifulSoup(req,'lxml')
soup.find("h1").text
'\r\
浏览 0提问于2019-05-30得票数 1
回答已采纳
1回答
在这个函数中，我解析在线商店中项目的页面。有些商品没有图片，有些没有价格等，所以很少有if-else支票。
我的问题是：
如何摆脱这些丑陋的if-else支票？
我如何进一步“化脓”我的代码？
这是正确的吗？也就是说，当我使用先前赋值的值: name = soup.find('span'，{"class":"project_name"})操作变量值时，如果名称不是None: name = re.sub(r'“，”'，‘，name.text)
以下是我的完整代码：
def grab_properties(url,html):
浏览 0提问于2014-05-06得票数 5
回答已采纳
4回答
我正在尝试刮单词定义，但无法让python重定向到正确的页面。例如，我正在试图得到'agenesia‘这个词的定义。当您用在浏览器中加载该页面时，加载的页面是，但是在Python中该页面不会重定向并给出200个状态代码
URL = 'https://www.lexico.com/definition/agenesia'
page = requests.head(URL, allow_redirects=True)
这就是我目前检索页面内容的方式，我也尝试过使用requests.get，但这也不起作用
编辑:因为还不清楚，我知道我可以将URL中的单词改为'agen
浏览 12提问于2021-05-22得票数 7
回答已采纳
1回答
我试图从下面的站点中提取整个表格，并将其存储为数据帧，但在尝试提取所有标题时遇到错误。该表似乎具有这些属性，因此不确定为什么会发生这种情况。 URL = "http://www.ercot.com/content/cdr/html/real_time_spp"
page = requests.get(URL).text
soup = BeautifulSoup(page, "lxml")
table = soup.find("table", attrs={"class": "tableStyle"})
tabl
浏览 12提问于2021-10-20得票数 0
我试图从：- 中抓取数据
下面是我需要刮的几页：-
我需要页面上的所有信息。我写了以下代码：-
base_url = 'https://www.canadapharmacy.com'
data = []
for i in tqdm(range(len(medicine_url))):
r = requests.get(base_url+medicine_url[i])
soup = BeautifulSoup(r.text,'lxml')
# Scraping medicine Name
try:
浏览 4提问于2022-11-28得票数 1
回答已采纳
1回答
所以几周前，我写了这个程序，成功地在一些网上商店上刮到了一些信息，但是现在它已经停止工作了，而我没有改变代码？
这是否是网站本身已经改变的东西，还是我的代码有问题？
import requests
from bs4 import BeautifulSoup
url = 'https://www.continente.pt/stores/continente/pt-pt/public/Pages/ProductDetail.aspx?ProductId=7104665(eCsf_RetekProductCatalog_MegastoreContinenteOnline_Continen
浏览 3提问于2020-09-27得票数 0
回答已采纳
我希望我的程序能在亚马逊上获得产品的价格。我正在尝试用soup.select来做这件事，但是失败了( soup.find也还没成功)。在商品价格上单击鼠标右键，将显示以下html代码：
<span id="price_inside_buybox" class="a-size-medium a-color-price">
ILS 53.35
</span>
这是我的代码，我做错了什么?我应该如何正确使用soup.select？
import bs4, requests,
amazonlink = "http
浏览 3提问于2020-05-01得票数 0
1回答
我想从一个网站得到一个图像，但是网站在我想要的图像之前加载一个占位符图像。我需要程序逻辑的图像。
这是代码：
import requests
from bs4 import BeautifulSoup
def main():
r = requests.get("https://www.simcoecountyschoolbus.ca/")
soup = BeautifulSoup(r.content, "html.parser")
northdiv= soup.find("div", id="status-i
浏览 1提问于2022-10-13得票数 0
回答已采纳
2回答
from urllib import urlopen,urlretrieve
from PIL import Image,ImageOps
from bs4 import BeautifulSoup
import requests
import subprocess
def cleanImage(imagePath):
image=Image.open(imagePath)
image=image.point(lambda x:0 if x<143 else 255)
borederImage=ImageOps.expand(image,border=20,fil
浏览 0提问于2018-12-28得票数 1
回答已采纳
我是Python web抓取的新手，我正在抓取productreview.com进行复习。下面的代码提取了我一次审查所需的所有数据： #Scrape TrustPilot for User Reviews (Rating, Comments)
import pandas as pd
import numpy as np
from bs4 import BeautifulSoup as bs
import json
import requests
import datetime as dt
final_list=[]
url = 'https://www.productreview.c
浏览 11提问于2020-07-18得票数 0
1回答
我想将标题标签存储到mysql中，我需要存储来自不同语言(例如英语、波斯语、阿拉伯语等)的标签。例如，我的字符串必须如下所示：
{"h1": "زبان فارس - english"}
但是当我想在我的数据库中存储unicode时，它会变成下面这样的代码：
{"h1": "\u0628\u0631\u062e\u0648\u0631\u062f"}
我的python 3代码是：
data = {}
if not soup.find('h1'):
h1 = ""
浏览 1提问于2019-11-02得票数 0
1回答
通过使用bs4 find()函数，即使它存在于html中，也不会得到任何结果。我正在尝试通过一个类tab_content.I获得所有的div，在这个链接上找到这个链接。所以请建议我如何正确地做这件事。这是代码：
from bs4 import BeautifulSoup as bs
import requests
url = 'https://sofad.qc.ca/index.php?id_category=78&controller=category&id_lang=1'
r = requests.get(url)
soup = bs(r.content,
浏览 1提问于2021-01-23得票数 0
我一直收到这个错误&我已经多次检查了html源代码，如下所示。我很确定我找到了正确的元素，所以文本部分在技术上应该是存在的。 上下文:构建一个网络摩天大楼；试图提取标题。奇怪的是，提取摘要文本和链接的代码都可以工作-只是不是标题。 from bs4 import BeautifulSoup
import requests
url = "https://www.ribbonfarm.com/"
source = requests.get(url, headers = {"User-Agent" : "Mozilla/5.0"}).tex
浏览 21提问于2020-11-27得票数 0
我正在尝试为一些配置文件抓取一组页面，并且我构建了一个抓取器，它可以遍历csv文件中的urls列表(例如：)，并将它们提供给美丽的灵魂。然而，soup.find不返回值，尽管在只给出一个URL的情况下工作。
例如，下面的代码片段可以工作：
page = requests.get('www.myurl.org')
soup = BeautifulSoup(page.text, 'html.parser')
name = soup.title.string
specialty = soup.find('p', attrs={'id'
浏览 2提问于2017-12-10得票数 2
我有以下html：
<html lang="en-US" xml:lang="en-US" xmlns="http://www.w3.org/1999/xhtml">
<body>
<title>CATe - hj1612</title>
</td></tr></table>
</td></tr></table></td><td><img src="icons/arrowredright.g
浏览 0提问于2013-10-19得票数 1
回答已采纳
1回答
我有下面的Python 2.7.10代码和Requests和BeautifulSoup4
print soup
RequestVerificationToken = soup.find(name="__RequestVerificationToken")
print RequestVerificationToken
print soup打印我正试图从其中获取信息的网页。在输出中，打印的HTML包括以下内容：
<input name="__RequestVerificationToken" type="hidden" value="a
浏览 5提问于2015-11-08得票数 1
回答已采纳
1回答
我正在尝试从这个网站抓取一些数据，并创建一个Dataframe。但是，我想删除Description列的行中的文本'Description‘。删除它的解决方案是什么？ 代码如下所示： import requests
from bs4 import BeautifulSoup as bs
import pandas as pd
records = []
tickers = ['FSLR']
url = 'https://finance.yahoo.com/quote/{}/profile?p={}'
for s in tickers:
浏览 16提问于2021-02-04得票数 0
回答已采纳
3回答
这可能是一个比我的用例更广泛的问题。
我正在使用Beautifulsoup从html文档中提取数据。
对于那些不熟悉Beautifulsoup的人，它本质上是解析一个html字符串，并使用类方法搜索和隔离特定的数据，给出了明确的指令。
第一步：soup = Beautifulsoup(html_string)
第二步：title= soup.find('h1').get_text()
第一步分析文档，第二步提供要提取哪些数据的说明，在上述情况下使用get_text()提供一些格式。
我通常有这样的行动清单，在这些行动中，数据可能存在，也可能不存在，这两个条件都是可以接受的。例如
浏览 0提问于2018-12-17得票数 1
回答已采纳
经过一些更改后，我得到了这个：
import urllib2
from bs4 import BeautifulSoup
soup = BeautifulSoup(urllib2.urlopen("http://example.com"))
soup.find("div", {"id": "botloc"})
elem = soup.find('div')
print elem['id'], 'is the id'
print elem.text, 'is the va
浏览 1提问于2013-05-16得票数 0
回答已采纳
我似乎在解决这个问题上运气不佳，我正在从一个xml url中提取数据，看起来如下：
<?xml version="1.0" encoding="utf-8"?>
<task>
<tasks>
<taskId>46</taskId>
<taskUserId>4</taskUserId>
<taskName>test</taskName>
<taskMode>2</taskMode>
<taskSite>
浏览 1提问于2019-05-17得票数 0
回答已采纳
我正在用BeautifulSoup框架在python中开发一个网络爬虫。我从目标页面得到正确的信息。但它只从每一页得到一个项目。
我的代码看起来像：
import csv
import time
import bs4 as bs
from urllib.request import Request, urlopen
for i in range(1, 5):
site = "XXURLXX".format(i)
hdr = {'User-Agent': 'Mozilla/5.0'}
req = Request(site, he
浏览 1提问于2017-08-16得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
