BeautifulSoup返回包含有效html内容的空列表
BeautifulSoup是一个Python库，用于从HTML或XML文档中提取数据。它提供了一种简单而灵活的方式来遍历解析文档，并提供了许多有用的方法来搜索、遍历和修改文档树。
对于给定的HTML内容，如果使用BeautifulSoup解析后返回一个空列表，这意味着在HTML中没有找到有效的内容。可能有以下几种情况：
- HTML内容为空：如果传入BeautifulSoup的HTML内容为空字符串或None，那么解析后将返回一个空列表。
- HTML内容不包含有效的标签：BeautifulSoup默认会解析HTML文档中的有效标签，如
<html>,<head>,<body>等。如果HTML内容中没有这些有效标签，解析后将返回一个空列表。可以通过指定解析器来解决这个问题，例如使用"html.parser"作为解析器。 - HTML内容中的标签没有闭合：如果HTML内容中的标签没有正确闭合，BeautifulSoup可能无法正确解析文档树，导致返回一个空列表。在这种情况下，可以尝试修复HTML内容中的标签闭合问题，然后重新解析。
总结起来，当使用BeautifulSoup解析HTML内容后返回一个空列表时，可能是由于HTML内容为空、不包含有效的标签或标签没有闭合等原因导致的。在处理这种情况时，可以检查HTML内容是否符合预期，并尝试修复或调整解析方式来获取有效的内容。
腾讯云相关产品和产品介绍链接地址：
相关·内容
下面是我的代码。
import urllib
from BeautifulSoup import *
html=urllib.urlopen('http://yellowpages.sulekha.com/coffee-shops-bars-restaurants_delhi')
soup=BeautifulSoup(html)
tags=soup.findAll("li",{ "class" : "list-item" })
print tags
我希望找到所有具有class 'list-item‘的'li’标
浏览 6提问于2016-08-07得票数 1
回答已采纳
以下代码用于在屏幕上打印html_doc的标签，它是一个包含html代码的变量：
from bs4 import SoupStrainer
only_a_tags = SoupStrainer("a")
print(BeautifulSoup(html_doc, "html.parser", parse_only=only_a_tags).prettify())
下面的代码返回相同的结果：
print(BeautifulSoup(html_doc, "html.parser").find_all("a").prettify()
浏览 1提问于2017-11-10得票数 1
2回答
我想从DuckDuckGo搜索结果中抓取第一个链接。我写了下面的代码：
import requests
from bs4 import BeautifulSoup
class Bse:
def currentPrice(self,symbol):
headers = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:84.0) Gecko/20100101 Firefox/84.0"
}
浏览 6提问于2021-04-02得票数 0
2回答
Div类文本未保存
、、、
我正试图为武都的电影收取价格。但是，当我试图从相关的div容器中提取数据时，它作为空返回。
from bs4 import BeautifulSoup
url = "https://www.vudu.com/content/movies/details/title/835625"
response = get(url)
html_soup = BeautifulSoup(response.text, 'html.parser')
type(html_soup)
price_container = html_soup.find_all('div',
浏览 0提问于2018-03-20得票数 0
回答已采纳
尝试读取URL列表，然后在类中输出html。它只适用于列表中的最后一个url，我似乎不知道为什么。我已经设置了超时等，但它仍然只是返回和空响应，除了最后的url。
#!/usr/bin/env python
# -*- coding: utf-8 -*-
from bs4 import BeautifulSoup
import requests
import time
with open('/Users/usrname/Desktop/links.txt') as f:
for line in f:
print(line)
htm
浏览 11提问于2017-02-14得票数 0
回答已采纳
3回答
将Javascript创建的页面中的所有超文本标记语言传递给BeautifulSoup的最佳方法是什么？
我目前使用的是：
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.common.keys import Keys
from BeautifulSoup import BeautifulSoup
browser = webdriver.Firefox()
browser.get("http://w
浏览 1提问于2012-10-13得票数 2
from urllib
import request
from bs4 import BeautifulSoup
import requests
url = "https://recreation.northeastern.edu/"
result = requests.get(url)
doc = BeautifulSoup(result.text, "html.parser")
marino = doc.find_all(text="Marino")
print(marino)
这是我的密码。当我在其他网站上这样做时，它会返回一个带
浏览 2提问于2022-09-23得票数 0
回答已采纳
1回答
我正在尝试从h2标记'Events‘中刮取中的表情符号。我编写了以下代码，但head_links是一个空列表：
import requests
from bs4 import BeautifulSoup
import json
import csv
url2 = "http://emojipedia.org/food-drink/"
html2 = requests.get(url2).content
soup2 = BeautifulSoup(html2)
head_links = soup2.findAll('h2', {'class
浏览 1提问于2016-07-03得票数 0
回答已采纳
我是个网络刮刮新手，一直在用BeautifulSoup来刮每天的抵押贷款利率。然而，我尝试抓取的许多服务商站点都返回'none‘或一个空列表。我试图抓取的标签确实存在，我只是不明白为什么会发生这种情况。下面是一个例子。 html=urlopen('https://www.popular.com/en/mortgages/')
bs0bj=BeautifulSoup(html, 'html.parser');
rate=bs0bj.find('span', {'class':'text-md text-popula
浏览 47提问于2017-11-04得票数 0
回答已采纳
因此，我正在尝试从一个网站https://www.theguardian.com/world/2020/oct/25/covid-world-map-countries-most-coronavirus-cases-deaths中的表中抓取国家名称作为一个列表。但是当我打印出来的时候，它只是给我一个空的列表，而不是一个包含国家名称的列表。有人能解释一下为什么我会得到这个吗？代码如下： import requests
from bs4 import BeautifulSoup
webpage = requests.get("https://www.theguardian.com/wo
浏览 8提问于2020-10-27得票数 0
2回答
一些html代码包含一些dt标签，如下所示：
<dt>PLZ:</dt>
<dd>
8047
</dd>
我想在dd标记中查找dt标记后面带有文本PLZ:的文本。根据文档，我正在尝试以下内容：
number = BeautifulSoup(text).find("dt",text="PLZ:").findNextSiblings("dd")
使用text，上面的字符串，但我得到的只是一个空列表，而不是我正在寻找的数字(当然是字符串)。也许我误解了文档？
浏览 4提问于2012-10-28得票数 2
回答已采纳
1回答
我正在做一个程序来获取instagram上的关注者列表。代码如下：
import urllib.request
from bs4 import BeautifulSoup
import requests
def get_html(url):
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}
resp
浏览 1提问于2018-01-21得票数 0
我正在尝试使用BeautifulSoup提取以下网页上的表：
我试图使用的代码是：
import pandas as pd
from urllib.request import urlopen
from bs4 import BeautifulSoup
url = "https://www.indiapost.gov.in/VAS/Pages/PMODashboard/DistributionOfPostOffices.aspx"
html = urlopen(url)
soup = BeautifulSoup(html, 'lxml')
type(sou
浏览 1提问于2019-11-20得票数 1
回答已采纳
我正在尝试使用h2标记进行网络抓取，但是BeautifulSoup返回一个空列表。
<h2 class="iCIMS_InfoMsg iCIMS_InfoField_Job">
html=urlopen("https://careersus-endologix.icims.com/jobs/2034/associate-supplier-quality-engineer/job")
bs0bj=BeautifulSoup(html,"lxml")
nameList=bs0bj.findAll("h2",{"c
浏览 1提问于2019-04-25得票数 2
2回答
我使用BeautifulSoup来解析一堆可能非常脏的HTML文档。我偶然发现了一件很奇怪的事。
HTML来自于以下页面：
它包含多个错误，例如多个<html></html>、<title>在<head>之外，等等.
然而，即使在这些情况下，html5lib通常也能很好地工作。事实上，当我这么做的时候：
soup = BeautifulSoup(document, "html5lib")
然后我将打印soup，我看到了以下输出：
其中包含了大量的<a>标记。
但是，当我执行soup.find_all("a
浏览 3提问于2014-11-12得票数 2
回答已采纳
1回答
我使用os.walk递归地查找文件夹中的html文件。
这些htmls包含字符串。当os.walk建立一个列表时，我将使用BeautifulSoup提取这些字符串
我尝试了以下代码，但它不起作用：
import os
from bs4 import BeautifulSoup
for root, dirs, files in os.walk ("mydir"):
for file in files:
if file.endswith (".html"):
print(os.path.join(root, file)
浏览 1提问于2018-11-18得票数 0
我是BeautifulSoup的新手，我想弄清楚为什么它不能像预期的那样工作。 from urllib.request import urlopen
from bs4 import BeautifulSoup
html = urlopen("https://www.globes.co.il/news/article.aspx?did=1001285710")
bsObj = BeautifulSoup(html.read(), features="html.parser")
print(bsObj.find_all('iframe')) 我得到
浏览 30提问于2019-05-18得票数 0
回答已采纳
3回答
我正在玩BeautifulSoup从网站上抓取数据。因此，我决定为有史以来最伟大的100部电影在网上搜索网站。
以下是指向网页的链接：
我从网站上导入了HTML，我可以在上面使用漂亮的汤。但是当我想要得到100个电影标题的列表时，我得到了一个空的列表。下面是我写的代码。
import requests
from bs4 import BeautifulSoup
URL = "https://www.empireonline.com/movies/features/best-movies-2/"
response = requests.get(URL)
top100_webp
浏览 20提问于2022-05-09得票数 -2
回答已采纳
我正在尝试做以下事情:在我自己的Facebook页面上为我所有的朋友的名字争论不休。我最初将我的网页存储为本地文件，然后使用BeautifulSoup解析它。我使用了find_all方法来查找以下模式的所有元素：<div class="name">friend name</div>。但是，当我运行代码时，我得到一个不包含匹配项的空列表？那么你的问题是什么呢
谢谢
代码片段：
from bs4 import BeautifulSoup
page = "myFacebook.html" with open(page, "r"
浏览 0提问于2015-11-16得票数 0
我尝试使用从BeautifulSoup获取数据，但是我得到了一个空列表。也尝试了"html.parser“，但这也没有帮助。请帮我找个解决办法。非常感谢。
我的代码：
from bs4 import BeautifulSoup
import requests
response = requests.get("https://www.empireonline.com/movies/features/best-movies-2/")
movies_webpage = response.text
soup = BeautifulSoup(movies_webpage, &
浏览 2提问于2021-03-02得票数 0
1回答
我试图通过迭代Pandas数据帧(“名字”)来抓取一组网页，该数据帧包含要插入到网页URL中的名字和姓氏。 我已经设置了空列表("collab"，"freq")来填充从每个网页中提取的数据。当我只抓取一个网页时，我的代码成功地提取数据来填充这些列表。但是如果我遍历多个网页，我最终会得到空列表。 我觉得问题出在我的for循环上。有人能帮我找出哪里出了问题吗？ import pandas as pd
from urllib.request import urlopen
from bs4 import BeautifulSoup
import re
import r
浏览 19提问于2019-03-19得票数 0
1回答
我想从包含以下HTML的网站中抓取一个页面：
<div class="section">
<div ng-bind="1" class="item even">First item</div>
<div ng-bind="2" class="item odd">Second item</div>
<div ng-bind="3" class="item-alt even">Third item</div&g
浏览 0提问于2022-09-22得票数 0
回答已采纳
好的，我有一个html页面(充满了不同的url )，我想在这里抓取一个url并打印出来。
该网页为：
我想打印url www.albertslund.dk
在源代码中看起来是这样的：
<a href="http://www.albertslund.dk" id="_uscAncHomesite" target="_blank"><strong><span id="ctl00_PlaceHolderMain_FormControlHandler1__uscShowDataAuthorityDetails__us
浏览 0提问于2012-08-01得票数 0
回答已采纳
1回答
硒汤和要求有什么区别？
、、、、
我从网上爬行了一些信息，但是当我使用Selenium和requests时，有不同的结果
Selenium
driver.get('https://www.jobplanet.co.kr/companies/322493/benefits/%EC%A7%80%EC%97%90%EC%9D%B4%EC%B9%98%EC%94%A8%EC%A7%80')
soup= BeautifulSoup(driver.page_source, 'html.parser')
sample= soup.find_all('div', class_='acco
浏览 0提问于2019-07-29得票数 0
回答已采纳
2回答
我想要收集一些喜欢，评论和分享美丽的汤和Python。我写了一段代码，但它返回给我一个空列表，我不知道为什么：
代码如下：
from bs4 import BeautifulSoup
import requests
website = "https://www.facebook.com/nike"
soup = requests.get(website).text
my_html = BeautifulSoup(soup, 'lxml')
list_of_likes = my_html.find_all('span', class_=&
浏览 0提问于2019-11-04得票数 0
我尝试了这个代码，但是包含URL的列表仍然是空的。没有错误消息，什么都没有。 from bs4 import BeautifulSoup
from urllib.request import Request, urlopen
import re
req = Request('https://www.metacritic.com/browse/movies/genre/date?page=0', headers={'User-Agent': 'Mozilla/5.0'})
html_page = urlopen(req).read()
sou
浏览 22提问于2018-12-24得票数 1
回答已采纳
2回答
使用BeautifulSoup，我在Python中有一点点屏幕刮擦代码，这让我头疼。对html的小改动使我的代码中断，但我不明白为什么它不能工作。这基本上是一个html解析时的演示：
soup=BeautifulSoup("""
<td>
<a href="https://alink.com">
Foo Some text Bar
</a>
</td>
""")
links = soup.find_all('a',text=re.com
浏览 3提问于2014-12-20得票数 2
回答已采纳
如何打印包含单词列表中某个单词的网页中的所有链接。我使用Beautifulsoup得到了包含单词'contact‘的链接列表，代码如下。
soup = BeautifulSoup(html_page, "html.parser")
for link in soup.findAll('a'):
links = link.get('href')
if 'contact' in links:
print links
但是，如果出现以下情况，如何打印链接呢
keywords = ("cont
浏览 3提问于2017-08-12得票数 0
我有一些php连接到一个数据库，并创建一个下拉列表。我在HTML中有一个特定的表单，我想把列表放进去。
<body>
<form>
// some text inputs
// where i'd like the drop down to go
<?php makeList(parameter1, parameter2); ?>
// submit button
</form>
<?php
// connect to database
浏览 0提问于2016-12-15得票数 0
2回答
我正在尝试从中获取html中的“下一个变更Id”，并且我正在使用模块Beautifulsoup4这样做。下一个变更id似乎在stats概述类下，所以我尝试搜索它，它只返回一个空列表。
import requests
from bs4 import BeautifulSoup
ninja = requests.get("https://poe.ninja/stats")
soup = BeautifulSoup(ninja.content, "html.parser")
stats_overview = soup.find_all("div",
浏览 2提问于2020-04-01得票数 0
回答已采纳
1回答
我需要帮助，我想刮掉这个网站。我使用了BeautifulSoup和requests，但我无法从图片中获取值。
import requests
from bs4 import BeautifulSoup
my_url = 'https://partneredge.sap.com/content/partnerfinder/search.html#/'
page = requests.get(my_url)
page_soup = BeautifulSoup(page.content, "lxml")
trazenje = page_soup.find
浏览 0提问于2018-05-18得票数 0
1回答
工作代码： ->只需执行并输入一个单词。
我非常简单地从一个特定的列表项中提取了第一个定义。然而，为了获得普通数据，我必须在换行处拆分数据，然后剥离它以删除多余的list标记。
我的问题是，有没有一种方法可以在不做上面的字符串操作的情况下提取包含在特定列表中的数据-也许是我还没有见过的漂亮汤中的一个函数？
以下是代码的相关部分：
# Retrieve HTML and parse with BeautifulSoup.
doc = userAgentSwitcher().open(queryURL).read()
soup = BeautifulSoup(doc)
#
浏览 0提问于2009-12-16得票数 0
回答已采纳
2回答
我试图从google搜索页面中检索链接列表，但是漂亮的汤选择器返回一个空列表。
我使用requests获取页面代码，并使用bs4 BeautifulSoup解析检索到的响应，然后使用soup.select方法获取某个类。最后我得到了一个空的列表
import webbrowser as wbb
import requests
from bs4 import BeautifulSoup as BS
term = "minmax"
res = requests.get('https://www.google.com/search?q={}'.format(term
浏览 0提问于2019-07-20得票数 1
回答已采纳
? ? 嗨，我想从em标签中获取文本(数字18)，如上图所示。当我运行我的代码时，它不工作，只给我一个空列表。有谁可以帮我？谢谢~ 这是我的代码。 from urllib.request import urlopen
from bs4 import BeautifulSoup
url = 'https://blog.naver.com/kwoohyun761/221945923725'
html = urlopen(url)
soup = BeautifulSoup(html, 'lxml')
likes = soup.find_all(
浏览 29提问于2020-10-06得票数 0
我有Python3.7代码，尝试从以下网站()提取足球统计数据。看起来我在BS4美丽汤中使用的超文本标记语言解析器根本没有提取网站中的任何标签。
我首先尝试提取特定的标签，比如表示主队和客队的两个不同的div标签，以及包含球员姓名的标签。当这呈现了一个空的标签列表时，我只是简单地尝试提取该网站上的所有div标签，但我仍然得到了一个空列表。
下面是我使用的代码：
from requests import get
from bs4 import BeautifulSoup
url = 'https://www.whoscored.com/Matches/1294545/LiveStati
浏览 26提问于2019-07-13得票数 2
回答已采纳
我正在尝试使用BeautifulSoup在一个冲浪报告网站上做一些web抓取，但是返回的html在浏览器中查看时似乎与html不匹配，这意味着我无法刮掉我正在寻找的数据。我试图从下面的网站上刮“颤栗-冲浪-高度”类，其中包含了当地的冲浪高度估计。
import requests
from bs4 import BeautifulSoup
url = "https://www.surfline.com/surf-report/paradise-beach/584204214e65fad6a7709cc1"
res = requests.get(url)
soup = Beaut
浏览 7提问于2022-09-25得票数 0
我正在尝试从flashscore.com获取数据到我正在做的一个项目，作为我自学Python的一部分： import requests
from bs4 import BeautifulSoup
res = requests.get("https://www.flashscore.com/")
soup = BeautifulSoup(res.text, "lxml")
games = soup.find_all("div", {'class':['event__match', 'event__matc
浏览 38提问于2021-09-14得票数 0
2回答
用刮推文
、
我想通过某人在推特上刮某个特定帐户的推特，但它对我没有用。
这是我的密码：
import facebook as fb
from bs4 import BeautifulSoup as bs
import requests
myUrl = requests.get('https://twitter.com/search?q=(from%3AAlMosahf)&src=typed_query&f=live')
source = myUrl.content
soup = bs(source, 'ht
浏览 22提问于2022-12-03得票数 0
1回答
我用来抓取Quora问题的代码如下：
import requests
from bs4 import BeautifulSoup
import pandas as pd
URL = "https://www.quora.com/What-is-the-best-workout-1"
page = requests.get(URL)
soup = BeautifulSoup(page.text, "html.parser")
print(soup.find_all("span", {"class": "q-box q
浏览 3提问于2020-08-05得票数 0
我尝试用BeautifulSoup解析用UTF-8编码的html文件。但不幸的是，此html文件包含一些非utf-8字符，因此无法正确显示。但这对我来说是可以的，因为我可以简单地跳过这些字符。
问题是，即使我直接将encodingFrom指定为utf-8：
soup = BeautifulSoup (html,fromEncoding='utf-8')
结果是soup.originalEncoding被自动设置为默认窗口-1252。
print soup.originalEncoding
windows-1252
我参考了BeautifulSoup文档，它是这样写的：
Beau
浏览 3提问于2012-01-18得票数 2
回答已采纳
import requests
from bs4 import BeautifulSoup
from lxml import etree
import csv
with open('1_colonia.csv', 'r', encoding='utf-8') as csvfile:
reader = csv.reader(csvfile, delimiter=';')
next(reader) # skip the header row
for row in reader:
url =
浏览 6提问于2022-09-19得票数 1
回答已采纳
from bs4 import BeautifulSoup
import requests
yt_link = "https://www.youtube.com/watch?v=bKDdT_nyP54"
response = requests.get(yt_link)
soup = BeautifulSoup(response.content, 'html.parser')
title = soup.findAll('div', {'class': 'style-scope ytd-app'})
print(t
浏览 4提问于2021-05-26得票数 0
回答已采纳
2回答
import requests
from bs4 import BeautifulSoup
def findPosts():
url = 'http://espn.go.com/nba/scoreboard'
headers = {}
headers['User-Agent'] = "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.110 Safari/537.3"
soup
浏览 4提问于2016-04-17得票数 1
回答已采纳
换句话说，是否可以使用/<tag[^>]*>.*?<\/tag>/ regex来匹配不包含嵌套tag元素的tag html元素？
例如(lt.html)：
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd">
<html>
<head>
<title>greater than sign in attribute value</title>
浏览 8提问于2008-09-18得票数 12
回答已采纳
2回答
我试图刮谷歌新闻标题和他们的链接作为输入术语。但是，当我通过find_all方法搜索一个包含所有新闻标题的类时，它返回了一个空列表。
我试着用他们的身份证和父母的div，但结果并没有不同。
import requests
from bs4 import BeautifulSoup
input_term = input("Enter a term to search:")
source = requests.get("https://www.google.com/search?q={0}&source=lnms&tbm=nws".format(i
浏览 0提问于2019-05-13得票数 1
3回答
我对网页的抓取有一个问题。我正在尝试得到点数的差值(例如：+2，+1，...)但是当我应用find_all方法时，它会返回一个空列表...
from bs4 import BeautifulSoup
from requests import get
url='https://www.mismarcadores.com/partido/Q942gje8/#punto-a-punto;1'
response=get(url)
html_soup=BeautifulSoup(response.text,'html.parser')
html_soup.find_a
浏览 2提问于2018-05-14得票数 4
2回答
我得去找<a class="last" aria-label="Last Page" href="https://webtoon-tr.com/webtoon/page/122/">Son »</a>。来自本网站：
但是当我试图用这个代码刮它的时候：
from bs4 import BeautifulSoup
import requests
url = "https://webtoon-tr.com/webtoon/"
html = requests.get(url).content
soup = Bea
浏览 3提问于2022-07-17得票数 0
回答已采纳
我是一个自学成才的初学者，经常搜索，但可能缺乏搜索。我正在从两个网站抓取一些值，并希望将它们与HTML输出进行比较。每一个网页，我是结合两个类和进入一个列表。但是当使用HTML进行输出时，我不希望所有的列表都打印出来。所以我做了一个函数来选择要打印的关键字。当我想打印出这个函数时，HTML输出的结果是'None‘，但是它在控制台上显示了我想要的。那么如何显示这个特殊的列表呢？
OS=视窗，Python3.
from bs4 import BeautifulSoup
import requests
import datetime
import os
import webbrowser
浏览 0提问于2018-12-29得票数 0
回答已采纳
我想从蒸汽页面中提取总页码(在本例中为11)。我认为下面的代码应该可以工作(返回11)，但它正在返回一个空列表。就像它找不到paged_items_paging_pagelink类一样。
import requests
import re
from bs4 import BeautifulSoup
r = requests.get('http://store.steampowered.com/tags/en-us/RPG/')
c = r.content
soup = BeautifulSoup(c, 'html.parser')
total_pages =
浏览 2提问于2018-02-28得票数 2
回答已采纳
1回答
我试图从watchseriesfree.to网站上的一个文件文件中提取一些链接。在下面的例子中，我想要快速视频链接，所以我使用regex过滤出包含快速视频的文本标记。
import re
import urllib2
from bs4 import BeautifulSoup
def gethtml(link):
req = urllib2.Request(link, headers={'User-Agent': "Magic Browser"})
con = urllib2.urlopen(req)
html = con.read()
浏览 0提问于2017-03-27得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
