Python lxml xpath无法获取文本
Python lxml是一个用于解析XML和HTML文档的库，它提供了XPath解析器来定位和提取文档中的数据。XPath是一种用于在XML和HTML文档中定位元素的语言。
在使用lxml的xpath时，如果无法获取文本，可能有以下几个原因：
- 定位路径错误：XPath表达式可能没有正确地指向所需的文本节点。需要仔细检查XPath表达式是否准确，确保它能够准确地定位到包含所需文本的节点。
- 命名空间问题：如果XML文档中使用了命名空间，需要在XPath表达式中正确地处理命名空间。可以使用
register_namespace方法注册命名空间，并在XPath表达式中使用命名空间前缀。 - 文本节点为空：有时候，文本节点可能为空，导致无法获取到文本内容。可以通过判断节点是否存在文本内容来避免这个问题，例如使用
text()函数获取文本节点的内容。
以下是一个示例代码，演示如何使用lxml的xpath获取文本：
from lxml import etree
# XML文档示例
xml = '''
<root>
<element>Text Content</element>
</root>
'''
# 创建解析器
parser = etree.XMLParser()
tree = etree.fromstring(xml, parser)
# 使用xpath获取文本
text = tree.xpath('//element/text()')
if text:
print(text[0])
else:
print("无法获取文本")
对于以上问题，腾讯云提供了一系列相关产品和服务，例如：
- 腾讯云云服务器（CVM）：提供稳定可靠的云服务器实例，用于运行Python脚本和应用程序。产品介绍链接：https://cloud.tencent.com/product/cvm
- 腾讯云对象存储（COS）：提供高可靠、低成本的云存储服务，可用于存储和管理XML和HTML文档等文件。产品介绍链接：https://cloud.tencent.com/product/cos
- 腾讯云函数计算（SCF）：无服务器计算服务，可用于运行Python函数，实现自动化的数据处理和解析任务。产品介绍链接：https://cloud.tencent.com/product/scf
请注意，以上只是腾讯云提供的一些相关产品和服务示例，其他云计算品牌商也提供类似的产品和服务。
相关·内容
我只是学习巨蟒，并决定玩一些网站刮。
据我所知，我创建了一个能工作的1，和第二个几乎相同的，这是不起作用的，我也不知道为什么。
from lxml import html
import requests
page = requests.get('https://thronesdb.com/set/Core')
tree = html.fromstring(page.content)
cards = [tree.xpath('//a[@class = "card-tip"]/text()'),tree.xpath('//td[@data
浏览 1提问于2017-04-21得票数 1
回答已采纳
当使用python/lxml解析HTML时，我希望检索html元素的实际属性文本，但我使用解析的实体获取属性文本。也就是说，如果实际属性读取this & that，我将返回this & that。
是否有一种获得未解决属性值的方法？下面是一些示例代码，显示了我的问题，使用python2.7和lxml 3.2.1
from lxml import etree
s = '<html><body><a alt="hi & there">a link</a></body><
浏览 11提问于2015-05-04得票数 0
回答已采纳
我正在编写一个Scrapy项目。我已经测试了所有的东西，但是当我解析一个页面时，它会返回TypeError: Argument must be bytes or unicode, got 'list'。我已经使用测试了shell中的所有东西，但是我似乎找不到哪里有问题。我的所有shell命令只返回一项(即没有逗号)。
有人知道为什么会这样吗？
from scrapy.spiders import Spider
from scrapy.selector import HtmlXPathSelector
from scrapy.loader import XPathItemLoad
浏览 0提问于2015-10-18得票数 1
我在Python中遇到了一个我无法理解的错误。我已经将我的代码简化到了最低限度：
response = requests.get('http://pycoders.com/archive')
tree = html.fromstring(response.text)
r = tree.xpath('//divass="campaign"]/a/@href')
print(r)
仍然会得到错误
Traceback (most recent call last):
File "ultimate-1.py", line 17, in &
浏览 8提问于2016-05-16得票数 1
回答已采纳
我正在解析一个使用lxml从互联网下载的XML文件。它有一个类似于此的结构：
<root>
<a>Some text in A node</a>
<b><c>Some text in C node</c>Some text in B node</b>
</root>
我想用以下代码在节点内部打印文本：
from lxml import etree
doc = etree.parse('some.xml')
root = doc.getroot()
for ch in
浏览 3提问于2014-09-02得票数 2
回答已采纳
2回答
如何在找到标签后获取文本
示例：
#!/usr/bin/env python
import lxml.html
html = """
<b>Point1:</b> Text1 <br>
<b>Point2:</b> Text2 <br>
...
<b>PointN:</b> TextN
<b>PointN+1:</b> TextN+1<br>
"""
dom = lxml.html.document_fromstr
浏览 0提问于2011-09-15得票数 3
回答已采纳
3回答
我试图得到td中所包含的全部文本：
示例：
<td>
<p>Some Text</p>
<a>SAMPLE</a>
<table>
<tbody>
<tr>
<td>something</td>
....
</tr>
...
</tbody>
</table>
...
</td>
这个td里面有很多标签，这让我很难。连桌子都有。
在FirePath (火狐)中，我可以简单地附加
浏览 2提问于2016-10-14得票数 1
来自lxml.etree的HTML解析器似乎具有最大深度限制。如果深度超过254，解析文本将不再遍历。下面是一个python代码片段，演示如下：
import lxml.etree as etree
# Setup HTML tabs
x = "<span>"
x_ = "</span>"
# Set recursion depth to 255
depth = 255
# Construct and parse using lxml.etree.HTML
# This gives an empty list []
print(e
浏览 0提问于2018-06-26得票数 5
2回答
从lxml中选择属性值
、、、
我想使用xpath表达式来获取属性的值。
我希望下面的方法能起作用
from lxml import etree
for customer in etree.parse('file.xml').getroot().findall('BOB'):
print customer.find('./@NAME')
但这会给出一个错误：
Traceback (most recent call last):
File "bob.py", line 22, in <module>
print customer.
浏览 3提问于2011-05-25得票数 59
回答已采纳
我正试图通过Python和lxml监控网页上是否更改了特定的规范URL。
其想法是在Excel表中有一个具有正确规范URL的URL列表，该URL导入Python，然后定期根据活动站点(通过lxml和Xpath)进行检查。如果检测到更改，则标志设置为FALSE。
问题是:当我通过lxml导入时，会导入额外的字符，这意味着我的真/假匹配永远不起作用。例如，lxml将创建['https://www.example.com/canonical.html']而不是https://www.example.com/canonical.html
new_canonical = tree.xpa
浏览 2提问于2019-12-28得票数 0
回答已采纳
2回答
我有以下HTML代码：
<table class="results">
<tr>
<td>
<a href="..">link</a><span>2nd Mar 2011</span><br>XYZ Consultancy Ltd<br>
<div>....</div>
</td>
</tr>
</table>
我正在使用lxml+python代码
浏览 0提问于2011-04-13得票数 1
回答已采纳
1回答
我试图从给定的XML文件中提取一些数据。因此，我必须选择一些特定的节点的属性值。我的XML如下所示：
<?xml version="1.0" encoding="UTF-8" ?>
<svg ....>
....
<g font-family="'BentonSans Medium'" font-size="12">
<text>bla bla bla</text>
....
</g>
浏览 6提问于2016-12-18得票数 2
回答已采纳
首先，我对python比较陌生。我需要从网页中的文本中提取一个链接，我在Python3.5中使用lxml，但我无法弄清楚。这就是我到目前为止所知道的：
url = someUrl
page = requests.get(url)
webpage = html.fromstring(page.content)
fulllinks = webpage.xpath('//a/@href')
fulltext = webpage.xpath('//a/text()')
for line in fulltext:
if line.startswith("
浏览 0提问于2017-03-14得票数 0
1回答
我正试图解析一个特定的网站表
在这个网站上，我需要使用python上的xlml和xpath获取列(名称和标题、职业、级别)。
到目前为止，我有这样的代码：
import lxml.html
import requests
from lxml import html
url = "http://www.tibia.com/community/?subtopic=guilds&page=view&GuildName=Black%20Widow"
html = lxml.html.parse(url)
list = html.xpath("//table[
浏览 3提问于2017-05-13得票数 0
回答已采纳
1回答
我有一个XML文件，如下所示：
<customer>
<customerdetails id="80">
<account id="910">
<attributes>
<premium>true</premium>
<type>mpset</type>
</attributes>
浏览 1提问于2017-03-09得票数 1
我正在尝试通过xpath文本包含内容来获取类似这样的元素。
<p><strong>Полное наименование</strong></p>
结果，我得到了这个错误。
In [4]: response.xpath("//p[contains(text(),'Полное')]").extract()
---------------------------------------------------------------------------
ValueError
浏览 1提问于2018-08-16得票数 4
回答已采纳
我想在h2标记中获取文本
<p>Mi. 5. Dezember 2018</p>
<h2>Slam: Jägerschlacht</h2>
<p>Einlass 19:30 Uhr // Beginn 20:30 Uhr</p>
<p>Tickets: 4€</p>
在页面之外使用xpath。问题是，我无法用所有的div找到正确的xpath。当我使用这个python代码的时候
from lxml import html
import requests
page = requests.get(
浏览 0提问于2018-11-29得票数 1
回答已采纳
1回答
我在python中使用cygwin。我无法安装lxml，因为它显示了一些库缺失错误。 creating tmp
cc -I/usr/include/libxml2 -c /tmp/xmlXPathInit94yfjj.c -o
tmp/xmlXPathInit94yfjj.o
/tmp/xmlXPathInit94yfjj.c:1:10: fatal error: **libxml/xpath.h: No such file
or directory**
#include "libxml/xpath.h"
^~~~~~~~~~~~~~~~
c
浏览 32提问于2019-03-19得票数 1
我正在使用Python和lxml尝试刮取。我遇到的问题是试图从这个超链接文本"Chapter02a“中获取URL。(请注意，我似乎无法让链接格式在这里工作)。
<li><a href="[Chapter02A](https://www.math.wisc.edu/~mstemper2/Math/Pinter/Chapter02A)">Examples of Operations</a></li>
我试过了
//ol[@id="ProbList"]/li/a/@href
但这只给了我"Chapter0
浏览 0提问于2019-02-15得票数 2
回答已采纳
1回答
我试图用将一个HTML表解析为python (2.7)。当我尝试使用字符串的前两种方法之一时(如示例中所示)，它的工作原理非常完美。但是，当我试图在etree.xml页面上使用urlib时，我会得到一个错误。我检查了每一个解决方案，我传递的变量也是str。关于下列代码：
from lxml import etree
import urllib
yearurl="http://www.boxofficemojo.com/yearly/chart/?yr=2014&p=.htm"
s=urllib.urlopen(yearurl).read()
print type (s)
浏览 2提问于2015-12-05得票数 0
回答已采纳
1回答
我试图用html代码解析一个页面，如下所示：
<html>
..
<h2><span id='identifiedid'>Identified Header<span>...</span></span></h2>
<ul>
<li><a href='links i want'></a>...</li>
<li><a href='links i want'></a>
浏览 2提问于2014-02-04得票数 1
回答已采纳
1回答
我正在尝试使用python脚本和lxml从网站中抓取天气数据。风速数据将被提取并附加到列表中，以供以后进行操作。我能够很好地获得我需要的信息，当它被格式化时：
<div class = "day-fcst">
<div class = "wind">
<div class = "gust">
"Gusts to 20-30mph"
</div>
</div>
</div>
然而，当出现低风时，网站在“阵风”分区下增加了一个子
浏览 1提问于2018-09-13得票数 0
回答已采纳
我在使用lxml获取和节点的文本值时遇到了问题，在lxml中XML文本中有名称空间。我使用findall('Status')，但结果总是为null。
我在end....Is中得到了以下工作代码--这是使用lxml获取节点值的正确方法？我能进一步改进吗？
import lxml
xml_string='<?xml version="1.0" encoding="UTF-8"?> <SCPP:Response xmlns:SCPP="http://www.SCPP.com/XMLSchema"> <
浏览 2提问于2014-02-05得票数 1
回答已采纳
我有一些HTML，我想从其中提取使用Python + lxml的文本内容
<html>
<body>
<p>Some text I DON'T want</p>
<div class="container">
<p>Some text I DO want</p>
<span>
<a href="#">A link I DO want</a>
</span>
浏览 2提问于2020-06-08得票数 0
回答已采纳
我正在使用Python & lxml，并且遇到了一个错误。
我的代码
>>>import urllib
>>>from lxml import html
>>>response = urllib.urlopen('http://www.edmunds.com/dealerships/Texas/Grapevine/GrapevineFordLincoln_1/fullservice-505318162.html').read()
>>>dom = html.fromstring(response)
浏览 3提问于2012-04-19得票数 2
回答已采纳
<img alt="MediaMarkt" border="0" e-editable="img" src="http://news-de.mediamarkt.de/custloads/298149669/vce/mediamarkt.png" style="display:block;" width="169"/> 我正在尝试从HTML，我有alt的值，然后使用它，我试图获得图像 company_name = "mediamarkt"
response.xpath(
浏览 73提问于2020-06-25得票数 2
回答已采纳
我正在尝试从instapaper.com中提取一些文本和链接。因此，我使用以下代码来完成这项工作：
>>> import lxml.html as lh
>>> doc = lh.parse("http://www.instapaper.com/u/folder/1227370/programming")
>>> text = doc.xpath(".//*[@id='bookmark_list']/*/div[3]/a/text()")
>>> len(text)
0
&g
浏览 0提问于2012-08-06得票数 0
回答已采纳
XPath './tbody/tr[position() = 1]'被火狐的XPath引擎所接受，但它在lxml 4.5.0 (libxml2 2.9.10；Python3.8.10；Ubuntu20.04.5)上被拒绝。
…
File "src/lxml/etree.pyx", line 1532, in lxml.etree._Element.find
File "src/lxml/_elementpath.py", line 323, in lxml._elementpath.find
File "src/lxml/
浏览 8提问于2022-10-18得票数 0
回答已采纳
5回答
我想使用python中的请求包从xpath中提取URL。我可以得到文本，但我没有尝试给出URL。有人能帮忙吗？
ipdb> webpage.xpath(xpath_url + '/text()')
['Text of the URL']
ipdb> webpage.xpath(xpath_url + '/a()')
*** lxml.etree.XPathEvalError: Invalid expression
ipdb> webpage.xpath(xpath_url + '/href()')
*** lxm
浏览 7提问于2015-11-20得票数 4
回答已采纳
输入文件实际上是多个XML文件，附加到一个文件中。(来源于)。这就是一个例子：
我正在使用lxml在python中使用以下内容为<applicant>中的所有子代和孙辈创建一个带有<applicant> xpath的字符串：
import urllib2, os, zipfile
from lxml import etree
count = 0
for item in xmlSplitter(zf.open(xml_file)):
count += 1
if count > 1: break
doc = etree.XML(item)
do
浏览 1提问于2012-02-29得票数 1
1回答
在python中，我有： response = s.get(url, allow_redirects=False, cookies=cookies, headers=headers)
soup = BeautifulSoup(response.text, 'lxml')
reg_cart = soup.find('form', attrs={"name": "regCart"})
registered_courses = [i.a.text for i in reg_cart.find_all('div', at
浏览 9提问于2021-01-20得票数 0
回答已采纳
1回答
我正在使用python的readability -IXML模块，我有一个从请求中加载的文本，使用下面的可读性，并希望使用xpath获得其内部元素
<a class="media__link" href="/news/world-us-canada-38977644" rev="hero1|headline">
Republicans seek Flynn investigation
浏览 0提问于2017-02-15得票数 0
我是一个全新的python新手，我需要一些使用lxml查找和迭代html标记的语法方面的帮助。下面是我正在处理的用例：
HTML文件的格式相当好(但并不完美)。屏幕上有多个表，一个表包含一组搜索结果，页眉和页脚各一个。每个结果行都包含搜索结果详细信息的链接。
我需要找到包含搜索结果行的中间表格(这是我能够找到的)：
self.mySearchTables1.findall(".//tr")I = self.mySearchTables = self.mySearchTree.findall(".// table ") self.myResultRows =tab
浏览 52提问于2009-03-02得票数 16
回答已采纳
我得到了这个xpath查询：
/html/body//tbody/tr[*]/td[*]/a[@title]/@href
它提取所有带有标题属性的链接-并在中给出href。
但是，我似乎不能在lxml中使用它。
from lxml import etree
parsedPage = etree.HTML(page) # Create parse tree from valid page.
# Xpath query
hyperlinks = parsedPage.xpath("/html/body//tbody/tr[*]/td[*]/a[@title]/@href")
f
浏览 0提问于2010-01-18得票数 5
回答已采纳
这是我的网页内容：
<input type="hidden" name="frm-id" value="AAA" id="frm-id" /></form></div><div id="container-getfocus_AAA" style="display:none"><input type="text" id="getfocus_txt_AAA" name="getfocus_txt_AAA"
浏览 0提问于2014-11-15得票数 0
回答已采纳
1回答
所以我有一个这样的html：
...
<ul class="myclass">
<li>blah</li>
<li>blah2</li>
</ul>
...
我想从类名为"myclass“的ul中获取文本"blah”和"blah2“。
因此，我尝试使用innerhtml()，但由于某种原因，它不适用于lxml。
我使用的是Python 3。
浏览 0提问于2013-01-12得票数 1
回答已采纳
我正在尝试解析OpenOffice ODS电子表格中的内容。ods格式本质上只是一个包含多个文档的zipfile。电子表格的内容存储在“content.xml”中。
import zipfile
from lxml import etree
zf = zipfile.ZipFile('spreadsheet.ods')
root = etree.parse(zf.open('content.xml'))
电子表格的内容在单元格中：
table = root.find('.//{urn:oasis:names:tc:opendocument:xmlns:
浏览 121提问于2010-11-18得票数 33
回答已采纳
3回答
我用Python语言中的lxml抓取网页。然而，为了获得表行的数量，我首先获得所有行，然后使用len()函数。我觉得这太浪费了，有没有其他方法来获取他们的数字(动态1)，以便进一步抓取？
import lxml.html
doc = ''
try:
doc = lxml.html.parse('url')
except SkipException: pass
if doc:
buf = ''
#get the total number of rows in table
tr = doc.xpath("
浏览 3提问于2012-09-22得票数 0
回答已采纳
我正在使用Python / lxml中的XPATH处理XML文件。
我可以使用以下代码在树的特定级别提取值：
file_name = input('Enter the file name, including .xml extension: ') # User inputs file name
print('Parsing ' + file_name)
from lxml import etree
parser = etree.XMLParser()
tree = etree.parse(file_name, parser)
r = tree.xpath(
浏览 3提问于2014-02-01得票数 0
回答已采纳
4回答
我正在努力理解发送给我的用于ACORD XML表单(保险中的常见格式)的XPath。他们发送给我的XPath (为了简洁起见被截断)：
./PersApplicationInfo/InsuredOrPrincipal[InsuredOrPrincipalInfo/InsuredOrPrincipalRoleCd="AN"]/GeneralPartyInfo
我遇到麻烦的地方是Python的告诉我[InsuredOrPrincipalInfo/InsuredOrPrincipalRoleCd="AN"]是一个invalid predicate。我在中找不到任何地方
浏览 11提问于2011-06-02得票数 7
回答已采纳
1回答
我用python编写了一个脚本，并结合lxml libary从html elements块中解析了一些html elements(本例中为80和100 )。我用xpaths做这项工作。当我选择使用.fromstring()时，我在下面的刮板工作中使用的两个xpaths都是毫不留情的。但是，当我选择使用从HTML导入的lxml.etree时，包含contains()表达式的xpath就会失败。结果是，当我在刮板中使用多个class名称时，它可以工作，但是当选择single class name out compound class names时，它会抛出一个错误。
在不使用compound cl
浏览 1提问于2018-06-01得票数 1
回答已采纳
我使用lxml解析web文档，我想获得<p>元素中的所有文本，所以我使用如下代码：
from lxml import etree
page = etree.HTML("<html><p>test1 <br /> test2</p></html>")
print page.xpath("//p")[0].text # this just print "test1" not "test1 <br/> test2"
问题是我想获取<p>
浏览 0提问于2015-04-10得票数 2
lxml在1.3版中显示以下代码行的错误：
self.doc.findall('.//field[@on_change]')
File "/home/.../code_generator/xmlGenerator.py", line 158, in processOnChange
onchangeNodes = self.doc.findall('.//field[@on_change]')
File "etree.pyx", line 1042, in etree._Element.findall
File "/us
浏览 0提问于2010-07-27得票数 0
回答已采纳
2回答
我目前正在学习如何使用XPath从超文本标记语言文档中提取信息。我使用的是python，没有遇到过获取网页标题之类的值的问题，但是当我尝试获取表格中特定单元格的文本时，我只是得到了一个空值。
这是我的代码，我使用chrome复制了我想要从中获取值的表格单元的XPath。
from lxml import html
import requests
page = requests.get('https://en.wikipedia.org/wiki/List_of_Olympic_Games_host_cities')
tree = html.fromstring(page.co
浏览 8提问于2018-02-20得票数 3
回答已采纳
2回答
我正在尝试使用Python中的lxml模块从中抓取数据。我想获取第一段中的文本，但下面的代码返回空值
from lxml import html
import requests
page = requests.get('http://www.thehindu.com/todays-paper/with-afspa-india-has-failed-statute-amnesty/article7376286.ece')
tree = html.fromstring(page.text)
data = tree.xpath('//*[@id="left-colu
浏览 3提问于2015-07-09得票数 1
1回答
我有一些HTML，我想去掉一些<b>子元素的<center>元素(它是遗留标记.)。
问题:当我使用、Python、和lxml删除子元素时，的一些包含<center>元素的文本消失了。
示例程序(带有简化的说明性标记)：
#!/usr/bin/env python3
from lxml import html, etree
from lxml.etree import tostring
html_snippet = """
<center>
<b>IT wisdoms</b>
&
浏览 1提问于2017-04-14得票数 3
回答已采纳
1回答
。
然而，在python中尝试使用lxml.html不起作用：
import requests
import lxml.html
s = requests.session()
page= s.get('http://lxml.de/')
html = lxml.html.fromstring(page.text)
p=html.xpath('p')
这里，p是一个空列表。
我需要用p=html.xpath('//p')代替。
有人知道为什么吗？
浏览 2提问于2017-09-17得票数 1
回答已采纳
我想从新闻网站RSS中提取内容，内容如下所示
<item>
<title>BPS: Kartu Bansos Bantu Turunkan Angka Gini Ratio</title>
<media:content url="/image.jpg" expression="full" type="image/jpeg"/> </item>
但是在使用像item.xpath('//media:content')这样的xpath之类的标记来解析信息时会引发错误。
Tra
浏览 5提问于2016-08-19得票数 0
回答已采纳
1回答
Python遍历tr元素
、、、
当我试图获得tr元素的父节点时，在迭代所有这些元素时遇到了一个问题。
这是我正在处理的一张基本桌子。
下面是我使用lxml获取父节点的Python脚本
import lxml.html
htm = lxml.html.parse('plaintable.htm')
tr = htm.xpath('//tr')
for x in tr:
tbody = tr.getparent()
if tbody.index(tr) == 1:
print ('Success!')
print ('Finishe
浏览 3提问于2016-07-09得票数 2
回答已采纳
3回答
如何选择没有HTML标记的文本
、、、、
我正在开发一个web刮刀(使用Python)，所以我有一块HTML，我试图从中提取文本。其中一个片段看起来如下所示：
<p class="something">This class has some <strong>text</strong> and a few <a href="http://www.example.com">links</a> in it.</p>
我想从这节课中提取课文。现在，我可以用一些类似于
//p[@class='something')]//tex
浏览 2提问于2015-04-01得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
