在Python中解析HTML
在Python中解析HTML，可以使用BeautifulSoup库。BeautifulSoup是一个Python库，用于从HTML或XML文件中提取数据。它可以很容易地解析和导航HTML文档，并提供了许多方法来搜索和操作文档中的数据。
以下是使用BeautifulSoup解析HTML的示例代码：
from bs4 import BeautifulSoup
html = """
<html>
<head>
<title>Example Page</title>
</head>
<body>
<h1>Hello, World!</h1>
<p>This is an example page.</p>
<ul>
<li>Item 1</li>
<li>Item 2</li>
<li>Item 3</li>
</ul>
</body>
</html>
"""
soup = BeautifulSoup(html, 'html.parser')
# 获取标题
title = soup.title.string
print(title)
# 获取h1标签
h1 = soup.h1.string
print(h1)
# 获取所有li标签
lis = soup.find_all('li')
for li in lis:
print(li.string)输出：
Example Page
Hello, World!
Item 1
Item 2
Item 3在这个示例中，我们首先导入BeautifulSoup库，并创建一个HTML字符串。然后，我们使用BeautifulSoup解析HTML字符串，并获取标题、h1标签和所有li标签的内容。最后，我们打印出这些内容。
BeautifulSoup提供了许多方法来搜索和操作HTML文档，例如find、find_all、select等。这些方法可以根据标签名、属性等条件进行搜索。此外，BeautifulSoup还提供了一些方法来操作文档，例如添加、删除、修改标签等。
推荐的腾讯云相关产品：
- 云服务器：提供高性能、稳定、安全、可扩展的云服务器，支持多种操作系统和自定义镜像。
- 对象存储：提供可靠、安全、高效的云存储服务，支持多种存储类型和文件访问方式。
- 数据库：提供多种数据库服务，包括关系型数据库、非关系型数据库和时序数据库等。
- 云函数：提供无服务器云函数服务，支持多种编程语言和触发方式。
产品介绍链接地址：
相关·内容
我试图解析几千个html文件并将变量转储到csv文件(excel电子表格)中。我遇到了几个障碍，但第一个是:我无法让它正确地解析文件。下面是一个简短的解释，python代码和回溯信息。
使用Python & Sublime解析html文件，我得到了几个错误。起作用的是:它运行良好，直到if '.html' in file:。它不会执行这个循环。它将很好地遍历print allFiles。它还创建csv文件并创建头(虽然不是在单独的列中，但我可以在后面询问)。
看起来问题就在if tree = ET.parse(HTML_PATH+"/"+file)中。我
浏览 2提问于2015-06-09得票数 2
回答已采纳
问题：我有一个html文件，它包含一些标记，现在我想找到一个带有类属性的标记(表)，它的值是“”，使用BeautifulSoup4.5.1，它在python3.5.2(Raspberry)中工作得很好，但是在python3.4.2(raspberry pi)中不工作，我想找出原因。
下面是示例html文件(test.html)：
<!DOCTYPE html>
<html>
<head>
<title>test</title>
</head>
<body>
<table class="ma
浏览 0提问于2016-11-22得票数 2
回答已采纳
在“lxml's ”中，它写道：
lxml可以通过BeautifulSoup模块与lxml.html.soupparser的解析功能进行接口。它提供了三个主要功能: file ()和parse()用于使用BeautifulSoup将字符串或文件解析为lxml.html文档；convert_tree()将现有的BeautifulSoup树转换为顶级元素的列表。
同时，BS‘还可以使用lxml作为解析器.
美丽的Soup支持Python标准库中包含的HTML解析器，但它也支持许多第三方Python解析器。一个是lxml解析器。
BS 还建议使用lxml作为速度解析器。
那么
浏览 2提问于2015-08-25得票数 3
回答已采纳
安装BeautifulSoup后，每当我在命令行中运行Python时，就会发出以下警告：
D:\Application\python\lib\site-packages\beautifulsoup4-4.4.1-py3.4.egg\bs4\__init__.py:166:
UserWarning: No parser was explicitly specified, so I'm using the best
available HTML parser for this system ("html.parser"). This usually isn't a
浏览 4提问于2015-11-04得票数 67
回答已采纳
我在python中有一个字符串，必须写到一个HTML文件中。Python中是否有接受字符串的例程，如
"( Root ( AB ( ABC ) ( CBA ) ) ( CD ( CDE ) ( FGH ) ) )"。
并将其以缩进形式写入HTML文件？
(Root
(AB
(ABC)
(CBA)
)
(CD
(CDE)
(FGH)
)
)
浏览 11提问于2017-05-26得票数 0
回答已采纳
1回答
我试图使用urllib2和ElementTree在python中解析HTML页面，并且我在解析该HTML时遇到了困难。在引用的字符串中包含"&“，但ElementTree为包含&的行抛出parseError。
剧本：
import urllib2
url = 'http://eciresults.nic.in/ConstituencywiseU011.htm'
req = urllib2.Request(url, headers={'Content-type': 'text/xml'})
r = urllib2.urlo
浏览 6提问于2014-05-17得票数 3
回答已采纳
我正在尝试使用Python从web内容中添加更多的web链接。这是我的python脚本
webUrlList = re.findall(r"(?<=<a href=\").+(.html|/)(?=\")", content)
print webUrlList
匹配的webUrlList就像：
['/', '.html', '/', '/', '/', '/',...]
请帮助我找出这个脚本产生上述输出的原因。
目标weburl字符串示例：
<a
浏览 4提问于2016-07-03得票数 0
回答已采纳
我有一个脚本，它在Python2.7.3和2.7.5+中没有重大缺陷，但不能使用2.7.6。我怀疑这可能与Beautifulsoup如何处理unicode有关，但我不确定。
它基本上是这样做的：
# harvest HTML, store it in the variable html
html = harvest()
# the HTML is a string of ascii characters (no extended anything)
soup = BeautifulSoup(html)
trs = soup.find_all('tr',event_attr_id
浏览 3提问于2014-04-09得票数 0
回答已采纳
3回答
我写了一个python脚本，处理大量下载的网页HTML(120K页面)。我需要解析它们并从中提取一些信息。我试过使用BeautifulSoup，它简单直观，但运行起来似乎超级慢。因为这是必须在弱机器(在amazon上)上例行运行的东西，所以速度很重要。在python中有没有比BeautifulSoup快得多的HTML/XML解析器？或者我必须求助于正则表达式解析..
浏览 0提问于2012-03-13得票数 14
回答已采纳
我一直使用html链接网页，但最近看到有人使用python来链接html页面。在python/flask中通过html进行链接有没有额外的好处？
浏览 0提问于2020-06-05得票数 1
我试图使用NLTK库来训练数据。我一步一步地走下去。我完成了第一步，但是在执行第二步时，我得到了以下错误：
TypeError: a bytes-like object is required, not 'list'
我尽了最大努力去纠正它，但我又犯了同样的错误。
这是我的代码：
from bs4 import BeautifulSoup
import urllib.request
response = urllib.request.urlopen('http://php.net/')
html = response.read()
soup = Beauti
浏览 9提问于2018-01-10得票数 4
回答已采纳
4回答
在过去的几天里我开始学习蟒蛇。我想知道用python编写爬虫的等效方法。
所以在红宝石里我用：
nokogiri，用于爬行html并通过css标记获取内容。
用于从url获取JSON数据的Net::HTTP和Net::HTTP::Get.new(uri.request_uri).body
在python中，它们的等价物是什么？
浏览 6提问于2012-10-15得票数 2
回答已采纳
我有一个python脚本，这个python脚本将调用本地存储在计算机上的html文件(即网页)。html-file执行一些计算(jquery、javascript等)，并将结果传递回python脚本。我不想更改设置(python脚本调用html-file，结果被传递回python- script )，所以请不要问为什么。
有人能告诉我怎么解决这个问题吗？如何将html-file的结果传递给调用python的函数？这两周以来一直困扰着我。谢谢!
浏览 30提问于2011-08-23得票数 2
我想在python中创建一个引擎，它可以用json中的对象替换模板文件中的标记？我已经查看了使用regex的基于python的引擎，但是它们过于复杂，我对如何开始执行它感到有点困惑。任何要启动的代码都会有帮助
示例json文件
{
"webbpage": {
"title": "Stackoverflow"
},
"Songs": {
"name": "Mr Crowley"
},
"CoverArtists": [
{ "name
浏览 3提问于2013-12-13得票数 4
回答已采纳
我已经在网上和StackOverflow上搜索了一堆，但仍然没有找到答案。
我有两个HTML something.html (针对用户)和something_test.html (用于合作开发人员)，它们都使用POST将表单中的输入传递给同一个python脚本。我的问题是如何在python脚本中知道哪个HTML表单发送了输入？在我的例子中，如果它是‘Sometest.html’，那么显示的输出将更加冗长。
是存储在某个变量中的表单名，我可以在python脚本中解析它。
提前谢谢你的帮助。
浏览 3提问于2018-12-04得票数 0
回答已采纳
2回答
我有一个网站更新程序(人们可以更新内容(文本)，而不是网站的外观)，它有HTML，javascript作为前端语言，python作为后端/服务器端。
我发现从前端更新HTML非常困难，因为当我从ele.innerHTML或$(Ele)获取更新的HTML时，.html()会根据浏览器(该死的IE)进行修改。
因此，我决定从后端更新，即用Python更新。
您认为解析HTML和抓取信息的最好的python模块是什么？
我的要求是：
该模块至少在Python2.5或更低版本(因为我的主机)中是，我将解析&查找类的所有HTML元素-类中的每个元素“可更新”：提取innerText(不仅仅是HT
浏览 8提问于2011-10-04得票数 5
回答已采纳
我对Python完全陌生，并且在Windows上使用Python3.1 (pywin)。我需要解析一些HTML，本质上是特定HTML标记之间的额外值，并且对我的选项数组感到困惑，我发现的所有东西都适合Python2.x。我读过关于Beautiful、HTML5Lib和lxml的文章，但是我不知道如何在Windows上安装它们。
问题：
您推荐什么HTML解析器？
我怎么安装它？(温柔点，我对Python完全陌生，记住我在Windows上)
您是否有一个简单的示例，说明如何使用推荐的库从特定的URL中捕获HTML并返回值，例如：
(假设我们想返回"/blahblah&
浏览 13提问于2010-03-24得票数 26
回答已采纳
1回答
在使用Flask的API测试中，我有一些在响应中返回HTML的API。在API测试时，我只检查响应中的状态码'200‘。但从现在开始，我还想验证API返回的数据。是否可以验证API返回的HTML
我正在使用python unittest来自动化API测试。
浏览 0提问于2016-12-28得票数 1
2回答
python请求链接头
、、、
我正在尝试寻找最好的方法来捕获响应头下面列出的链接，就像这个一样，我使用的是python请求模块。下面是Python请求页面上具有链接标头部分的链接: docs.python-requests.org/en/latest/user/advanced/
但是，在我的例子中，我的响应头包含如下链接：
{'content-length': '12276', 'via': '1.1 varnish-v4', 'links': '<http://justblahblahblah.com/link8.html&g
浏览 2提问于2015-08-31得票数 26
回答已采纳
3回答
有了jquery，使用选择器技术在另一个元素中插入一些元素是非常容易的，我想知道是否有任何python库可以做类似于jquery的事情，原因是我希望服务器端的python程序产生静态页面，它需要解析html并在其中插入一些东西。
或者其他选择，根本不用python语言？
编辑:为了清楚起见，我想用python来写下面的程序：
h = html.parse('temp.html')
h.find('#idnum').html('<b>my html generated</b>')
h.close()
浏览 3提问于2011-01-06得票数 2
回答已采纳
在.tsv文件中有一系列由选项卡分隔的html片段。下面是其中一个片段的示例：
<li>
<p>Create a list of letters, <code>lst</code> from the string <code>strng = "abc"</code>.</p>
<ul>
<li>Use the list constructor, <code>list()</code>, to create
浏览 4提问于2019-07-03得票数 0
回答已采纳
1回答
我对在两个不同的环境中编写的以下HTML代码的行为完全感到困惑，需要帮助找到造成这种差异的根本原因。
import sys
import bs4
import md5
import logging
from urllib2 import urlopen
from platform import platform
# Log particulars of the environment
logging.warning("OS platform is %s" %platform())
logging.warning("Python version is %s" %
浏览 5提问于2015-09-18得票数 2
回答已采纳
我可以访问python后端中的Response对象来返回HTML页面，等等。我可以声明标题、内容类型等等。
与其重新设计Python来使用像Django/Flask这样的东西(这将允许我在后端解析JSON数据并直接停留在页面上)，我是否可以添加一个任意的响应头键来保存需要加载到页面上的初始JSON，然后用我的AngularJS解析那个JSON呢？或者这是一个糟糕的实践，/a懒惰和肮脏的黑客？
我返回的HTML页面包含了调用JS的所有必要标记，这些标记使应用程序运行并在用户与应用程序交互时执行Ajax请求，但我确实希望在初始加载期间传递JSON，而无需重新构建Python如何为HTML文件/模板
浏览 0提问于2017-08-05得票数 0
回答已采纳
2回答
我正在做一个使用Raspberry-Pi的数字标牌项目。R将连接到HDMI显示器和互联网.R中将有一个XML文件和一个自行设计的HTML网页，XML文件将经常从远程终端更新。
我的想法是使用Python (lxml)解析XML文件，并将分析过的数据传递给我的本地HTML网页，以便它能够在R的web浏览器中显示这些数据。
我能够使用Python (lxml)解析XML文件。但是，我应该使用哪些工具在本地HTML网页中显示这个解析的内容(大部分是字符串)？
这个问题听起来可能很琐碎，但我对这个领域非常陌生，在任何地方都找不到明确的答案。还有一些方法使用PHP解析XML，然后将其传递给HTML页面，
浏览 0提问于2015-02-04得票数 2
回答已采纳
下面是一些HTML：
<ol><ul><li>item</li></ul></ol>
还有一些用lxml解析并重新打印它的python 3代码：
import sys
from lxml import etree, html
document_root = html.fromstring(sys.stdin.read())
print(etree.tostring(document_root, encoding='unicode'))
这是输出：
<div><ol/><ul&
浏览 3提问于2021-07-26得票数 1
回答已采纳
4回答
我有一些随机的HTML，我使用BeautifulSoup来解析它，但是在大多数情况下(>70%)它会阻塞。我试着用了3.0.8和3.2.0漂亮汤( 3.1.0以上有一些问题)，但结果几乎相同。
我可以从我的头脑中回忆起Python中可用的几个HTML解析器选项：
BeautifulSoup
lxml
吡喃查询
我打算测试所有这些，但是我想知道在您的测试中哪一个是最宽容的，甚至可以尝试解析糟糕的HTML。
浏览 3提问于2011-07-29得票数 4
回答已采纳
3回答
我需要在python的小脚本。需要读取web文件中的自定义块。
#!/usr/bin/python
# -*- coding: utf-8 -*-
import urllib2
req = urllib2.Request('http://target.com')
response = urllib2.urlopen(req)
the_page = response.read()
print the_page # Here is all page source with html tags, but
# i need read only secti
浏览 1提问于2010-12-20得票数 2
回答已采纳
我正在尝试解析google.com的xml，但是我得到了一个‘格式不正确’的错误。为什么会这样呢？谢谢 ➜ testing cat code.py
from urllib.request import urlopen; from xml.etree.ElementTree import fromstring
fromstring(urlopen('https://www.google.com').read().replace(b'<!doctype html>',b'<!DOCTYPE html>'))
➜ test
浏览 66提问于2020-06-10得票数 1
回答已采纳
1回答
from HTMLParser import HTMLParser
class HTMLParserDos(HTMLParser):
full_text = ""
def handle_data(self, data):
self.full_text += data
return self.full_text
h = HTMLParserDos()
file = open('emails.txt', 'r')
h.feed(file.read())
file.close()
print
浏览 1提问于2014-04-15得票数 0
我希望将字典列表从JavaScript+HTML传递给Python+Flask，并将其用作字典列表。
这是我的JavaScript：
List = [];
function AddN(x, y, List, Field,selected = false) {
List.push({
id: ID,
x: x,
y: y,
neighbour: [ID],
selected: selected
浏览 3提问于2020-05-02得票数 1
回答已采纳
我正在尝试使用Python3中的库解析一个html页面。函数HTMLParser.()返回所解析的最后一个标记的行号和偏移量。
例如，我知道我想要的“字符串”开始于第10行偏移量5，结束于第30行偏移量10如何获得从第10行偏移量5到第30行偏移量10的子串？
谢谢。
html = 'this holds the entire html code'
MyParser.feed(html) #now the parser works its magic
start = (10,5) #this is returned from HTMLParser.getpos(), 10 is
浏览 1提问于2015-04-01得票数 0
2回答
我正在使用windows 7、python3和WAMP2.2。
很难让本地主机显示Python文件。为了安装，我想在浏览器中运行以下python文件：
print ("Content-type:text/html\r\n\r\n")
print ("<html>")
print ("<head>")
print ("</head>")
print ("<body>")
print ("<h2> Hello world </h2>"
浏览 3提问于2015-05-28得票数 0
回答已采纳
我有一串HTML元素
HTMLstr = """
<div class='column span4 ui-sortable' id='column1'></div>
<div class='column span4 ui-sortable' id='column2'>
<div class='portlet ui-widget ui-widget-content ui-helper-clearfix ui-corner-all
浏览 2提问于2013-09-10得票数 3
我一直在学习一门课程，我不明白express是如何正确地将请求体的JSON中的值映射到常量变量数组的。
post请求正文中的原始JSON为：
{
"status":"Systems Engineer",
"skills":"HTML ,CSS, Python, Machine Learning"
}
在server.js中，我已经将中间件初始化为：
app.use(express.json({ extended: false }));
在profile.js文件中的后端：
const {
company,
浏览 21提问于2019-11-11得票数 1
回答已采纳
2回答
我正在尝试使用我在几个帖子中推荐的MLStripper类来从电子邮件中删除html以获得纯文本。由于"@“符号，strip_tags函数在试图解析时遇到了一个问题。我想这个类不够强大，不能只解析有效的html标记，对于如何修复下面的"@“或者另一个库从文本中删除html有什么建议吗？我还需要移除类似&之类的东西。
Python:
from HTMLParser import HTMLParser
class MLStripper(HTMLParser):
def __init__(self):
self.res
浏览 2提问于2012-11-15得票数 1
1回答
我只是在找一些关于python web抓取的信息。我正在尝试从时间表中获取所有数据，我想让课程与其开始的时间联系起来。查看html，有多个表(表中的表)。我计划将Google App Engine与Python (或许也包括BeautifulSoup )一起使用。对最好的方法有什么建议吗？
谢谢
更新：
我已经设法使用以下代码从表中提取了所需的数据：
import urllib
from lxml import etree
import StringIO
url = "http://ttcache.dcu.ie/Reporting/Individual;Locations;id;lg
浏览 0提问于2013-03-15得票数 1
回答已采纳
2回答
用例：
失败使用lxml解析。
...
/opt/python-env/ciur/local/lib/python2.7/site-packages/html5lib/html5parser.py:468: in processComment
self.tree.insertComment(token, self.tree.openElements[-1])
/opt/python-env/ciur/local/lib/python2.7/site-packages/html5lib/treebuilders/etree_lxml.py:312: in insertCommentMai
浏览 3提问于2016-01-04得票数 1
我正在尝试访问我的电子邮件中的链接，这是我在Gmail帐户中从特定电子邮件地址获得的链接。到目前为止，通过使用GMAIL api，我可以从文档中使用python函数ListMessagesMatchingQuery获取电子邮件id
然后，从这里，我可以使用python函数GetMessage从文档检索电子邮件的内容。
然而，内容的格式是不够的。我想要得到的是从电子邮件内容中的链接，这样我就可以访问它的HTML页面，然后抓取它。
谢谢
浏览 0提问于2018-10-03得票数 0
2回答
我对python很陌生，我正在尝试从下面的站点抓取数据。虽然这段代码适用于不同的站点，但我无法让它适用于nextgen。有谁想过为什么吗？下面是我的代码和我得到的错误
import pandas as pd
import numpy as np
import html5lib
urlwk1 = 'https://nextgenstats.nfl.com/stats/receiving/2020/1'
urlwk2 = 'https://nextgenstats.nfl.com/stats/receiving/2020/2'
df11 = pd.read_ht
浏览 4提问于2020-09-27得票数 1
应该发生的事情：在上运行这个python程序，并试图将"file_name“从HTML返回到我的python脚本中，以便我可以在另一个python函数中使用它。(例如如果我在表单中的“文件名：”框中提交了"myFile“，我希望我的myFile脚本能够正确地将"myFile”发送到我的python。
问题:当我运行脚本并将一个字符串提交到HTML ("file_name")并要求我的脚本返回这个值时，它将返回"None“。我试图将其更改为POST请求，但这也解决不了问题。
HTML页面上的：
<!DOCTYPE html>
<h
浏览 1提问于2017-07-27得票数 1
我在Python2.7中有以下简单代码，运行在Windows 7机器上：
from urllib2 import urlopen
from bs4 import BeautifulSoup
from HTMLParser import HTMLParser
def main():
html_parser = HTMLParser()
soup = BeautifulSoup(urlopen("http://www.amazon.com/gp/bestsellers/").read())
categories = []
for catego
浏览 4提问于2015-05-15得票数 1
回答已采纳
我正在使用urllib2.request查询web服务并接收XML。如果我违反了web服务的速率限制(1个调用/秒)，我会收到HTML回复，说我违反了速率限制。
即使我可以在每次调用后使用time.sleep() 2-3秒，但无论出于什么原因，我仍然违反了速率限制。
为了测试我的响应是XML还是HTML，我使用了xml.dom.minidom()，然后测试是否存在html元素
try:
dom = xml.dom.minidom.parseString(response_text)
except xml.parsers.expat.ExpatError:
return Fa
浏览 1提问于2011-05-07得票数 1
1回答
我目前正在使用Flask和python制作覆盆子圆周率。我已经做了一个html模板，它从python脚本中获取一些信息。我还可以显示一个图像，但前提是它被硬编码为src='5.jpg‘。当我尝试动态地做它时，它不起作用。有没有人可以帮我在python文件中设置它
<img src="{{url_for('static', filename='{{side}}.jpg')}}" />
如果我将{{side}}更改为5，这是不起作用的。我知道我正在将{{side}}发送到html，因为它会将其输出到
浏览 1提问于2017-04-03得票数 1
2回答
什么是漂亮的汤装订法？
、、、
我正在试验，这是一个基于漂亮的汤库的新的python库。我试图通过打开html页面并在django应用程序中返回它来测试它，但是我想不出如何完成这个最简单的任务。我的django应用程序包含：
def index(request):
p=str(request.POST.get('p', False)) # p='https://www.yahoo.com/'
browser = RoboBrowser(history=True)
browser.open(p)
html = browser.find_all
r
浏览 1提问于2014-05-01得票数 1
回答已采纳
2回答
因此，我最近发现了mod_python，这很好，因为重写我所拥有的并通过Apache执行的PHP代码并不困难。但是，我刚刚发现我的托管服务(HostGator)不支持这个模块，因为它们有。
这就引出了一个问题：
如果不使用Django、Pylons等工具，是否有办法从HTML代码中调用python例程服务器端并使其返回web内容？
示例：
简单形式
<form name="message" action="directory/pythonscript.py/function" method="POST">
其中，表单在提交时解析表单中
浏览 0提问于2013-08-14得票数 1
回答已采纳
5回答
我需要在Java中为一个非常简化的类似html的标记语言版本快速构建一个解析器。在python中，我会使用pyparsing库来做这件事。Java也有类似的东西吗？请不要建议已经存在的用于html解析的库，我的应用程序是一个学校作业，它将演示如何使用访问者模式遍历对象树和序列化到文本，所以我在这里不是在现实世界中思考。基本上，我需要的只是标签、属性和文本节点。
浏览 0提问于2008-11-29得票数 7
回答已采纳
我在C#中使用WebClient获得了一段Youtube视频的html文档。现在，我试图从文档中获取一条Youtube注释，但它不起作用，因为使用相同元素(yt-formatted string)的不同注释具有不同的属性(class、id、span等)。
尝试使用".“在正则表达式中，有点像在python中使用re模块:re.compile(r(‘.))在python中，它接受空格、符号和字符，并为我完成它们。我甚至不确定这是否存在于C#中，但我希望如此。
WebClient web = new WebClient();
String content =
浏览 0提问于2019-02-02得票数 0
我正在遵循一个网络教程，尝试使用BeautifulSoup4从Jupyterlab中的html文件(存储在我的本地PC上)中提取数据，如下所示： from bs4 import BeautifulSoup
with open ('simple.html') as html_file:
simple = BeautifulSoup('html_file','lxml')
print(simple.prettify()) 不管html文件中是什么，而不是预期的html，我都会得到以下输出 <html>
<body&g
浏览 19提问于2020-10-03得票数 1
回答已采纳
1回答
我使用BeautifulSoup的API在Python中创建了一个API爬虫。网络爬虫在爬行某些站点时使用相同的头信息/用户代理，我注意到当我在两台不同的机器上运行相同的脚本(一个在我的笔记本上，另一个在服务器上)时，它们会产生不同的结果。所谓“不同的结果”，我的意思是，运行在服务器上的脚本不爬行到站点上的所有链接。
例如，如果我想爬Macys.com，笔记本电脑上的脚本就会爬到每个部门(家庭、床上、女人、男人等等)。而在服务器上运行的脚本会错过洗浴部。这让我很困惑，因为它们都使用相同的脚本，具有相同的头信息/用户代理来爬行相同的站点。我想不出任何其他可能导致这种情况的设置。
下面是我如何在p
浏览 4提问于2014-11-22得票数 3
回答已采纳
1回答
是否有方法获取文档中元素的原始位置，即。在Python中解析html/xml时，开始和结束字符索引？
我已经翻阅了lxml文档，但什么也找不到。
eg.
<a>1</a><b>2</b>
..。
print tree.find('b').original_position
# result: (9, 16)
浏览 3提问于2011-11-24得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
