谢谢你的帮助。
我正在尝试使用BeautifulSoup和Python从网页中提取文本。我已经做了很多次不同的网页，总是得到我需要的信息，但这一次，从网页的html源代码有很多脚本和其他东西。这是我想从以下页面中提取信息的页面之一：
这个网页的问题在于它有很多iframe标记，每个标签都有一个开始标记(html)和一个关闭标记(/html)，我可以从主页中提取信息，但不能提取隐藏在第二个选项卡和隐藏显示文本区域下的信息。
例如，当我寻找：
soup.find('div',{'name':"Pregunta_452Respuesta_826"})
浏览 5提问于2015-10-16得票数 0
回答已采纳
2回答
这是我正在处理的HTML源代码： <a href="/people/charles-adams" class="gridlist__link"> 所以我想要做的是提取href属性，在本例中应该是"/people/charles-adams"，并带有漂亮的So模块。我需要这个，因为我想获得的特定网页的soup.findAll方法的html源代码。但是我正在努力从网页中提取这样的属性。有人能帮我解决这个问题吗？ 附言:我正在使用这个方法，通过Python模块beautifulSoup来获取html源代码： request = reque
浏览 24提问于2019-09-23得票数 0
1回答
我正在执行网络抓取在R(使用rvest)的一个特定的数据集在各种网页上。所有的网页都是相同格式的，所以我可以从每个页面的位置提取目标数据，使用正确的节点，没有问题。然而，有100个不同的网页，都有相同的网址(除了结尾)。是否有一种方法可以使用循环自动执行流程？
我使用以下代码：
webpage_urls <- paste0("https://exampleurl=", endings)
其中，endings是给出单独网页的100个结尾的向量。
然后
htmltemplate <- read_html(webpage_urls)
然而，我随后收到了Error: `x`
浏览 11提问于2022-07-05得票数 1
回答已采纳
所有人！
我需要一点帮助..。
需要提取--从表中提取所有行，但它只提取10 (10) results...why？
这是我使用的代码：
library(rvest)
URL <- "https://cip.org.pt/associativismo/associados/"
CIP_html <- read_html(URL)
CIP_html
CIP_html %>%
html_nodes("table") %>%
html_table
也在其他网页上试过代码，效果很好.提取所有的行。
我不知道这件事有什么问题。
有
浏览 2提问于2021-11-25得票数 0
我有多个网页，只包含一个数字的HTML代码，没有其他的。这些是从我制造的物联网设备上更新的。我也有一个主要的数据网页，这是为了在一个页面上显示所有的数据。但是，我不知道如何在主数据网页的HTML代码中提取数据网页的数量。
我发现唯一的解决办法是使用iframe，但这似乎非常笨拙，而且不“美观”。有没有办法使用HTML，或者javascript来做到这一点？我对web开发非常陌生。唯一的限制是我不能更改从IoT设备上传数据的方式，因此必须从只包含数字的单个数据网页中提取数据。
提前感谢:)
浏览 0提问于2020-05-12得票数 1
我的目标是从网页中提取结构化数据。我使用的是中提到的代码。我在我的Spring项目中使用了库依赖。
通过使用它，我能够从网页中提取HTML5微数据(Schema.org)。但是，我无法提取网页中存在的JSON-LD格式。当我查看的文档时，它支持JSON-LD格式。没有找到更多的文档。
浏览 3提问于2017-10-09得票数 8
我正试着从一个网页上提取两段文字
网页
page <- read_html("https://www.decathlon.fr/p/kettlebell-12kg/_/R-p-152874")
和我想要提取的部分文本的html源代码，
<p class="ab-info-stock__text ab-test-info-red">Rupture de stock sur cette taille</p>
我试着用rvest来提取它，但它似乎不起作用
library(rvest)
element = page %>% html_
浏览 1提问于2021-01-14得票数 0
1回答
我们目前正在使用MSXML2.XMLHTTP.Using从网页中提取数据--我的代码--所有数据都已被提取，除了rvw-cnt-tx类数据。我想从下面的url中提取43个评论值。
url="“
网页html：
<a href="/lc-waikiki/erkek-cocuk-lacivert-takim-p-78215759/yorumlar?boutiqueId=555784&merchantId=4171&v=11-12-yas" class="rvw-cnt-tx">43 Reviews </a
浏览 2提问于2021-02-22得票数 0
回答已采纳
2回答
我需要帮助从网页提取kmz和压缩文件。下面的代码能够提取表，但不能提取表中的文件和链接。我可以在我的代码中包含什么，以便输出表也包含链接和文件，而不仅仅是纯文本？
网页：
https://www.nhc.noaa.gov/gis/
代码：
import pandas as pd
url = 'https://www.nhc.noaa.gov/gis/'
result = pd.read_html(url)[0]
result
浏览 31提问于2020-08-02得票数 3
回答已采纳
我想从这个网页的不同超链接中提取数据。
我使用下面的代码提取超链接的表。
url <- "https://www.maritime-database.com/company.php?cid=66304"
webpage<-read_html(URL)
df <-
webpage %>%
html_node("table") %>%
html_table(fill=TRUE)
从这段代码中，我能够提取表中的所有超链接，但我不知道如何从这个超链接中提取数据。
对于这个链接，我想提取图中给出的数据。
=
浏览 1提问于2020-05-19得票数 0
回答已采纳
无法从网页中提取字段数据，这不是常见的web抓取问题。它也与javascript相关联。我也尝试了python-request，但是无法解决这个问题。
我正在尝试从网页中提取doi。doi位于javascript中。我能够读懂页面，代码一直运行到{print(Soup)}。当我试图提取DOI值(在给定代码中，示例网页的doi如下：“doi”：“10.1109/LAwr2014.2364296”)时，我想打印“10.1109/LAwr2014.2364296”，这是从网页中提取的。
import urllib
from bs4 import BeautifulSoup
web_page = &#
浏览 4提问于2019-02-09得票数 0
我正在尝试使用JAVA提取网页的HTML内容。但问题是，我试图加载的页面，如果用户向下滚动，页面会不断扩大。所以我的代码只能提取页面第一次加载的内容。如何提取HTML代码的其余部分，它通常是在用户向下滚动时生成的。
浏览 0提问于2012-06-28得票数 2
我试图在网页上刮多个类似HTML代码的网页。我已经可以得到每个页面的HTML，我可以手动找到代码字符串中我需要的信息所在的部分--我只是不知道如何正确地提取它。我相信我的问题可以用REGEX解决，实际上，但我不知道如何解决。
我在使用Python 3
我是这样提取页面的HTML代码的：
import requests
resp = requests.get("https://statusinvest.com.br/fundos-imobiliarios/knri11",headers={'User-Agent': 'Mozilla/5.0'})
浏览 3提问于2022-11-28得票数 2
1回答
我正在运行日志分析的ELK堆栈，其中kibana被用作数据visualization.Now，我想从kibana网页中提取一些字段。
我想提取CU和计数字段，正如你所看到的，我已经附上了网页的屏幕截图和相应的html源代码。
现在，我尝试使用python和"Beautiful soap“库删除相同的网页，但无论我看到的是什么代码，都是不同的。
请help.also，你能建议我一些其他的方法，我可以通过这些方法来提取必填字段？
浏览 0提问于2017-10-17得票数 0
我一直在尝试提取网页中数据丰富的节点。有没有办法从网页中提取文本？
import requests
import bs4
from bs4 import BeautifulSoup
import urllib2
url = "http://www.amazon.in"
r = requests.get(url)
html = BeautifulSoup(r.content)
print html.title.text
我可以打印网页的标题，你能帮我提取网页中的文本(只有文本)吗？
提前感谢
浏览 7提问于2015-04-22得票数 1
回答已采纳
1回答
许多年前，我通过查看HTML源代码中的数据，经常使用Perl和Python在一些网站上爬行。
现在，我想做另一个涉及从以下方面提取数字数据的个人项目：
中没有一个网页的HTML源代码包含数字数据。有办法提取这些数据吗？如果是，在哪里？
我觉得一定有办法，因为这些都是浏览器需要呈现图表的前端信息。
(我在这些网页上找不到提供给开发人员的原始数据。所以我想我必须自己提取数据。)
浏览 7提问于2016-08-11得票数 0
回答已采纳
1回答
我想从各种评论网站中提取某些内容(评论信息)。
首先。我开始只用一个网页提取内容。我可以做到这一点，没有任何问题。我已经写了一段python代码来实现同样的功能。然而，我不确定如何使用相同的python模块从多个网站中提取。
我最初使用下面的代码来提取网站的评论：
from webscraping import download, xpath
D = download.Download()
# download and cache the Google Code webpage
html = D.get('http://code.google.com/p/webscraping'
浏览 0提问于2017-04-25得票数 2
2回答
我从网页中提取了html源代码，想知道如何从该源中提取文本，如电子邮件地址。我正在考虑像这样使用jsoup
public static String html2text(String html) {
return Jsoup.parse(html).text();
}
但这也会给我带来很多不想要的文本。
浏览 1提问于2012-02-10得票数 0
回答已采纳
2回答
我想转换成一个编程的HTML网页网页。
我搜索了许多网站，但只提供了细节，如转换为pdf格式等。
对于我的程序，现在我将一个页面保存为.html，然后提取必要的数据。
有没有办法把网页转换成html页面？有谁可以帮我？
任何帮助都将不胜感激。
好吧，我可以详细解释一下
我提取的用户名谁喜欢的网页，我是管理员。所以我找到了一个链接，在那里我可以找到用户列表。因此，为了获得它，首先我必须将它保存为.html页面，然后提取所需的数据。因此，这里我将其转换为.html，然后提取数据。但我需要的是使用我的程序将该页面转换为HTML页面。我希望我的问题现在清楚了。
浏览 3提问于2014-04-24得票数 1
1回答
我用Perl构建了一个网络爬虫。
我在用
HTML::ContentExtractor
LWP::UserAgent
HTML::LinkExtor
从网页中提取文本。
示例代码的参考链接
发行：
问题是，它不会从具有.aspx扩展名的网页中获取文本。它非常适合其他网页，我不知道为什么这个爬虫在aspx页面上会失败。
浏览 8提问于2014-04-25得票数 0
1回答
我正在尝试提取网页上的所有链接："“
对于其他网页，我使用了下面的rvest pacakge方法，效果很好：
url_page<-"https://coronavirus.data.gov.uk/archive/"
webpage<-read_html(url_page)
all_links<-html_attr(html_nodes(webpage, "a"), "href")
但是，这会为该网页生成一个空值。例如，它对"“很有效。
我认为这可能与启用了javascript的网页有关。有人知道如何使用R来提取这
浏览 1提问于2020-05-31得票数 0
1回答
如何提取匹配模式的URL
、、、
我试图使用以下模式从网页中提取URL：
“-.html”
我的当前代码提取所有链接。如何将代码更改为只提取与模式匹配的URL？谢谢!
import requests
from bs4 import BeautifulSoup
def find_governor_races(html):
url = html
base_url = 'http://www.realclearpolitics.com/'
page = requests.get(html).text
soup = BeautifulSoup(page,'html.pa
浏览 5提问于2016-05-17得票数 2
回答已采纳
3回答
我正在写一个程序(在Java中)，需要从网页提取链接。我使用的是htmlParser ()，但我只能提取html链接(用<a href="...">定义)，并且我不知道如何处理javascript代码来提取链接。你能帮我吗？？
浏览 0提问于2009-08-11得票数 0
回答已采纳
2回答
我得到了一个网页来源，我想从网页上的链接中提取数字。名字/姓氏嵌入在链接中。我设法解析了页面中的所有链接，通过先保存代码，然后使用cat和grep，我得到了以下形式的结果
<a href="/apartments/rent/city-firstLastname.html">
cat webpage | grep apartments | \
while read line; do
echo ${line%.html}
done
如何从while循环中提取和回显名字和姓氏？我猜我的变量操作遗漏了一些东西谢谢
浏览 2提问于2014-10-24得票数 0
(我是Python的新手。阅读BeautifulSoup DOC，但是仍然不知道如何使用它)。
我试图使用BeautifulSoup从网页中提取一些信息。
网页的HTML源代码包含：
<TD class=genmed align=left><A href="http://m.harveynorman.com.au/ipod-shuffle-2gb.html">1015362</A></TD>
<TD class=genmed align=left><A href="http://m.harveynorm
浏览 1提问于2013-11-12得票数 0
回答已采纳
我正在开发一个应用程序，它需要：
打开一个URL并在网页视图中显示网页；
使用JSoup解析che HTML代码，以提取网页中的所有链接。
用于在网页视图中显示网页的代码：
WebView webview = new WebView(this);
setContentView(webview);
webview.loadUrl("http://www.mywebpage.com");
JSoup请求：
Document doc = Jsoup.connect("http://www.mywebpage.com").get()
现在我有一个疑
浏览 5提问于2014-12-26得票数 1
回答已采纳
1回答
相对来说，我是蟒蛇的新生。我刚刚学会了如何使用python识别网页中的urls。但是，现在我想从网页中的图表中提取数据。
我有三个问题需要有意见。
它需要登录才能看到网页。(用户名:18521057966；pw:saifmf)
无法从源代码中找到数据(我假设为html)
如果我们能找到哪一部分是图表，我们如何提取数据。
浏览 1提问于2015-04-23得票数 1
2回答
我正在尝试从网页中提取一些HTML节点。我使用以下代码来获取网页源代码。但是，这不会返回我在web浏览器中看到的“最终”html源代码。看起来网页上有一些生成我需要的html节点的脚本。如何获得我在web浏览器中看到的html源代码的最终版本？
public static string GetWebText(string url)
{
HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create(url);
request.UserAgent = "SimpleWebcrawler";
W
浏览 1提问于2014-12-11得票数 0
1回答
我想从一个'aspx‘页面中提取数据(我不是网页格式专家)：
更准确地说，我想提取每艘船的信息，单击行左侧的“信息”按钮即可访问。
我的问题是，在“aspx”页面中，URL总是相同的，所以我不明白如何才能访问每艘船的信息。
我知道如何从“标准”网页中提取数据，那么我需要如何修改以下代码(这些页面显示的信息与“aspx”页面相似，但更有限)？
library(rvest)
Url <- "http://www.ffvoile.fr/ffv/public/Application1/Habitable/HN_Detail.asp?Matricule=1"
Page
浏览 1提问于2018-03-07得票数 1
我试图提取一段嵌套在html代码<span class="code">和</span>之间的文本。我的想法是我需要存储在这些信息之间的信息。
如何才能自动从网页中提取这些信息？
浏览 4提问于2013-06-05得票数 1
1回答
我有这样的文本：
<h5 class="subblocksubhead subsubsectionhead first"><b>Messaggi inseriti</b></h5>
<dl class="blockrow stats">
<dt><b>Messaggi inseriti</b></dt>
<dd> 81</dd>
</dl>
<dl class="blockrow sta
浏览 14提问于2016-08-13得票数 0
回答已采纳
5回答
我想从网页的源代码中提取各种HTML标签，Java中有没有什么方法可以做到这一点，或者HTML解析器支持吗？
我想要分离所有的HTML标签。
浏览 0提问于2011-03-21得票数 3
我需要从一个网站加载一个特定的网页，在该网站上有多个图像。我需要提取这些图像，但我不能手动完成，因为每个图像的名称没有模式，将有数百个网站。我有一个silverlight应用程序来加载iframe中的网页，我打算提取这个网页的html，然后从提取的代码中检索每个图像的图像源，然后填充一个列表框。
我可以在iframe中加载网页，没有问题，但我不知道如何检索网页的html代码。
public Page()
{
InitializeComponent();
System.Windows.Browser.HtmlElement myFrame = Syste
浏览 0提问于2010-07-15得票数 1
2回答
到目前为止，我正在使用curl沿着w3m和sed提取像w3m这样的网页的一部分。我想忽略所有其他的标题(例如。<a></a>，<div></div>)。只不过我现在做的很慢。
curl -L "http://www.somewebpage.com" | sed -n -e '\:<article class=:,\:<div id="below">: p' > file.html
w3m -dump file.html > file2.txt
上面的这两行非常慢，因为
浏览 4提问于2013-12-25得票数 1
回答已采纳
1回答
下面是一个尝试从一个网页提取一些信息，然后显示在一个铬的扩展页面。
基于许多小时的研究，我遇到的问题似乎是，从网页到扩展页面发送提取的变量失败了，因为我的提取器是异步的。
在下面最后一步之后到达我的扩展页面的变量是object。在将结果发送到接收端之前，sendMessage操作似乎不等待异步等待步骤完成。我尝试了很多解决办法，但我似乎没有找到解决办法。
1.)此代码将在网页上运行以提取一些信息(在原始代码中需要异步等待，下面只是一个示例)。
async function Extractor(document) {
var item = document.getElementbyId(
浏览 8提问于2022-10-14得票数 0
回答已采纳
我有下面的代码，它提取所有的超链接(网址)从给定的网页网址。
<?php include "simple_html_dom.php";
$html=new simple_html_dom();
$html->load_file('http://www.indiastudychannel.com/colleges');
$links=$html->find('a');
foreach($links as $l)
{
$path='http://www.indiastudychannel.com/college
浏览 0提问于2012-06-12得票数 0
1回答
我只想从下面的链接中提取表值。url<-"“
我正在尝试下面的代码，但是我没有得到我想要的输出
library(rvest)
url <- "https://www.scorpiobulkers.com/our-fleet/"
webpage<-read_html(url)
rank_data_html<- html_node(webpage,".col-main")
rank_data<-html_text(rank_data_html)
head(rank_data)
从这段代码中，我得到了整个网页的文本。我只想把舰队名
浏览 4提问于2019-11-21得票数 0
回答已采纳
这是我到目前为止的代码：
import urllib2
with urllib2.urlopen("https://quora.com") as response:
html = response.read()
我是Python的新手，不知何故，我成功地获取了网页，现在如何从网页中提取I和类？
浏览 2提问于2016-10-29得票数 2
我需要分析一些网页上的数据。如何使用HTML::Parser提取标记之间的文本？
考虑以下示例代码：
#!/usr/bin/perl
use strict;
use warnings;
use HTML::Parser;
use Data::Dumper;
my $find_title = HTML::Parser->new(
api_version => 3,
start_h => [
sub {
my ($tag, $attr) = @_;
print Dumper \@_;
浏览 0提问于2010-12-27得票数 0
回答已采纳
我正在使用Xcode构建一个应用程序来监控网页，以查看HTML是否发生了变化。我想提取一个网站的HTML源代码，以便稍后将其与同一网站的HTML源代码进行比较，以查看该网站是否发生了更改。我找不到任何可以让我这么做的东西。
如果不可能提取一个网站的HTML，我需要一些方法来检查网站的变化。
浏览 2提问于2011-07-14得票数 2
回答已采纳
我正在寻找一些开源框架或算法，通过清理HTML代码，删除垃圾东西，从任何HTML页面提取文章文本内容，类似于Pocket (也称为稍后阅读)软件所做的事情。
Pocket官方网页：
这个问题已经在link：下提供了，但我的要求有点不同。我想通过保留字体和样式(CSS)来清理HTML并提取图像的主要内容。
浏览 0提问于2012-09-03得票数 10
回答已采纳
2回答
我正在使用"rvest“进行网页抓取，但我无法从页面提取模型的价格:- 。我需要从页面中提取"$720.00“。我的代码是：
library(rvest)
data<-read_html("https://www.motorola.com/us/products/moto-z-force-droid-edition")
price<-data%>%
html_nodes(".price-amount")%>%
html_text()
print(price)
我不断地从价格中得到字符(0)。
请帮帮忙。
浏览 16提问于2017-01-26得票数 1
1回答
我想使用python3.5中的漂亮汤从下面的网站中提取信息。
http://www.askapatient.com/viewrating.asp?drug=19839&name=ZOLOFT
我必须先保存网页，因为我的程序需要离线工作.
我将网页保存在计算机中，并使用以下代码提取表信息。但问题是，代码只是提取表的标题。
这是我的密码：
from urllib.request import Request, urlopen
from bs4 import BeautifulSoup
url = "file:///Users/MD/Desktop/ZoloftPage01.html
浏览 5提问于2016-07-31得票数 1
回答已采纳
这里是URL的例子，我想从URL中提取最后一部分，即人名。
yourdomain.com/?n=PERSON .
我要后面的那部分
" ?n= "
然后在相同的HTML页面上使用这个人名。所以我会在网页上显示这个人的名字。网页是HTML格式的。我需要java脚本还是PHP代码？谢谢
浏览 2提问于2018-09-03得票数 1
回答已采纳
html如下所示：
<p>
sometext1
<br>
sometext2
<br>
sometext3
</p>
我想提取段落标记之间的所有文本，包括<br>标记。
我尝试使用storeText函数，但它只存储文本，没有标签。我可以存储整个HTML源代码，然后在Perl中提取所需的内容，但我想知道是否有一种方法可以使用特定的xpath存储HTML代码块(例如，将网页中第三个表的HTML代码存储在一个变量中)。
浏览 2提问于2011-05-20得票数 5
我想在这个网页中提取独特的链接。我的密码运行得很顺利。然而，结果是不正确的。不知怎么的，这些代码在网页中没有提取足够的链接。它应该是117个唯一的链接，但代码只返回90个唯一的链接。有人能帮我查一下我的密码出了什么问题吗？谢谢！
import urllib.request
from bs4 import BeautifulSoup
url="https://www.census.gov/programs-surveys/popest.html"
page=urllib.request.urlopen(url)
soup=BeautifulSoup(page,'html.
浏览 0提问于2019-07-16得票数 0
回答已采纳
1回答
我使用请求和BeatifulSoup从网页中检索和提取信息。
但是，当我调用requests.get(url)并打印出文本结果时，它与我在网页上“检查元素”时看到的不一样。缺少HTML代码的多个部分，有些标记在span中有“加载”，等等。
我怀疑这意味着requests.get()函数在完全加载数据之前正在从页面中提取数据。
有什么办法可以防止这种情况发生吗？
谢谢。
浏览 3提问于2015-02-25得票数 0
回答已采纳
4回答
我打算从包含许多unicode字符的网页中提取内容，这些字符以"%xx“的形式表示。因为我使用Perl模块LWP来获取网页，所以使用Perl Regex自然地处理这些unicode字符，如下所示。
my $html = "%20%26%40 ";
$html =~ s#%([0-9a-f]+)#\x{\1}#ig;
print "$html\n";
但是上面的代码不起作用，它只输出"00“。现在卡住了..。任何提示都将不胜感激。
谢谢，叶
浏览 0提问于2012-08-27得票数 1
我知道如何使用php从外部网站提取html内容并对其进行解析，但问题是我想提取的内容是由javascript函数生成的。
代码如下所示：
<div align="left">
<div id="divCotizaciones"></div>
<script type="text/javascript">
getCotizaciones("cotizaciones_busca.dat");
</script>
</div
浏览 0提问于2012-12-01得票数 2
回答已采纳
1回答
我想从中提取数据到excel中。问题是网页使用ajax函数，每个条目没有任何元素。这是我提到的html的一部分：
<script>
$(document).ready(function () {
$.ajax({ // Get Faculty PartialView
url: "/Fund/MFwithRegNo",
headers: { 'x-my-custom-header': 'Index' },
contentType: &#
浏览 2提问于2017-12-04得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
