我正在开发一个Java项目，其中我有一个子模块，我需要从网页提取内容文本，图像，颜色，并将其与另一个网页进行比较。我计划在本地使用WinHTTrack软件下载网页，但问题是它没有保存为超文本标记语言。如何使用WinHTTrack等软件下载具有超文本标记语言扩展名的网页，或仅通过ctrl+s保存网页。此外，我计划使用HTML解析器来提取3种内容类型文本，图像，颜色，下载后的网页本地。那么使用哪种解析器呢？
浏览 2提问于2012-03-06得票数 0
回答已采纳
当Selenium浏览网页时，我想保存该网页中的一些文本。我在Java中使用Selenium。那么有没有办法从web页面中提取具有特定xpath文本呢？
浏览 1提问于2011-08-30得票数 0
1回答
我想从爬行的html网页中提取文本。我正在使用优秀的开源库来实现这一点。但是，使用BoilerPipe时，我只能得到原始文本。除了原始文本，我需要捕获所有css样式信息内联的原始源格式信息的文本。
有没有办法使用Boilerpipe或任何其他java库，最好是开源的？
浏览 3提问于2012-06-10得票数 1
回答已采纳
O社区，我正在为一个应用程序编写伪代码，该应用程序通过读取页面的源代码从远程主机(web服务器，而不是我自己的主机)中提取歌词。这是假定：
歌词以纯文本显示。
包含歌词的部分源代码可由Java前端应用程序读取。
我并不是在寻找源代码来回答这个问题，但是用于查询远程网页的纯文本内容的技术术语是什么呢？
如果我能确定网页命名方案，我可以将URL对象的指针设置为适当的网页，对吗？唯一的限制是不正常的大写，只有在完全相同的地方找到明文才有效。
你有什么意见建议？我在想像这样的“巴克65"，唱着”我看起来不错“
URL =新URL()；
我可以代替“巴克-65-歌词
浏览 4提问于2012-06-07得票数 2
回答已采纳
我一直在尝试提取网页中数据丰富的节点。有没有办法从网页中提取文本？
import requests
import bs4
from bs4 import BeautifulSoup
import urllib2
url = "http://www.amazon.in"
r = requests.get(url)
html = BeautifulSoup(r.content)
print html.title.text
我可以打印网页的标题，你能帮我提取网页中的文本(只有文本)吗？
提前感谢
浏览 7提问于2015-04-22得票数 1
回答已采纳
2回答
我正在从网页中提取内容。在网页中，电话号码和电子邮件id等信息都存储在图像中。我想要提取图像和表格中的文本。在输出字符串中，我希望输出的方式与在带有图像和文本的网页中显示的方式相同。
以下是网页内容。
<table>
<tr>
<td>text</td>
<td><img src="" /></td>
</tr>
<tr>
<td>text</td>
<td><img src="" />
浏览 2提问于2012-07-20得票数 0
我正在创建一个小的网页，作为一个提词器。用户到达页面，将文本复制并粘贴到文本区域，然后以提词器的形式显示文本。文本很可能是从Google或office复制的。
我的问题是，当我使用java脚本将文本从文本区域提取到<p>标记时，如何在段落之间添加空行(比如按下Enter键)？
提前感谢！
浏览 2提问于2015-04-14得票数 0
回答已采纳
3回答
所以我正在尝试写一个程序，它可以从不同的文章中收集特定的信息，并将它们组合在一起。我遇到麻烦的一步是从网页中提取文章。
我想知道您是否可以为从网页中提取文本的java库/方法提供任何建议？
我还找到了这个产品：，我想知道你是否认为这是可行的方法？如果是这样的话，有没有人能给我指个java实现--虽然很明显它确实存在，但似乎找不到。
非常感谢
澄清-我更多的是寻找一种算法/库/方法，用于检测html dom树中可能是一篇文章的文本块位于何处。比如Safari的阅读器函数。ps如果你认为这在python这样的东西中要容易得多，就说-尽管我的程序必须在Java中运行，因为它最终应该运行在服务器上(使
浏览 1提问于2013-12-25得票数 8
我希望能够在网页中搜索某个文本值，然后将此位置存储为xpath，这样我就可以重新访问此网页，以查看此文本值是否已更改。
我的想法是使用selenium webelement，我将在页面上的所有元素中搜索文本值。然后，一旦我有了它，我想提取这个元素的位置。
然后，我可以使用之前存储的位置重新访问此页面，以检查最新的文本值。
我在想像这样的东西...
java.util.List<WebElement> els = driver.findElements(By.cssSelector("*"));
for ( WebElement el : els ) {
i
浏览 1提问于2016-02-16得票数 0
1回答
网络爬虫是否只从网页中返回提取的文本？例如，如果web服务器中也存储了一些pdf/doc文件。网络爬虫可以爬行它们并返回它们的内容吗？不管怎样，对于一个好的开源Java网络爬虫有什么建议呢？
谢谢!
浏览 2提问于2011-06-26得票数 0
回答已采纳
我想写服务器端软件，在Google App Engine上运行(所以它必须是纯Java的)，可以识别网页中使用的主色，特别是前景(文本)，标题和背景颜色。
问题是所使用的颜色可能是在CSS、HTML中指定的，也可能是在从CSS或HTML链接的图像文件中指定的。
一种可能的方法是将网页渲染为图像，然后执行类似的操作，然而，我需要一个纯Java库来完成将网页渲染为图像的合理工作。
另一种可能是以某种方式分析HTML、CSS和任何链接的图像来提取这些信息。
浏览 0提问于2011-08-10得票数 3
回答已采纳
2回答
从动态网页中提取文本
、、、
我需要的是，如果我得到了一个网页的网址，我必须从中提取所有的文本。现在有了网页的情况，当你向下滚动到末尾时，它会加载得更远，就像fb timeline。我如何才能从这些网页中以编程方式提取文本？有什么想法/例子吗？
浏览 1提问于2013-05-25得票数 2
回答已采纳
1回答
如何从网页中提取文本内容？
、、、、
我正在用java开发一个应用程序，它可以从不同的网页中提取文本信息，并将其总结为一个page.For示例，假设我在不同的网页上有一条新闻，比如印度教，印度时报，政治家，etc.Now。我的应用程序应该从这些页面中提取重要的点，并将它们放在一起作为单个news.The应用程序基于web内容mining.As的概念。我不知道从哪里开始，我已经阅读了一些研究论文，解释了噪音消除是构建此应用程序的第一步。
所以，如果我得到一个新闻网页，第一步是从网页中提取主要新闻，排除超链接，广告，无用的图片等。我的问题是，我如何做到这一点？请给我一些很好的教程，解释如何使用web content mining.Or
浏览 7提问于2012-02-10得票数 0
回答已采纳
我正在尝试提取网页A的内容。使用groovy，我尝试了以下操作
......
String urlStr = "url-of-webpage-A"
String pageText = urlStr.toURL().text
//println pageText
.....
上面的代码检索webPage A的文本，只要它不重定向到其他网页B。如果A重定向到B，则在pageText变量中检索webpage B的页面内容。有没有办法编写代码并检查webPage A是否重定向到其他网页( groovy或java)？
PS:上面的代码不是服务器端逻辑的一部分。我在桌面应用程序的范围内在客
浏览 2提问于2011-09-14得票数 4
回答已采纳
2回答
我需要从网页中提取主要的新闻内容。我在互联网上搜索并找到了一个名为Boilerpipe的，但我找不到任何使用Boilerpipe.Can的java实现。有人告诉我如何在Java中使用BoilerPipe来提取新闻内容，或者给我一些java实现的链接，这些实现利用BoilerPipe来从新闻网页中提取内容？
浏览 3提问于2012-04-09得票数 0
我正在做一个网页抓取，以提取一些文本使用美丽的汤。
我正在成功地从网页中提取所需的文本，但我的新要求是与文本一起提取文档中文本实际开始和结束的偏移量/位置。
有没有可能使用漂亮的汤或任何有用的软件包来实现这一点？
请提供您的想法和建议...
谢谢
浏览 5提问于2016-06-08得票数 2
1回答
我正在寻找一种方法来提取html或文本内容的一个，所以我可以使用它的方法，以验证在网页上显示的文字之间的链接。我正在使用selenium和java。
<div>
"This link"
<a href="http://www.google.com">http://www.google.com</a>
"exists."
</div>
我一直在研究如何从一条消息中提取链接的html，并且我所遇到的大部分内容允许您提取'href‘属性的文本或链接文本。这可能是不可能的。
浏览 0提问于2015-09-24得票数 4
回答已采纳
2回答
我正在寻找一个(最好是Java-)库或命令行工具来从pdfs中提取单词坐标。input-pdf包含文本或图像，后面带有ocr-text。
我的用例：
在Java web应用程序中，我想用它来突出显示，而不需要额外的软件(例如Adobe Reader等)。相反，我希望将匹配的页面转换为图像，并将其呈现在网页中。
浏览 0提问于2010-12-06得票数 1
2回答
我有大约一百万的网页列表，我想有效地从这些网页上提取文本。目前我正在使用python中的BeautifulSoup库从HTML中获取文本，并使用请求命令来获取网页的html。这种方法除了文本之外还提取一些额外的信息，比如在body中是否列出了任何javascript。 你能给我推荐一些合适而有效的方法来完成这项工作吗？我看了scrapy，但它看起来像爬行特定的网站。我们可以将特定网页的列表传递给它以从中获取信息吗？ 提前谢谢你。
浏览 24提问于2019-05-22得票数 0
1回答
Html实体到Html标记
、、、、
我使用的是wysiwyg文本编辑器，名为"niceEdit“。
当我想显示从数据库中提取的内容时，html标记是以的形式出现的。例如：<
因此，结果(在网页中)可能是这样的：
<b>hello world</b>
而不是：
hello world
转换它的简单/优雅的方法是什么？
附注：
我使用JAVA (播放！(框架)在后端。
浏览 0提问于2012-09-01得票数 0
回答已采纳
3回答
我正在尝试从网页中提取特定的文本？
这是网页中包含特定文本的部分：
<div class="module">
<div class="body">
<dl class="per_info">
<dt>F.Name:</dt>
<dd><a class="nm" href="http://">a Variable Name1</a></dd>
<dt>L.Name:</dt>
<d
浏览 1提问于2011-09-19得票数 3
6回答
现在，我使用从一些第三方网页中提取某些信息(不是所有文本)，我定期这样做。这很好，直到某些网页的HTML发生变化，这种更改会导致现有Java代码的更改，这是一项繁琐的任务，因为这些网页更改非常频繁。此外，它还要求程序员修复Java代码。下面是我感兴趣的网页上HTML代码的一个示例：
<div>
<p><strong>Score:</strong>2.5/5</p>
<p><strong>Director:</strong> Bryan Singer</p>
</div>
&l
浏览 5提问于2013-03-04得票数 13
回答已采纳
1回答
我需要从新闻网页中提取主要内容(不包括链接、广告等)。我在web上读到过它，知道要做到这一点，我需要解析html页面，然后从html标签中选择内容。我已经编写了一段代码，它接受html文件作为输入，并使用java.swing.*中提供的Htmleditorkit从网页中提取文本。
import java.io.IOException;
import java.io.FileReader;
import java.io.Reader;
import java.util.List;
import java.util.ArrayList;
import javax.swing.text.html.
浏览 5提问于2012-02-18得票数 1
1回答
我想提取网页中的数据。数据是用形成的。
要提取的数据位于表中的不同<td>标记中。将文本粘贴到<textarea>时，会自动形成表格。
如何从这些<td>标记中提取文本的特定部分？
浏览 1提问于2018-02-19得票数 0
1回答
想象一下互联网上的一个网页，这个网页由菜单、文本、…如何提取文本并在ios的文本视图中显示？
有可能做到这一点吗?如果有，我需要学习web服务吗？
浏览 2提问于2012-04-10得票数 0
我们将使用Apache Nutch v1.3从网页中提取一些特定的内容。已检查parse-html插件。似乎它使用tagsoup或nekohtml对每个html页面进行了规范化。这很好。我只需要提取网页上的<span class='xxx'>和<span class='yyy'>元素内的文本。如果提取的文本保存到不同的字段(例如content_xxx、content_yyy)，那就更好了。我的问题是:我是否应该编写自己的插件，或者这可以使用一些标准的方式来完成？
最好的方法是将XSLT应用于规范化的网页并得到结果。这有可能吗？
浏览 4提问于2011-07-09得票数 2
回答已采纳
2回答
我正在测试一个显示以下消息的网页：
“100条信息中仍有X条免费信息”
其中x可以是小于100的任何数。每当用户发送消息时，这个数字就会减少1。
我使用Selenium和java来自动化测试，我需要知道如何从该文本中提取x并将其转换为整数，这样我就可以将它与数字进行比较。
浏览 3提问于2015-09-16得票数 2
回答已采纳
1回答
我想从网页中提取动态内容，与网页中的内容完全一样，而不是纯文本。我正在使用下面的块，它给出了纯文本，但我需要像属性文本。
function getDocumentTranslatedText() {
return document.body.innerText;
}
任何建议都会更有帮助。
浏览 12提问于2019-07-09得票数 1
1回答
在过去的几周里，我一直在使用JSoup成功地从网页中抓取数据；然而，我却走进了死胡同，因为我试图找出一种方法，只从类标签中提取单个单词，而不是从整个文本中提取。
下面是我使用的Java代码：
// store all the search results in the elmAllSearchResults element
Element elmAllSearchResults = doc.getElementById("SearchResults");
// extract the detDesc class from elmAllSearchResults
Element
浏览 0提问于2011-12-04得票数 2
回答已采纳
我想提取网页中嵌入的RDF (网页语义)，然后使用Java形成相应的RDF数据的可扩展标记语言。任何类型的指针/建议/帮助都将不胜感激。
例如，如果网页中有一个type="Movie"的RDF实现，我会想要形成一个带有Movie标签的XML以及它的当前属性值，如startTime等。
目前，我能够使用Apache Jena API从DB中提取数据，并从结果集中形成XML。但是我被困在如何从网页中提取相同的内容
浏览 0提问于2015-04-09得票数 3
我是新的网络抓取，我不知道如何从网页上的“关于我们”下的文本。
在不同的网页中，类对于“关于我们”的标题是不同的。
请您指点我，或者提供代码，以便在这样的网页中提取“关于我们”的文本。
我可以在头文件中看到“关于我们”，但是无法用这个标题提取数据。
for heading in soup.find_all(re.compile("^h[1-6]")):
print(heading.name + ' ' + heading.text.strip())
谢谢你，奈杜
浏览 1提问于2019-08-03得票数 0
谢谢你的帮助。
我正在尝试使用BeautifulSoup和Python从网页中提取文本。我已经做了很多次不同的网页，总是得到我需要的信息，但这一次，从网页的html源代码有很多脚本和其他东西。这是我想从以下页面中提取信息的页面之一：
这个网页的问题在于它有很多iframe标记，每个标签都有一个开始标记(html)和一个关闭标记(/html)，我可以从主页中提取信息，但不能提取隐藏在第二个选项卡和隐藏显示文本区域下的信息。
例如，当我寻找：
soup.find('div',{'name':"Pregunta_452Respuesta_826"})
浏览 5提问于2015-10-16得票数 0
回答已采纳
如何从渲染的网页中提取数据？其中java脚本将随时间更新数据。有没有可能编写用户脚本，可以从网页的java脚本访问变量？请建议实现这一目标的可能方法。
浏览 2提问于2009-11-20得票数 0
1回答
我用Perl构建了一个网络爬虫。
我在用
HTML::ContentExtractor
LWP::UserAgent
HTML::LinkExtor
从网页中提取文本。
示例代码的参考链接
发行：
问题是，它不会从具有.aspx扩展名的网页中获取文本。它非常适合其他网页，我不知道为什么这个爬虫在aspx页面上会失败。
浏览 8提问于2014-04-25得票数 0
1回答
关系抽取注释器
、、、、
我在文本文件中有一组urls。对于该文本文件中的每个url，我希望标记包含在该url中的文本中的实体和关系。
我知道实体taggers像Stanford，NLTK和GATE，它们可以执行实体标记。然而，我更感兴趣的是关系提取。
为了提取关系，我正在考虑注释这些urls中的文本，以供培训之用。为此，我不想做手动注释。我可以写几个regex来提取我想要的关系，但是很难扩大规模。
是否有一个工具可以在其中指定我想要注释的内容？
例如：
罗伯是ABC公司的主任，毕业于XYZ大学
在这里，我想提取关联关系，所以直觉上我想注释一下描述关联的单词，比如工作，毕业。
编辑:通过“文本文件中的一组URL
浏览 1提问于2015-05-10得票数 0
回答已采纳
4回答
在从网页中提取一些html时，我有一些元素包含以未知或不匹配的空白字符结尾的文本(即不匹配"\s")：
<span>Monday </span>
在java中，为了检查这个字符是什么，我执行以下操作：
String s = getTheSpanContent();
char c = s.charAt(s.length() -1);
int i = (int) c;
I的值是: 160
有人知道这是什么吗？我如何才能与之匹敌呢？
谢谢
浏览 1提问于2009-11-10得票数 17
回答已采纳
我正在使用servlet，java和一个html代码从以下网址提取印地语文本：
我想通过servlet代码显示印地语字体，代码如下：
//Extraction1.java //java file
import java.io.IOException;
import java.net.URL;
import java.util.Scanner;
public class Extraction1 {
public String toHtmlString(String url) throws IOException
{
StringBuilder sb = new StringBuild
浏览 11提问于2017-02-21得票数 1
回答已采纳
我试图从网页中提取文本，包括原始文件中的任何换行符和空格。为此，我在的answer的帮助下编写了以下代码：
Document doc = Jsoup.connect("http://www.zomato.com/mumbai/starbucks-coffee-fort").get();
Elements div = doc.select("div");
for (Element d : div) {
for (Node nd : d.childNodes()) {
System.out.println(nd.toString());
}
}
但它
浏览 0提问于2012-11-14得票数 1
我想使用IcePDF或PDFBox从PDF中提取内容。但我现在不知道如何继续从提取的文本和图像生成HTML网页。
浏览 6提问于2012-12-24得票数 1
1回答
如何使用C/C++从网页的特定区域(阿拉伯语而非英语)提取文本？
例如:给定的url，我想提取文章的正文(在下面的图像中高亮显示)，并丢弃网页的其他部分，比如标题、右边和左边的菜单等等。我只需要将正文解析成字符串。
浏览 3提问于2014-04-09得票数 2
回答已采纳
我试图从一个网页中提取一些信息。假设您有一个名称给您(西伯利亚北部，俄罗斯)，并希望从网页中提取包含此名称的整行。为了处理这个问题，我使用lynx命令(https://geofon.gfz-potsdam.de/eqinfo/list.php)将网页(lynx --dump "https://geofon.gfz-potsdam.de/eqinfo/list.php" > text.txt)下载到一个文本文件中，并尝试使用grep的名称为“俄罗斯西伯利亚北部”。下一行显示了网页中的信息，这些信息都在一行中：
2018-05-27 04:27:17 4.8 60.07°N
浏览 0提问于2018-05-27得票数 2
回答已采纳
我使用Delphi7，我只想直接从TWebBrowser中显示的网页中提取网页中显示的文本(没有图像...)。能做到吗?我该怎么做呢？
浏览 0提问于2010-01-28得票数 4
回答已采纳
我有一个带有“复制链接”按钮的网页，点击它会从文本框中复制一些数据。此外，这些selenium测试将在Linux机器上运行(无头模式)。我使用了awt Toolkit api，因为它在Linux headless模式下运行，所以它在下面的堆栈跟踪中失败。工具包在Linux模式下不受支持 Test Failed: {}[class: tests.AMUSanityTests, method: test, exception: java.awt.HeadlessException, message: 'No X11 DISPLAY variable was set, but this p
浏览 189提问于2020-11-05得票数 0
2回答
我需要帮助从网页提取kmz和压缩文件。下面的代码能够提取表，但不能提取表中的文件和链接。我可以在我的代码中包含什么，以便输出表也包含链接和文件，而不仅仅是纯文本？
网页：
https://www.nhc.noaa.gov/gis/
代码：
import pandas as pd
url = 'https://www.nhc.noaa.gov/gis/'
result = pd.read_html(url)[0]
result
浏览 31提问于2020-08-02得票数 3
回答已采纳
如果我在Google上创建一个带有特定web地址https://docs.google.com/xxxx的已发布表，如何使用shell脚本提取该信息？我用了命令
wget -O ABC.txt http://address.txt
从网页中提取信息，但它已经是.txt格式的。直接创建另一个文本文件。但是，如果我使用类似的命令使用谷歌网页链接，它会显示出所有无关紧要的网页内容:高度、字体、空格等等。我想将表提取到txt或csv文件中。有人做过这个吗？
浏览 0提问于2020-08-28得票数 1
2回答
有谁知道我如何在<p> blah blah blah </p>之外提取文本(基本上也可以在其他元素中找到文本)？
在网页上。它必须是一个完整的时间顺序，因为它是如何显示在原始网页。
除了<p> tags之外，我的意思也是从<h1>, <h2>,<h3> and <h4>中提取标题中的单词！因此，例如，给定一个html网页
<html>
<h1>Heading 1</h1>
<h2>Heading 2</h2>
<p>
浏览 0提问于2014-07-28得票数 1
回答已采纳
我的任务是编写JavaScript代码来从外部网页中提取文本，并计算文本中每个单词出现的次数。我还得到了这两个假设：
您可以假设该网页与为本练习编写的网页位于相同的文件系统上。
您还可以假设web页面包含格式正确的XHTML
我从这个网站上的一些类似的帖子中学到了如何使用.textContent和.innerText从html中获取文本。
我希望用户能够在文本输入中指定网页。
我不理解的是以某种方式获取另一个html文档，这样我就可以获取文本并对其进行解析。
浏览 0提问于2017-02-12得票数 0
我想从一个使用JAVA的网站上提取HTML数据。问题是，一旦用户到达页面底部，网页就会一直向下滚动。它向下滚动的次数是固定的。我的JAVA代码只能提取第一部分。如何提取剩余的卷轴？有没有办法用JAVA一次加载整个页面？ANy帮助将不胜感激:)
浏览 3提问于2012-06-28得票数 1
我需要检查网页是否有版权符号©，如果有，我提取包含该符号的标签的文本。例如，网页"profile.theguardian.com/signin“的目标文本是"©2018卫报新闻和媒体有限公司或其附属公司。保留所有权利”。如何使用Python 3.x完成此任务？
浏览 74提问于2018-07-14得票数 -2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
