1回答
我已经在我的应用程序中集成了RSS Reader。如何抓取带有RSS源URL的网页？有没有免费的api可以直接在Java中使用URL来做这件事？
我必须处理网页的内容(准确地说是新闻文章)，并用它做一些算法的东西。
现在的问题是做一小部分爬虫。有没有免费的轻量级api？
浏览 3提问于2011-02-19得票数 0
回答已采纳
我的问题如下。目前我正在做最后一年的网络爬行项目。我想爬下网页，执行.org域，并为文本挖掘提供存档。在谈到背景之后。
在抓取过程中，还检测到空白、.org、域携带网站的数量。有什么标准，我们可以用来避免爬行网站有，没有内容？
目前，我正在传递URL，它在Java中读取URL的Java内容。虽然网站没有任何内容，但仍然有HTML代码。你能建议我怎么做吗？
我已经尝试找出文本可用性，图像可用性，但它是不可能阻止100%空白网页检测。
浏览 0提问于2019-03-13得票数 0
回答已采纳
1回答
如何读取网页中变量的值？
、、、
我必须网页抓取一个页面，但这个页面是动态加载的一些值。因此，当我使用源代码时，有js变量，而不是它们的值。如果我下载这个页面，我会看到他们的价值。有没有办法在Java程序中读取这些值或下载所有文件(包括脚本)？
浏览 0提问于2020-02-18得票数 0
2回答
他们是否有办法在没有任何浏览器的情况下，在抓取html之后执行网页javascript的加载事件。即我需要抓取网页内容通过javascript呈现例如bbc新闻网页的视频在页面加载后通过javacscript呈现，我对抓取视频链接和镜头描述感兴趣。
浏览 0提问于2012-06-27得票数 1
2回答
我可以使用Nutch抓取和索引网页，但我不知道如何读取索引并从中提取数据。
有人能给我介绍一些有用的工具来阅读索引吗？
我想添加一个中文分析器和一个IndexFilter插件，所以我想阅读索引来验证我的插件。此外，我还想对我使用Java爬行的数据进行一些处理。
浏览 4提问于2012-04-23得票数 4
回答已采纳
我正在尝试使用selenium从网页中抓取一些数据。我已经成功地让selenium在树莓派上无头工作，我可以连接到我试图抓取的网页，返回页面的标题，并返回我连接到的URL。
我一直在看教程中关于如何抓取数据的示例，它们都是这样的：
titles_element = browser.find_elements_by_xpath(“//a[@class=’text-bold’]”)
然而，我试图抓取的网页中的每一块数据都有相同的类名。举一个我试图抓取的第一位数据的例子，我试图得到wins的值是4：
第二个示例是im尝试抓取的数据，在本例中为kill，值为559：
我试图抓取的两个数字共享相同的
浏览 5提问于2021-03-16得票数 0
1回答
有时，当使用多个并发连接和抓取我的PHP脚本中的cURL时，会返回不完整的网页。curl_getinfo()中有没有一些值可以让我知道一个网页是100%被抓取还是只有90%被抓取？
返回页面的内容大小标题是返回内容的实际大小，还是整个页面的大小？如果是这样，我可以根据响应的实际大小检查content-size。
谢谢!
浏览 0提问于2013-04-12得票数 0
回答已采纳
是否有规程、框架或工具集，可以使用html页面中的信息作为输入数据的一部分进行编程？就像一个元搜索引擎。如何解析网页？
我更喜欢java或flex/flash，或者一些阅读的指针。
谢谢!
更新2013年2月7日
谢谢你的回答！网络抓取是我正在寻找的术语！
从这个帖子中找到了这个很棒的java库：。
我会在找到它的时候马上更新。
浏览 1提问于2013-01-31得票数 0
回答已采纳
10回答
我找不到任何好的基于Java的web抓取API。我需要抓取的站点也不提供任何API；我想使用一些pageID遍历所有网页，并在它们的DOM树中提取HTML标题/其他内容。
除了网络抓取之外，还有其他方法吗？
浏览 1提问于2010-07-08得票数 72
回答已采纳
我会在我的Java应用程序中使用Apache从一个或多个网站抓取网页。基本上，为了处理页面内容(文本等)，我需要为web爬虫找到的每个网页调用我的Java应用程序的方法。如何做到这一点？
浏览 7提问于2016-06-01得票数 2
回答已采纳
嗨，我正在用Chrome中的bookmarklet开发爬行程序。
我想定期抓取网页和解析html页面。网页可以每隔5秒重新加载一次，但不会执行页面加载警报。
以下是我的代码
window.addEventListener('DOMContentLoaded', function()
{
console.log("page loaded");
});
function happycode(){
alert('page loaded');
}
setInterval(function(){
console.log(&
浏览 0提问于2020-03-07得票数 0
我想用java从web上抓取一些数据，但是我发现页面在到达页面末尾时会加载数据。我不是一个网页开发人员，不知道他们使用什么技术来加载数据时滚动到页面的结尾。
你能给我一些提示吗？他们使用的是哪种技术？当我不想使用浏览器时，如何读取数据？(我用java编写了一段代码，使用urlConnection从站点读取数据。
这个站点类似于这个"“。
谢谢。
浏览 1提问于2013-03-21得票数 1
回答已采纳
2回答
我想知道如何让python web抓取所有的结果到excel中。这并不是我不知道如何抓取网页，而是我不知道如何抓取excel。
浏览 2提问于2012-04-21得票数 2
3回答
HTML页面抓取
、、、
抓取具有AJAX/动态数据加载功能的网页的最佳方式是什么？
例如:抓取一个网页，该网页加载了20张图片，但当用户向下滚动页面时，它会加载更多的图片(有点像Facebook)。在这种情况下，如何抓取所有图像，而不仅仅是前20个图像？
浏览 0提问于2012-12-06得票数 3
我有一个网页，我可以登录到使用facebook连接。我需要从一个页面抓取html，但它需要首先登录。有谁知道如何使用Java中的facebook凭证来验证自己，这样我就可以抓取我需要的页面了吗？
浏览 1提问于2014-04-10得票数 0
回答已采纳
我正在尝试编写自己的Nutch插件来抓取网页。问题是，我需要识别是否有一些特殊的标签，例如在网页上。在官方文档中有一些说明，使用Document.getElementsByTagName("foo")可以做到这一点，但这对我不起作用。你有什么想法吗？
我的第二个问题是，如果我识别了上面的标签，我想从这个网页上获得一些其他标签，其中标签被识别…有没有办法存储某个时刻被抓取的网页的完整源代码？
谢谢，简。
浏览 2提问于2013-03-30得票数 1
回答已采纳
3回答
我想知道是否有与PhantomJS等同的Java库。我想要实现的是能够模拟表单登录和提交来自网页的操作，也可以做页面抓取。我知道jsoup做的是页面抓取，但不是页面自动化。
提前感谢！
干杯，亚历克斯
浏览 0提问于2013-11-04得票数 15
1回答
我是Java新手，但我决定尝试让一个小项目成为现实。我正在尝试从一个网站上抓取一些网页，我的问题是，虽然我可以获得原始材料，但我无法将“检查元素”材料打印出来。我看过无数的视频，也在这里搜索过，但无论如何，我只能让一个程序打印出这个网页的原始材料。我正在尝试从一个表中获取信息，以便定价。该网页是"“。
我的基本程序是：
import java.io.IOException;
import java.net.MalformedURLException;
import java.util.List;
import com.gargoylesoftware.htmlunit.*;
impor
浏览 0提问于2018-01-08得票数 0
我正在使用python和selenium包和chromedriver来抓取网页。页面每30分钟自动重新加载一次(可能是通过java-script)，这会破坏我的抓取进度。
网络抓取是通过脚本和与页面进行进一步交互所需的javascript ist来完成的。
有没有可能通过chromedriver的标志来阻止页面重新加载呢？
浏览 24提问于2020-11-13得票数 0
回答已采纳
我现在正在使用java的网页抓取器，我很好奇用Java做这件事最好的方法是什么。
我有一个链接:例如：
当我抓取该页面时，我可能会找到img src路径，如下所示
"../public/images/header.jpg"
"../../test/logo.gif"
其中，它可能相对于文件所在的某个子目录
问题是..在Java中，有没有一个库能够将这些转换成绝对路径，比如
谢谢
浏览 0提问于2010-07-08得票数 0
回答已采纳
1回答
如何从ajax类型的网页中抓取网页源代码: curl似乎不能获得ajax生成的源代码。
如果重复，很抱歉，但是正在寻找抛出的问题没有找到答案。
浏览 0提问于2012-03-30得票数 1
1回答
抓取R中的iframe数据
、、、、
我正在尝试使用r抓取网页，但问题是抓取的html只包含iframe标签链接()。有没有办法使用任何包从r中的iframe标签获取数据(最好是revst或RSelenium？
我要抓取上述链接(id=pagebody)中的所有(150)个渠道合作伙伴名称
谢谢
浏览 0提问于2016-06-28得票数 0
2回答
我想尝试一些基本的网页抓取，但遇到了一个问题，因为我习惯了简单的td标签，在这种情况下，我有一个网页，它有以下前标签和所有的文本，这意味着它是有点棘手的抓取它。
<pre style="word-wrap: break-word; white-space: pre-wrap;">
11111111
11111112
11111113
11111114
11111115
</pre>
对如何抓取每一行有什么建议吗？
谢谢
浏览 0提问于2019-01-07得票数 3
1回答
我正在使用烧瓶和抓取刮从网站的结果。在这里，烧瓶网页是能够获取输入URL被刮，然后开始爬行。在此之前，一切都很好。
现在，我想让这个Flask网页以HTML标签(它包含一些要被抓取的项目的信息)作为输入，并且基于输入标签的结果应该被抓取。
简单地说，用户可以决定哪些项目应该报废，即项目应该被选择dynamically.Provide我有一些想法，我如何传递这些标签来设置在项目类别中要刮的项目？
浏览 1提问于2015-08-18得票数 0
回答已采纳
1回答
我正在尝试使用JAVA中的JSoup库从网页中抓取数据。然而，这里的问题是，我想要抓取的数据是基于XML加载的，所以当我试图从HTML解析它时，它会显示出来
<div id="report-details-container">
<!-- Container where HTML template will be loaded based on XML -->
</div>
而不是完整的HTML，它只显示这个注释。
我如何抓取数据，因为在inspect元素中我可以看到完整HTML。
浏览 0提问于2017-10-14得票数 1
当我的网页在浏览器中加载时，我需要从android设备获取IMEI编号，页面将用php编写。我需要从设备中获取imei号码，并将其发布到服务器上的一些页面上，以便进行身份验证。
我遇到了许多可以通过java客户端应用程序解决的工作，但这对我的项目没有用处……
我曾尝试使用SNMP协议获取所有系统信息，如磁盘驱动器/系统进程列表/正常运行时间/停机时间和基本系统描述，但这无法提供完成此任务所需的信息级别。
有没有办法使用php应用程序在web上获取IMEI号码或任何唯一的系统Is。
这会有什么帮助呢?有没有人会建议..在PHP程序中获取Java类java.lang.System的实例$syst
浏览 0提问于2013-01-20得票数 1
回答已采纳
2回答
我遵循了一个教程，并提出了以下方法来将网页内容读取到CharSequence中
public static CharSequence getURLContent(URL url) throws IOException {
URLConnection conn = url.openConnection();
String encoding = conn.getContentEncoding();
if (encoding == null) {
encoding = "ISO-8859-1";
}
浏览 0提问于2010-04-11得票数 0
回答已采纳
我的烧瓶应用程序进行了一些网络抓取(使用请求库)，然后在html模板(info.html)上显示结果。
烧瓶应用程序可以工作，但它只做一次网络抓取(当烧瓶应用程序启动)，这意味着如果我刷新网页后，它仍然显示相同的旧的网络抓取结果与第一次。
，我希望网页每次在浏览器中重新加载页面时，都会刷新网页抓取的结果。现在，结果不会刷新，除非我杀死烧瓶进程并再次运行它-这对烧瓶正常吗，如果是，我如何让应用程序再次运行刮擦，每次我重新加载标签？
我用的是服务员，基本上代码看起来是这样的：
from waitress import serve
from flask import Flask, render_te
浏览 0提问于2019-08-30得票数 2
1回答
我正在尝试从网页中抓取java脚本对象。我按照建议尝试了JIRA API，但是我没有得到活动日志。我找到一个网站，解释如何抓取java脚本对象。例如，请参见以下内容 https://datascienceplus.com/scraping-javascript-rendered-web-content-using-r/ 我遵循了这个示例，但是我发现很难理解我需要发送什么作为xpath信息才能列出活动日志。我正在尝试抓取网页底部所有选项卡容器下的活动日志。 library(rvest)
library(V8)
#URL with js-rendered content to be scrape
浏览 14提问于2019-10-02得票数 2
回答已采纳
3回答
我使用htmlunit从网页中抓取图像。我是htmlunit的初学者。我编码了，但不知道如何获取图像。下面是我的代码。
import java.io.*;
import java.net.URL;
import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
public class urlscrap {
public static void
浏览 1提问于2012-04-11得票数 1
回答已采纳
我正在使用solr 6.4.1，并使用下面的内容来抓取一个url
下面是我是如何抓取URL的：
java -Ddata=web -Dc=corename -jar post.jar (urlname )
我遇到了以下问题：
URL (urlname)导致重定向到(urlname)/us/ SimplePostTool:警告: URL (urlname)返回的HTTP status为301 0索引的网页。
我该如何解决这个问题？
浏览 0提问于2017-03-15得票数 0
1回答
YQl有没有一种好的方法来抓取网页，同时也可以通过该网页的链接来获取更多的详细信息？
例如，在博客中，索引页面显示每个新闻条目的标题，但您需要单击该标题链接来获取新闻故事和相关图片等。我需要从每个新闻条目页面抓取数据，并在索引页面上处理分页结果。
如果YQL能够做到这一点，有人能提供一些例子吗？如果不是，有没有人能推荐一个好的替代方案？
浏览 0提问于2013-03-14得票数 0
我正在尝试从网页上抓取内容。目前我被困在一个我想要抓取或下载图表的地方。该图表是一个SWF对象。我需要以编程方式下载SWF文件。
浏览 0提问于2011-11-05得票数 0
回答已采纳
3回答
我想知道如何抓取使用AJAX在所呈现的网页上获取内容的网页。通常，这类页面的HTTP GET只会获取嵌入了JavaScript代码的HTML页面。但我想知道是否有可能以编程方式(最好是Java)查询这样的页面，并模拟web浏览器类型的请求，以便在AJAX调用之后获得HTML内容。
浏览 1提问于2010-02-08得票数 5
回答已采纳
在使用SL4A的Android平台上，可以从Java代码调用/运行python脚本文件吗？基本上，我有一个成熟的Java Android应用程序，我有几个Python脚本，从不同的网页上抓取一些信息。我希望能够用网页调用这些python脚本，并得到结果。这个是可能的吗？如果是这样的话，谁能给我举一两个例子呢？
谢谢你，哈里
浏览 1提问于2012-01-23得票数 11
回答已采纳
3回答
我希望屏幕抓取几个基于Ajax的网站，并模拟点击刷新网页的一部分，然后阅读更新的HTML。有没有能做到这一点的Java库？
浏览 0提问于2011-06-30得票数 4
回答已采纳
2回答
对于我的一个Chrome扩展项目，我通过动态填充它的src属性，在当前网页的<iframe>标记中获取另一个网页的HTML内容。现在，我想从<iframe>标记中抓取几个值。但是jQuery总是将这个<iframe>标记显示为空。我使用的原因是在抓取页面中有一些JavaScript文件，我希望在开始抓取之前执行这些文件。我还尝试设置等待定时器，但是jQuery总是显示<iframe>标记为空(尽管src属性已设置)。
经过调查，我发现<iframe>的内部有一个奇怪的#document值，然后是普通的#document标记。我想知道这
浏览 1提问于2018-07-02得票数 0
2回答
基于.Net的web爬虫示例
、、、、
我使用的是VSTS2008+ C# + .Net 3.5。我想找一个工具(开源)，爬行的所有网页的网站，以及任何其他领域的网页是由这个网站链接，我想跳过他们(我只需要这个特定领域的页面)。对于抓取的网页，我想将它们存储在本地文件目录中。
有没有准备好使用开源工具的示例？
浏览 0提问于2009-09-17得票数 2
回答已采纳
1回答
我想知道是否有人为iOS创建了一个阅读器应用程序，允许用户在原生环境中查看网页，而不是在网页视图中？我正在尝试使用屏幕抓取方法，但在输入url以显示页面时遇到问题。
浏览 4提问于2012-12-01得票数 0
回答已采纳
form...it有一些很酷的配置编辑器，可以抓取一个.ini文件，把它全部放在网页上，然后以纯文本的形式输出所有评论，然后提供一个内联文本输入，用户可以通过网页更改配置的有效lines...so。
浏览 1提问于2011-03-25得票数 1
1回答
我需要从网页中收集一些数据(网页抓取)，对其进行解析，将其保存为文本文件，然后将该数据作为SNMP Inform发送出去。
什么是SNMP Inform？有没有办法从我的应用程序中以编程方式将其发送出去？
请记住，数据收集应用程序是用Java编写的。
浏览 2提问于2016-01-20得票数 1
2回答
使用htmlunit抓取动态网页
、、、、
我正在使用HtmlUnit从一个动态网页中抓取数据，它使用无限滚动来动态获取数据，就像facebook的新闻馈送一样。我使用下面的句子来模拟向下滚动事件：
webclient.setJavaScriptEnabled(true);
webclient.setAjaxController(new NicelyResynchronizingAjaxController());
ScriptResult sr=myHtmlPage.executeJavaScript("window.scrollBy(0,600)");
webclient.waitForBackgroundJavaS
浏览 1提问于2012-08-25得票数 12
我正在构建一个iOS共享扩展。我需要从网页中抓取一些数据，所以我使用了一个JavaScript文件来抓取这些数据，并将其发送回应用程序以在扩展中使用。
我注意到了以下几点。当我用我的JavaScript文件设置NSExtensionJavaScriptPreprocessingFile键时，SLComposeServiceViewController显示得很完美，但没有图像！
如下所示：
如果我删除NSExtensionJavaScriptPreprocessingFile，我的SLComposeServiceViewController显示如下：
但我需要访问网页中的一些
浏览 0提问于2016-02-18得票数 7
4回答
程序化表单提交
、、、
我想要抓取网页的内容。内容是在填写并提交该网站上的表单后生成的。
我已经阅读了如何抓取最终结果内容/网页-但是如何以编程方式提交表单呢？
我正在使用python，并且已经读到我可能需要获取表单的原始网页，解析它，获取表单参数，然后执行X？
谁能给我指出正确的方向？
浏览 0提问于2008-12-26得票数 3
2回答
我尝试学习TCP/IP，作为练习，我开发了一个局域网主机发现实用程序，如。
在抓取网页后，我找到了实用程序，它可以完成这项工作。
我做了一个小测试：
import java.net.InetAddress;
import java.net.InetSocketAddress;
import java.net.SocketAddress;
import java.nio.ByteBuffer;
import java.nio.channels.DatagramChannel;
public class NetDiscovery {
public static void main( Str
浏览 4提问于2012-10-24得票数 1
回答已采纳
1回答
正如标题所暗示的，我的网页中有一个Google街景对象。我的程序沿着特定的路线“驱动”，本质上，我通过一个嵌入的Java applet (在同一个页面中)控制Google Street View的javascript API。
我需要能够从我当前的Google街景全景图中抓取图像-我真的不关心如何抓取。如果不能使用Google的API来完成-我完全可以从包含flash对象的图像中‘抓取’图像-无论这是使用javascript还是Java applet完成的，图形数据最终都需要传递到Java applet进行处理。
如果有的话，我有哪些选择？
请注意，我并不是要将图像保存到文件系统中，也不是要违
浏览 2提问于2009-10-05得票数 2
我有一个网页网址列表需要抓取。是否有可能只抓取网页列表，而不是深入抓取它。如果我添加的url作为种子，它抓取完整的网站与完整的深度。
浏览 4提问于2012-08-10得票数 1
回答已采纳
2回答
我正在做一些web抓取和使用Jsoup来解析html文件，我的理解是Jsoup不能很好地处理动态网页。有没有一种方法可以检查网页是否是动态的，这样我就不用费心使用Jsoup来解析它了？
浏览 0提问于2015-08-02得票数 1
1回答
我知道这里有几个屏幕抓取线程，但没有一个答案能让我满意。
我正在尝试使用javascript从外部网页中抓取HTML。我正在使用$.ajax，一切都应该正常工作。下面是我的代码：
$.ajax({
url: "my.url/path",
dataType: 'text',
success: function(data) {
var myVar = $.get(url);
alert(myVar);
}
});
唯一的问题是，它正在我的web服务器中查找指定的url。如何使用代理访问外部网页？
浏览 0提问于2012-09-22得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
