5回答
我在一个项目上工作，这需要在Java中设计一个网络爬虫，可以采取用户查询一个特定的新闻主题，然后访问不同的新闻网站，然后从这些网页提取新闻内容，并将其存储在一些文件/数据库中。现在我有代码从单个页面提取新闻内容，这需要手动获取页面，但我不知道如何将它集成在一个网络爬虫中，从不同的页面提取内容。有没有人可以提供一些好的Java教程或实现的链接，我可以根据需要使用或修改这些链接？
浏览 0提问于2012-04-05得票数 4
回答已采纳
3回答
网络爬虫反馈？
、、、
嘿，伙计们，偶尔我需要自动从网站收集数据。有时我需要一个目录中的一堆URL，有时我需要一个XML站点地图(是的，我知道有很多软件用于这个和在线服务)。无论如何，作为对我上一个问题的跟进，我写了一个小的网络爬虫，可以访问网站。
可以建立JDBC连接，以将链接存储在数据库中，而不是跟踪对象中已处理的链接和排队链接。但是，目前一次只限于一个网站，可以通过添加
浏览 12提问于2010-05-29得票数 2
回答已采纳
1回答
识别搜索爬行器
、、、
我有一个网站，统计有多少人访问了这个特定的网页，但我不想计数什么时候搜索爬虫访问他们。java是否有任何方法来识别它是爬虫还是真正的用户？使用Java7和tomcat
谢谢
浏览 2提问于2015-10-21得票数 1
回答已采纳
1回答
我正在用java编写一个网站爬虫，我想知道运行它最明智的方式是什么？换句话说，我是走标准的web应用程序路线，放入web服务器并使用某种类型的消息队列，还是忘记容器而将其作为独立的java应用程序运行？这不是一个真正的网络爬虫，因为它只关心x个网站，但我想不断循环通过这些网站(24小时)，以确保我有最新的内容。
浏览 0提问于2012-01-10得票数 0
回答已采纳
3回答
我最近开始在我的网站上看到像Java/1.6.0_14 (及其变体)这样的用户代理
这是什么意思。它是浏览器还是机器人还是别的什么？
浏览 0提问于2009-07-02得票数 5
回答已采纳
2回答
return Redirect("/h");
return View();
问题:如果我限制一些浏览器访问我的主视图，它也会限制对网络爬虫的访问吗
浏览 0提问于2013-02-21得票数 0
回答已采纳
需要知道是否有一个爬虫/下载器，可以抓取和下载和整个网站的链接深度至少为4页。我正在尝试下载的站点有java script超链接，这些超链接只能由浏览器呈现，因此爬虫程序无法抓取这些超链接，除非爬虫程序自己呈现它们！
浏览 4提问于2010-09-30得票数 0
回答已采纳
1回答
我刚写完一个爬虫，一直在想为什么爬行某个网站会很糟糕。我知道现代浏览器的风险主要是由javascript造成的。因此，我的问题是，web爬虫(用PHP或Java编写)是否能够刮起可能会对爬虫造成损害的站点？
浏览 3提问于2014-11-08得票数 1
我想使用一个网络爬虫和抓取一个特定的网站。该网站是一个学习管理系统，许多学生在这里上传他们的作业，项目演示文稿等。我的问题是，我可以使用网络爬虫下载已经上传到学习管理系统中的文件吗？爬虫能做到这点吗？我知道webeater (用Java编写的Crawler )
浏览 1提问于2011-03-30得票数 1
回答已采纳
2回答
我有一个GUI，GUI正在启动另一个线程(Java)。此线程正在启动一个正在爬行许多网站的类。现在，我想在GUI中显示抓取了多少网站以及还剩下多少网站。我想知道对此最好的解决方案是什么。第一个想法是在GUI中启动一个计时器，并定期询问爬虫还剩下多少。但我想这是很脏的..。
然后，可以将GUI传递给爬虫程序，并且每当准备好的网站数量发生变化时，爬虫程序都会调用GUI方法。
浏览 0提问于2013-07-12得票数 0
回答已采纳
你好，我想抓取多个电子商务网站，并获得所有可用的产品被抓取和显示在我的网站。我已经使用Java开发了爬虫，但在这方面，我们必须通过提供URL和HTML标记来手动抓取网站，并通过连接URL和解析URL来抓取站点，并在相应的HTML标记中获取产品。如果我在我的网站上搜索一个产品，那么相应的产品应该自动从电子商务网站上爬行。如果我想爬行佳能相机，爬虫应该自动完成。
有可能使爬虫自动化吗？如果是，请帮助我做这件事。
浏览 1提问于2014-01-20得票数 1
5回答
我想知道是否有人可以向我解释一下价格比较网站是如何工作的？我的意思是，如果它像我想的那样工作(下面解释)，那么我有一个非常好的项目可以为自己工作，从长远来看，应该会赚很多钱。所以我认为它的工作原理是每个供应商提供一个RSS提要，比较网站连接到这个RSS提要。每种产品都有自己的唯一代码(由制造商提供)，这些代码在RSS提要的标准标记中提供。比较网站收集关于谁提供哪种产品的数据，并比较确实提供特定产品的数据。出售图书的比较网站可以按流派、作者等过滤这些图书，并使用xsl样式表( RSS提要以XML格式提供)显示它们想要的内容。
浏览 2提问于2010-08-03得票数 3
回答已采纳
我正在努力创建一个Java的网络爬虫。爬虫访问网站，使用JDBC访问/存储数据库中的数据，还将文件存储在本地或云存储上。作为爬行的一部分，我想记录爬虫使用的确切细节--Number of sites visited (HTTP+HTTPS)
Number of bytes of data received也许是一些必须插入到我的java应用程序中的库？当爬虫执行某些操作(如访问网站、下载数据等)时，我是否需要在每个阶段单独记录
浏览 1提问于2012-06-28得票数 0
回答已采纳
我需要开发的爬虫，这将从一个网站抓取所有的产品链接和价格。我听说使用robots.txt文件中提到的站点地图更有效和更快，但我不能想出如何使用站点地图进行爬行。请谁帮我如何使用网站地图爬行。
谢谢。
浏览 0提问于2011-11-15得票数 0
1回答
Google运行代理IP
、、、
我的用例是托管一个，它解析多个启用地理封锁的网站。例如，我的应用程序需要爬行网站A，它只允许来自亚洲国家的流量，另一个网站B只允许来自美国的流量。
浏览 13提问于2022-01-19得票数 0
1回答
我需要一个开源的web爬虫在java开发的增量爬行支持。
Nutch -一个网络爬虫，有更多的hadoop支持功能。但是我浏览了很多网站和教程，没有合适的文档，api可以在windows中通过编程方式定制它。我可
浏览 4提问于2014-09-22得票数 1
回答已采纳
我需要找到一种方法来爬行我们公司的web应用程序之一，并从它创建一个静态网站，可以烧录到cd上，供旅行的销售人员用来演示网站。有没有人对爬虫有什么好的建议，可以处理像链接清理，flash，一些ajax，css等等？我知道机会很小，但我认为在我开始编写自己的工具之前，我应该在这里抛出这个问题。
浏览 3提问于2008-09-22得票数 9
回答已采纳
我想用java写一个爬虫来做一些学校练习。实际上，用jsoup库实现的爬虫代码可以工作，因为我的请求的结果是一些HTML代码，但是当我搜索一个明确写在网站上的单词时，没有找到它，因为一些div的来自于空的爬虫。然后我意识到，当您导航到网站并右键单击‘查看页面源’时，我得到了与相同的代码。当我将代码与进行比较时，右键单击“->”检查“”时，代码与“查看页面源”中的不同。
浏览 0提问于2019-09-12得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
