我看过Java中关于析构函数的帖子，了解到Java没有析构函数，但我很困惑，如果没有析构函数，我的应用程序需要做什么。
我的应用程序允许用户创建一系列的网络爬虫，这些爬虫保存在一个数组列表中。每个crawler都有一个进度面板gui，显示已爬行的页面等，并允许用户暂停该爬虫。但是，用户可能还想“终止”该爬虫程序。我需要做什么才能让用户按下"Terminate“，对于那个爬行器，它的抓取器，以及抓取器的DatabaseConn
浏览 4提问于2011-07-08得票数 0
回答已采纳
2回答
我想做一个java脚本爬虫，从php服务器获得一个分配，然后索引页面。但是我想抓取的网站是外部的，我不能用javascript访问它们，有没有人有其他赋值语言或javascript的解决方案。我想过在加载新站点时使用greasemonkey抓取页面。
浏览 1提问于2012-03-06得票数 0
我如何开始编写一个程序，它将抓取他们的页面，并将页面的选择性信息放入CSV格式，然后我可以将其导入到我的网站中？
至少，我可以在哪里学到这一点？谢谢。
浏览 9提问于2011-03-26得票数 0
回答已采纳
我需要抓取一些链接，这些链接依赖于GET请求中发送的cookie。因此，当我想用crawler4j抓取页面时，我需要发送一些cookie来获取正确的页面。或者，有没有Java爬虫能够做到这一点？
感谢您的帮助。
浏览 3提问于2011-12-16得票数 3
回答已采纳
5回答
我已经决定在C#中构建爬虫。我对HttpWebRequest/HttpWebResponse类有很多不好的体验，众所周知，它们对于大型爬虫来说是高度错误和不稳定的。如果他们知道有什么好的开源爬虫框架，比如java有nutch和apache commons，它们是非常稳定和高度健壮的库，我想要这里的专家们的意见，他们已经编码爬虫程序。编辑:我必须抓取的一些网站使用非常复杂的Java Script呈现页面，现在这增加了我的网络爬虫</em
浏览 2提问于2010-12-06得票数 9
回答已采纳
需要知道是否有一个爬虫/下载器，可以抓取和下载和整个网站的链接深度至少为4页。我正在尝试下载的站点有java script超链接，这些超链接只能由浏览器呈现，因此爬虫程序无法抓取这些超链接，除非爬虫程序自己呈现它们！
浏览 4提问于2010-09-30得票数 0
回答已采纳
我会在我的Java应用程序中使用Apache从一个或多个网站抓取网页。基本上，为了处理页面内容(文本等)，我需要为web爬虫找到的每个网页调用我的Java应用程序的方法。如何做到这一点？
浏览 7提问于2016-06-01得票数 2
回答已采纳
我们直截了当地说吧。我已经建立了这个网站以及所有的东西，但是当我在google上输入"lissa mariage“时，它显示了这从罗马尼亚翻译过来的意思："pages_rss_title”。User-agent: GoogleDisallow: /现在，我需要你们的帮助，帮助我创建一个合适的robots.txt，因为我知道如果你不知道自
浏览 0提问于2015-12-17得票数 4
3回答
与爬虫做他们的工作相比，这样做有什么好处呢？
网站地图是一个简单的方式，让网站管理员告知搜索引擎的网页，在他们的网站上，可供爬行。最简单的形式是，Sitemap是一个XML文件，它列出站点的URL以及关于每个URL的附加元数据(最后一次更新它的时间、它通常更改的频率以及它相对于站点中其他URL的重要性)，以便搜索引擎能够更智能地抓取站点目前，我们的系统还没有动态地提供站点地图，所以我们必须用爬虫创建一个站点地图，这不是一个很好的过程。
浏览 1提问于2009-08-28得票数 0
回答已采纳
我正在寻找一个爬虫，它能够处理与Ajax的页面，并能够在开始爬行网站之前与目标网站执行某些用户交互(例如，点击某些菜单项，填写一些表格等).I尝试webdriver/selenium (这是真正的网络抓取工具)，现在我想知道是否有任何爬虫程序，支持模拟某些用户交互之前开始爬行？(用Java、Python或Ruby ...)如果是，我很感谢任何描述这一点的链接。
浏览 1提问于2011-06-28得票数 0
我的网站提供了动态创建的内容，爬虫可以看到，基于以下规范：。这样，谷歌爬虫用以下语法索引了大约5000个： urls
用谷歌的网站管理员工具查看我的抓取报告，我确信这些页面都被成功抓取了。请注意，我确实找到了我的通用网站，在“更多结果”下，我找到了大约40个动态生成的页面，但显然这不是我想要的。我想根据它们的内容(AAPL，GOOG，...)找到页面。也许，爬虫认为我的页面或多或少是一样的。但事实并非如此。
浏览 3提问于2013-06-09得票数 0
当我使用Selenium时，我可以看到浏览器GUI，是否可以使用scrapy或严格基于scrapy命令行？
浏览 4提问于2015-11-03得票数 1
回答已采纳
4回答
构建web爬虫
、、
我目前正在开发一个内置网络爬虫的自定义搜索引擎。由于某种原因，我不喜欢多线程，因此到目前为止，我的索引器是以单线程的方式编写的。现在，我在构建爬虫时遇到了一个小难题。有人能建议一下，先抓取1个页面再索引，还是先抓取1000+页面和缓存，然后再索引，哪个更好？
浏览 2提问于2009-05-14得票数 1
1回答
这不是互联网范围内的抓取。我不是建立一个搜索索引，而是有兴趣从网站上抓取特定的页面。
有没有人能详细介绍一下上述的利弊？谢谢Nayn
浏览 1提问于2010-07-16得票数 2
回答已采纳
1回答
我在一个基于java的爬虫上工作。我想在我的爬虫恢复功能，用户可以在任何时候暂停爬虫，在他想要的情况下，爬虫崩溃的情况下，他应该能够开始从爬虫停止的点上一次爬行。为此，我必须在数据库中存储所有outlink (在任何页面找到的链接)。我不确定哪个数据库是最好的这类系统，因为它需要非常快的插入和检索的链接从数据库和频率插入和检索将非常高。
浏览 2提问于2012-01-06得票数 1
回答已采纳
我想做一个网站，显示亚马逊和易趣产品价格的比较。其中哪一个会工作得更好?为什么？我对BeautifulSoup比较熟悉，但对Scrapy crawler不太熟悉。
浏览 323提问于2013-10-30得票数 146
回答已采纳
2回答
return Redirect("/h");
return View();
问题:如果我限制一些浏览器访问我的主视图，它也会限制对网络爬虫的访问吗
浏览 0提问于2013-02-21得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
