1回答
我正在做一个项目，我需要一个成熟的爬虫来做一些工作，我正在为这个目的评估Nutch。有没有人有在Java中直接使用Nutch代码的经验，而不是通过命令行。我想从简单开始:创建一个爬虫(或类似的)，最低限度地配置它并启动它，没有任何花哨的东西。有没有这方面的例子，或者我应该看看的资源？我正在浏览Nutch文档，但其中大部分都是关于命令行、搜索和其他东西的。在不需要索引和搜索的情况下，Nutch爬行模块的可用性如何？任何帮助都是非常感谢的。谢谢。
浏览 0提问于2010-12-03得票数 6
回答已采纳
我是Apache Nutch的新手，我想从mysql数据库中动态注入urls。Apache Nutch提供了这样的可能性吗？如果没有，有没有类似的实验可供我借鉴？或者有什么建议？
浏览 2提问于2016-09-16得票数 2
1回答
我正在用Elasticsearch、AngularJS和Nutch构建一个小型搜索应用程序。我几乎已经完成了ES和AngularJS部分。现在是Nutch和ES部分的时候了，使用Nutch爬行并将数据索引到ES中。我一直在用Nutch 1.10和ES 1.4。我现在看到ES达到了2.3或类似的东西，看来Nutch v1.11仍然使用ES v1.4。有没有人有使用Nutch v1.10的经验，使用任何版本大于1.4的ES (可能是esv1.5或v1.7)？
如果可能的话，我想住在N
浏览 1提问于2016-04-18得票数 0
回答已采纳
我正在使用Java openjdk版本"1.8.0_275“的Red Hat Enterprise Linux release 8.3 (Ootpa)上运行Nutch1.18。我正在遵循这些方向： at org.apache.hadoop.conf.Configuration.getInt(Configuration.java:1486)
at org.apa
浏览 7提问于2021-03-16得票数 0
1回答
我想在我的java应用程序中使用Nutch从一个网站抓取pdf链接进行分析，我如何在我的java应用程序中使用Nutch来实现呢？我能举个例子吗？
浏览 5提问于2014-11-04得票数 4
-2.1\src\java\org\apache\nutch\api\APIInfoResource.java:23: error: package org.restlet.resource does-2.1\src\java\org\apache\nutch\api\APIInfoResource.java:24: error: package org.restlet.resource does-2.1\src\java\org\apache\nutch\api\AdminResour
浏览 2提问于2013-01-26得票数 1
1回答
我尝试在ubuntu中使用nutch 1.4 crawler，但是当我尝试使用nutch wiki中建议的所有设置来执行nutcg时，它给出了这个错误：bin/nutch crawl urls -dir crawl -depth 1
bin/nutch: bin
浏览 2提问于2012-03-12得票数 0
回答已采纳
1回答
我正在尝试使用Apache Nutch 1.x Rest API。我使用docker镜像来设置Nutch和Solr。您可以在中查看演示存储库 - "8080:8080"但是我不能从我的计算机上成功地调用API。re
浏览 20提问于2021-06-12得票数 3
回答已采纳
1回答
我知道Nutch有可以在java项目中使用的命令，但是Nutch有web服务作为API吗？(例如，像ElasticSearch REST API)
浏览 2提问于2012-12-04得票数 0
我正在使用Nutch和Lucene (java API)进行我的网站关键字搜索。我的问题是Nutch无法分配包含所需关键字的所有页面。例如。有没有人能建议我。任何建议都是受欢迎和赞赏的。谢谢。
浏览 5提问于2013-06-20得票数 0
回答已采纳
我已经将urls注入到nutch中，并使用bin/crawl命令爬行。我使用的是nutch的rest api，我点击了这个链接
我尝试在nutch curl -XGET的中列出作业，但没有显示任何jobs.may，我知道原因。
浏览 6提问于2020-09-30得票数 0
2回答
我们在Lucene中有一个遗留代码，作为新的需求，我们需要使用Apache Nutch进行爬行。这意味着Apache Nutch应该抓取内容，然后现有的Lucene分析器应该生成索引。我的问题是Apache Nutch已经生成了索引，而我无法从中生成内容。我们不想使用Nutch索引。
你是建议我使用另一个爬虫，还是仍然可以使用Apache Nutch来达到这个目的？
浏览 0提问于2013-08-22得票数 1
有没有人有幸为nutch编写了自定义索引器，以便使用elasticsearch对爬行结果进行索引？或者你知道已经存在的吗？
浏览 1提问于2011-05-16得票数 8
回答已采纳
当我设置我的数据系统时，我正在尝试获得一些建议。我想设置一个网络爬行系统。它可能会定期抓取几百/上千个站点。
我知道Nutch并且用过Nutch，但是我想知道其他人是否知道比Nutch更好的爬虫。我还使用了Elasticsearch作为索引器，很难让Nutch与更新版本的ES一起工作。
浏览 10提问于2018-02-01得票数 1
回答已采纳
2回答
我是Nutch的新手。我已经安装了Nutch2.3，并让它工作到注入种子urls ($ Nutch _ROOT/运行时/本地/bin/nutch注入file:///path/to/seed/). )。当我执行下一个命令时：$NUTCH_ROOT/runtime/local/bin/nutch生成-topN 10GeneratorJ
浏览 0提问于2016-02-10得票数 2
1回答
我想抓取推特和脸书
、、、
我的导师说它需要支持使用Facebook和Twitter API来获取帖子，但我不知道怎么做。我正在使用Solr作为搜索引擎，并计划使用Nutch进行网络爬行。我看到Nutch不支持这些API。你能推荐其他的网络爬虫或使用Nutch或其他方式获取帖子的方法吗？非常感谢！
浏览 4提问于2014-11-02得票数 0
1回答
抓取网站的API？
、、、
我只是想知道，谷歌或其他公司是否提供了一个API，允许你接收抓取的链接？我想过滤的链接与.txt扩展和可能的另一个额外的扩展。
如果不是，我如何抓取/索引页面，但只将其细化为我选择的扩展？
浏览 1提问于2014-06-06得票数 0
1回答
我使用的是nutch 2.3.1
问题是，nutch只是在爬行第一个URL (seeds.txt中指定的URL)。数据只是来自第一个URL/页面的HTML。我不能让nutch去爬行其他生成的urls.我也不能让nutch抓取整个网站。，我需要使用哪
浏览 2提问于2016-03-01得票数 2
我正在我的centOS虚拟机上安装nutch2.2.1，在注入种子urls(目录名)时出现错误。我使用了这个命令：我得到了一个错误：
Error: Could not find or load main class or
浏览 1提问于2014-02-06得票数 1
我配置了solrindex-mapping.xml (nutch)，并配置了solr、schema.xml和solrconfig.xml。这两种方法在一次运行时都运行良好，但是如果我使用bin/nutch solrindex ...我在org.apache.nutch.indexer.solr.SolrWriter.java中添加了一些日志输出。105) at org
浏览 6提问于2010-09-11得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
云直播
腾讯会议活动推荐
腾讯云开发者
