通过Nutch 2.3.1建立索引时，Apache Solr 6.6.1服务器崩溃
Nutch是一个开源的网络爬虫工具，用于从互联网上收集和抓取网页数据。而Apache Solr是一个开源的搜索平台，用于构建强大的搜索引擎和分析应用程序。
当使用Nutch 2.3.1建立索引时，如果Apache Solr 6.6.1服务器崩溃，可能有以下几个可能的原因和解决方法：
- 资源不足：服务器的硬件资源（如内存、CPU等）可能不足以处理大量的索引请求。解决方法是增加服务器的硬件配置，例如增加内存或者CPU核心数。
- 配置错误：Solr的配置文件可能存在错误，导致服务器崩溃。解决方法是检查Solr的配置文件，确保其正确性，并根据实际需求进行调整。
- 数据量过大：如果要建立的索引数据量非常大，可能会导致服务器崩溃。解决方法是分批次建立索引，或者使用分布式架构来处理大规模数据。
- 网络问题：网络连接不稳定或者带宽不足可能导致索引过程中的数据传输失败，从而导致服务器崩溃。解决方法是检查网络连接，确保其稳定性，并增加带宽以提高数据传输效率。
推荐的腾讯云相关产品和产品介绍链接地址如下：
- 云服务器（CVM）：提供高性能、可扩展的云服务器实例，满足不同规模和需求的应用场景。链接地址：https://cloud.tencent.com/product/cvm
- 云数据库MySQL版（CDB）：提供稳定可靠的云数据库服务，支持高可用、备份恢复、性能优化等功能。链接地址：https://cloud.tencent.com/product/cdb_mysql
- 云存储（COS）：提供安全可靠的对象存储服务，适用于存储和处理各种类型的数据。链接地址：https://cloud.tencent.com/product/cos
请注意，以上推荐的腾讯云产品仅供参考，具体选择应根据实际需求和情况进行评估和决策。
相关·内容
我已经在一个具有4 GB RAM的系统上配置了Apache Solr 6.6.1。我有2 2GB的数据要处理。我必须将大约一百万个文档索引到Solr。Nutch在单独的系统上运行。当我执行作业来索引文档时，solr实例关闭，日志中出现以下消息Killedprocess 1437
我的<e
浏览 33提问于2018-01-23得票数 0
我已经在Hadoop 2.7.4和Hbase集群上安装了apache Nutch 2.3.1。我必须通过solr 6.6.1提供搜索。在抓取一些网站后，我观察到Nutch抓取页面中的所有内容。有没有办法让Nutch抓取主要故事内容，并避免这样的侧栏。
浏览 1提问于2017-11-08得票数 0
2回答
我们在Lucene中有一个遗留代码，作为新的需求，我们需要使用Apache Nutch进行爬行。这意味着Apache Nutch应该抓取内容，然后现有的Lucene分析器应该生成索引。我的问题是Apache Nutch已经生成了索引，而我无法从中生成内容。我们不想使用Nutch索引。
你是建议我使用另一个爬虫，还是仍然可以使用Apache Nutch来达到这个目的？
浏览 0提问于2013-08-22得票数 1
2回答
我在带有MongoDB存储的Nutch2.3.1中使用了下面的命令。当它在爬行时，这个过程是通过按CTRL+C来完成的。在那之后，如果我试图运行相同的爬行脚本，它并不是简单的崩溃而没有任何错误。/apache-nutch-2.3.1/runtime/local/bin/nutch updatedb -D mapred.reduce.tasks=2 -D mapred.child.java.opts:没有
浏览 2提问于2018-03-02得票数 0
1回答
我还有另一个Apache Nutch v1.5问题。因此，在通过Nutch爬行和索引我们的网站到Solr时，我们需要能够排除属于特定路径的任何内容。假设我们有自己的网站：http://oursite.com/，我们有一个不想在http://oursite.com/private/上建立索引的路径
我在seed.txt文件中有http://ours
浏览 4提问于2013-07-20得票数 0
回答已采纳
1回答
我将我的Drupal网站配置为使用Solr实例(使用Apache Solr搜索引擎模块)，以便获得比Drupal提供的搜索更好的搜索。此外，我希望我的网站在执行搜索时能从许多其他网站找到结果，因此我配置了一个Nutch实例来使用Solr实例(我上面提到过)。现在，我可以通过我的Solr实例接口查看由Drupal索引的数据和由Nutch索引的数据。问题是，当在我的Drupal网站上执
浏览 2提问于2012-10-10得票数 1
回答已采纳
我有一个以HBase为后端的Nutch2.3设置，并运行了一个爬行，其中包括Solr和Solr的索引。<meta name="robots" content="noindex,follow">
如果您没有编辑
浏览 1提问于2016-02-05得票数 2
回答已采纳
我有一个网站托管在我的本地机器上，我试图用Nutch抓取这个站点，并在Solr中建立索引(这两个也都在我的本地机器上)。我按照Nutch站点()上的说明安装了Solr4.6.1和Nutch1.7，并且在我的浏览器中运行Solr没有问题。时，它会失败，并显示以下输出：Indexer: deleting gone documents: false
Inde
浏览 1提问于2014-02-07得票数 8
我试着和卡桑德拉一起运行nutch 2.3.1。遵循上的步骤。最后，当我试图用命令开头nutch时：我有以下例外： at org.apache.nutch.crawl.GeneratorJob.run(Generato
浏览 6提问于2016-02-03得票数 1
回答已采纳
2回答
我是Nutch和Solr的新手。我刚刚接管活动，我必须爬和索引我的网站现在。
-i -D solr
浏览 0提问于2016-08-16得票数 1
回答已采纳
1回答
我配置了Apache 2.3.1，并且爬行了几个网站。我必须将这些文档索引到在云模式下运行的Solr (6.6.3)。当我执行solrindex命令时，我得到以下异常 at org.apache.nutch.
浏览 6提问于2018-05-02得票数 0
我已经在一个测试环境中组装了一个爬虫，这个环境在两个小站点上运行得很好，包括成功地索引到solr。所以，nutch和solr之间的整合似乎很好。现在，当我运行爬虫时，它会正常运行一段时间，然后就会崩溃，“作业失败！”错误和很少有用的信息。 /opt/apache-nutch-1.10/bin&#x
浏览 1提问于2015-10-30得票数 2
回答已采纳
我已经将我的2台服务器配置为以分布式模式运行(使用Hadoop)，我对爬行过程的配置是Nutch2.2.1-HBase(作为存储)和Solr。Solr由Tomcat管理。问题是，每次我尝试执行最后一步时--我的意思是当我想将HBase中的数据索引到Solr中时。此后，发生了1错误。68)
at org.apache.solr.client.solrj.SolrServer.add(SolrServer.ja
浏览 2提问于2014-09-07得票数 0
我正在运行Apache，它似乎可以工作，并且在小的运行中将索引文档并在运行结束时提交给Solr。有没有办法说服纳奇更频繁地做出承诺？
浏览 3提问于2014-01-04得票数 0
回答已采纳
1回答
我通过Nutch 2.3.1爬行了一些数据。数据存储在Hbase 0.98表中。我已经创建了一个外部表，用于从hbase表导入数据。现在，我必须将这些数据索引到solr 4.10.3。我创建了蜂巢表 id STRING, url STRING"
with serdeproperties ("solr
浏览 2提问于2016-10-19得票数 0
回答已采纳
我已经安装了Drupal7和apache solr搜索模块，并配置了Apache Solr(solr版本:4.10.4)。我需要配置Nutch(Apache Nutch Version:1.12)网络爬虫到apache solr和Drupal7，并从特定的网址(例如：)获取详细信息，并需要在drupal中搜索内容。我的问题是如何配置所有这三个solr nutch和Drupal7。有
浏览 1提问于2016-11-07得票数 0
1回答
我正试图按照通过前端提供的搜索术语获取google数据，并使用Apachenuch1.13将所有urls和索引爬行到solr6.5中。当我通过从控制台获取输入来运行普通的java程序时，它工作得很好，我可以在solr中看到爬行的索引数据，并且可以在上面进行搜索。当servlet运行以下脚本时，它的抛出错误：NUTCH_HOME="/home/nutch1.13
浏览 2提问于2017-04-21得票数 0
回答已采纳
2回答
除了索引到solr之外，流程中的所有步骤都有效。: org.apache.nutch.indexer.IndexWriter not found.`hadoop jar apache-nutch-1.7
浏览 1提问于2014-05-23得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
云直播活动推荐
腾讯云开发者
