首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

使用mongodb - SimpleMongoLookupMapper.java运行Storm拓扑时出错

对于这个问题,我会先给出一般情况下可能导致出错的一些原因,然后再结合具体的错误信息来分析可能的解决方案。

一般情况下,使用mongodb - SimpleMongoLookupMapper.java运行Storm拓扑时出错可能有以下几个原因:

  1. 依赖问题:检查是否缺少相关依赖库或者版本不匹配。建议检查pom.xmlbuild.gradle文件中是否正确引入了所需的MongoDB依赖,并且版本与使用的MongoDB版本相兼容。
  2. 网络连接问题:确认能够访问MongoDB服务器,并且网络连接正常。可以尝试在命令行中使用pingtelnet命令检查与MongoDB服务器的连通性。
  3. 认证授权问题:如果MongoDB服务器启用了认证授权机制,需要确保在连接MongoDB时提供了正确的用户名和密码。可以检查代码中的连接参数或配置文件中的认证信息是否正确。
  4. 数据库和集合配置问题:确认MongoDB数据库和集合的存在,并且在代码中正确指定了数据库和集合的名称。可以在MongoDB客户端中验证数据库和集合的名称是否与代码中一致。
  5. 数据格式匹配问题:如果数据的存储格式与SimpleMongoLookupMapper.java中的期望格式不一致,可能会导致出错。可以检查数据结构是否满足SimpleMongoLookupMapper.java的要求,并且在代码中正确指定了字段映射关系。
  6. 数据库访问权限问题:确保使用的MongoDB用户拥有对目标数据库和集合的读写权限。可以在MongoDB中为对应的用户授予合适的权限。

具体的错误信息可能会提供更多关于出错原因的线索,例如栈轨迹、错误代码等。如果可以提供更具体的错误信息,我将能够给出更准确的解决方案。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

像Apache Storm一样简单的分布式图计算

它能够使用Elasticsearch,Mongodb,Kafka,Redis,Kinesis等基础架构。如果需要自定义的东西,这也是可能的,Storm有一个很大的并在不断发展的库生态系统。...首先,storm集群是由(不足为奇)…节点构建而成的。这些节点可以采用任何一个主节点的形式运行Nimbus守护进程或者采用工作进程(worker)节点的形式—运行Supervisor守护进程。...开发Storm的工程师考虑了上述关注点分离的概念,并向开发人员提供了在开发人员的机器上本地运行拓扑的思路。 谈论开发人员—不如看一些代码?...已经将以下依赖项添加到pom.xml文件中: 首先创建一个使用Storm提供的TopologyBuilder的拓扑: 为了设置拓扑喷嘴,调用TopologyBuilder实例上的setSpout方法...例如,PackageGenerationBolt 传递以一个字段名为“ShipmentRequest”的装运请求到下一个螺栓(ShipmentRequestBolt),要知道如何引用: 最后,将拓扑提交到集群并运行

934100
  • 像Apache Storm一样简单的分布式图计算

    它能够使用Elasticsearch,Mongodb,Kafka,Redis,Kinesis等基础架构。如果需要自定义的东西,这也是可能的,Storm有一个很大的并在不断发展的库生态系统。 ?...首先,storm集群是由(不足为奇)…节点构建而成的。这些节点可以采用任何一个主节点的形式运行Nimbus守护进程或者采用工作进程(worker)节点的形式—运行Supervisor守护进程。...开发Storm的工程师考虑了上述关注点分离的概念,并向开发人员提供了在开发人员的机器上本地运行拓扑的思路。 谈论开发人员—不如看一些代码?...首先创建一个使用Storm提供的TopologyBuilder的拓扑: ? 为了设置拓扑喷嘴,调用TopologyBuilder实例上的setSpout方法,传递一个喷嘴ID和一个喷嘴实例。 ?...最后,将拓扑提交到集群并运行它。在这个例子中,提交给一个专门为调试而开发的本地集群: ? 一旦拓扑经过测试和调试,就可以安全地将其部署到 “真实”的Storm集群。 这可以通过几种方式来完成。

    1.3K60

    一脸懵逼学习Storm的搭建--(一个开源的分布式实时计算系统)

    -0.9.6.jar storm.starter.WordCountTopology wordcount 杀死任务命令格式:storm kill 【拓扑名称】 -w 10(执行kill命令可以通过...deactivte topology-name 5:我们能够挂起或停用运行中的拓扑。...当停用拓扑,所有已分发的元组都会得到处理,但是spouts的nextTuple方法不会被调用。销毁一个拓扑,可以使用kill命令。...比如,你向一个运行中的集群增加了节点。再平衡命令将会停用拓扑,然后在相应超时时间之后重分配工人,并重启拓扑。  ...注意使用storm运行jar包的时候是没有输入输出路径的,区别于hadoop离线分析: 1 [root@master storm]# bin/storm jar examples/storm-starter

    1.3K60

    一种海量日志存储、分析解决方案V1.0 原

    storm,版本0.10.2,主要用来日志实时分析,如用户画像实时更新,PV统计等。     mongodb,版本3.2.10,主要用来存储终态数据,如用户画像、PV值等供业务系统使用。     ...根据架构图设计出网络拓扑图 ?     最后是流程图 ?...并将最终结果存储到mongodb(存储 注意不要和实时分析放在同一个document里)。     5、开放spark的thirfserver对外提供日志数据查询供运维定位问题。    ...6、分析数据流向mongodb,供业务使用,基础数据直接对外提供访问供运维定位问题。 解释一下为什么要离线和实时都进行一次同样的操作。    ...建议:     1、建议先实现一部分,比如先放弃实时计算,和离线计算,只运行基础数据存储,只供运维定位问题使用,总结经验,然后根据需求一点一点扩充。

    2K21

    大数据实时处理实战

    图二 Storm集群组件 Storm应用涉及到Java程序的开发,编程模型中涉及的概念: Topology:Storm运行的一个实时应用程序,各个组件间的消息流动形成逻辑上的一个拓扑结构,Topology...设置遇到不能识别的字符忽略跳过: a1.sources.r1.decodeErrorPolicy = IGNORE flume运行过程中出现GC over的内存溢出错误,配置flume-env.sh中内存配置...Hdfs节点磁盘I/O高造成Storm拓扑运行不稳定 由于Storm是实时计算,每个环节的拥塞都将引起Storm拓扑的不稳定,在开发中我们遇到Hdfs某个节点磁盘I/O高,导致Storm写Hdfs超时,...写Hdfs的worker超时,引发拓扑运行不稳定。...此处建议配置Yarn的中间盘,不要使用操作系统根盘,不要使用Hdfs的数据盘,可以有效避免Storm写Hdfs超时的问题。

    2.2K100

    翻译 理解Storm拓扑的并行性

    原英文官方文档 是什么使一个拓扑运行Storm区分了用于在Storm集群中实际运行拓扑的以下三个主要实体: 工作进程(Worker processes) 执行器(Executors) 任务(Tasks...当我们在Storm的正常,狭义的定义中使用“并行性(parallelism)”,我们会特别提出。 以下部分概述了各种配置选项以及如何你的在代码中进行设置。...Storm将对每个执行器(线程)运行两个任务。 如果没有显式配置任务数,Storm将默认为每个executor运行一个task。 一个运行拓扑的实例 下图展示了一个简单的拓扑运行中是什么样的。...它通常用于在测试期间,限制在本地模式下运行拓扑生成的线程数。你可以设置这个选项Config#setMaxTaskParallelism()。...你有2个选项去重新平衡一个拓扑使用Storm UI去平衡拓扑 使用CLI工具,如下所述 以下是使用CLI工具的示例: ## Reconfigure the topology "mytopology"

    1K90

    理解 Storm 拓扑的并行度

    什么让拓扑运行 Storm 区分以下 3 个主要的实体,用来运行 Storm 集群中拓扑: Worker 进程 Executors 线程 Tasks 这是一个简单的例子, 以说明他们之间的关系 ?...一个正在运行拓扑由多个这样的进程组成, 它们运行Storm 集群的多个机器上。 Executor 是一个线程,由 Worker 进程产生。...通常在测试期间使用它来限制在本地模式下运行拓扑产生的线程数。你可以通过 Config#setMaxTaskParallelism() 来设置此选项。 4....如何改变正在运行中的拓扑的并行度 Storm 的一个很好的特性是可以增加或减少 Worker 进程 或 Executor 的数量,不需要重新启动集群拓扑。这样的行为称之为 rebalance。...你有两个选项来 rebalance 一个拓扑: 使用 Storm web UI 来 rebalance 指定的拓扑使用 CLI 工具 storm rebalance, 如下所示。

    84030

    实时可靠的开源分布式实时计算系统——Storm

    不过Storm不是一个完整的解决方案,使用Storm你需要关注以下几点: 如果使用的是自己的消息队列,需要加入消息队列做数据的来源和产出的代码; 需要考虑如何做故障处理:如何记录消息处理的进度,应对Storm...此时需要使用OutputFieldsDeclarer的declareStream方法来声明多个流并在使用的emit方法指定给哪个流吐数据。...标记是在emit函数里完成,完成一个元组后需要使用Ack函数来告诉Storm。 10) Workers 拓扑以一个或多个Worker进程的方式运行。...这台机器上运行的Nimbus进程负责任务的调度。另外一个进程是Storm UI,可以界面上查看集群和所有的拓扑运行状态。...否则当Nimbus挂掉后: 已经存在的拓扑可以继续正常运行,但是不能提交新拓扑; 正在运行的worker进程仍然可以继续工作。

    2.1K60

    storm kafka 编程指南

    /master/external/storm-kafka#brokerhosts (一)使用storm-kafka的关键步骤 1、创建ZkHosts 当storm从kafka中读取某个topic的消息...SchemeAsMultiScheme(new StringScheme()); OpaqueTridentKafkaSpout spout = new OpaqueTridentKafkaSpout(spoutConf); (二)当拓扑出错...since doing so might increase the number of file handlers due to frequent log segment rolling.  2、由于运行拓扑...,指定了offset在zk中保存的位置,当出现错误时,可以找出offset  当重新部署拓扑,必须保证offset的保存位置不变,它才能正确的读取到offset。 ...3、也就是说只要拓扑运行过一次KafkaConfig.startOffsetTime,之后重新部署均可从offset中开始 再看看这2个参数 public booleanforceFromStart

    2.1K90

    Storm极简教程

    使用Storm你需要关注以下几点: 如果使用的是自己的消息队列,需要加入消息队列做数据的来源和产出的代码 需要考虑如何做故障处理:如何记录消息队列处理的进度,应对Storm重启,挂掉的场景 需要考虑如何做消息的回退...主要区别是MapReduce任务最终会结束,而拓扑会一直运行(当然直到你杀死它)。一个拓扑是一个通过流分组(stream grouping)把Spout和Bolt连接到一起的拓扑结构。...资源 TopologyBuilder: 使用这个类来在Java中创建拓扑 在生产集群中运行拓扑 本地模式: 通过阅读这篇可以学习到如何在本地模式下进行拓扑的开发和测试 元组(Tuple) 元组是Storm...在Storm中编程,就是在操作和转换由元组组成的流。通常,元组包含整数,字节,字符串,浮点数,布尔值和字节数组等类型。要想在元组中使用自定义类型,就需要实现自己的序列化方式。...标记是在emit函数里完成,完成一个元组后需要使用ack函数来告诉Storm。 Workers(工作进程) 拓扑以一个或多个Worker进程的方式运行

    1.9K50

    storm 分布式实时计算系统介绍

    使用Storm你需要关注以下几点: 如果使用的是自己的消息队列,需要加入消息队列做数据的来源和产出的代码 需要考虑如何做故障处理:如何记录消息队列处理的进度,应对Storm重启,挂掉的场景 需要考虑如何做消息的回退...主要区别是MapReduce任务最终会结束,而拓扑会一直运行(当然直到你杀死它)。一个拓扑是一个通过流分组(stream grouping)把Spout和Bolt连接到一起的拓扑结构。...资源 TopologyBuilder: 使用这个类来在Java中创建拓扑 在生产集群中运行拓扑 本地模式: 通过阅读这篇可以学习到如何在本地模式下进行拓扑的开发和测试 元组(Tuple) 元组是Storm...在Storm中编程,就是在操作和转换由元组组成的流。通常,元组包含整数,字节,字符串,浮点数,布尔值和字节数组等类型。要想在元组中使用自定义类型,就需要实现自己的序列化方式。...标记是在emit函数里完成,完成一个元组后需要使用ack函数来告诉Storm。 这些都在一文中会有更详细的介绍。 拓扑以一个或多个Worker进程的方式运行

    1.8K30

    Storm 理解内部消息缓冲机制

    优化 Storm 拓扑性能有助于我们理解 Storm 内部消息队列的配置和使用,在这篇文章中,我将向大家解释并说明在 Storm(0.8或0.9)版本中工作进程以及相关联的 Executor 线程是如何完成内部通信的...也就是说,当一个工作进程中的 Task 想要将数据发送到 Storm 集群另一台机器的 Task ,需要使用 ZeroMQ/Netty 进行传输。...拓扑间通信:没有内置于 Storm 中,你必须自己处理这个问题。可以使用消息传递系统,如Kafka/RabbitMQ,数据库等。...3.3 了解Storm拓扑内部在做什么 Storm UI 是检查正在运行Storm 拓扑的关键指标的一个很好的工具。例如,它向你展示了 Spout/Bolt 的所谓 capacity。...各种指标会帮助你确定本文中描述的与缓冲区相关的配置参数的更改是否对 Storm 拓扑的性能产生正面或负面影响。有关详细信息,请参考运行Storm集群的多节点上。

    84020

    Storm——分布式实时流式计算框架

    即,由一系列通过数据流相互关联的Spout、Bolt所组成的拓扑结构 生命周期:此拓扑只要启动就会一直在集群中运行,直到手动将其kill,否则不会终止 (区别于MapReduce当中的Job,MR当中的...Topology拓扑其实是由并行运行Storm集群中多台服务器上的进程所组成 Executor – 线程 Executor是由Worker进程中生成的一个线程 每个Worker进程中会运行拓扑当中的一个或多个...=10 可以通过 help rebalance 将mytopology拓扑worker进程数量调整为5个 “ blue-spout ” 所使用的线程数量调整为3个 “ yellow-bolt ”所使用的线程数量调整为...随后拓扑会执行函数来计算结果,并在拓扑的最后使用一个名为 ReturnResults 的 bolt 连接到 DRPC 服务器,根据函数调用的 id 来将函数调用的结果返回。...例如,在计算全局计数,计算分为两个部分: 计算批次的部分计数 使用部分计数更新数据库中的全局计数 #2的计算需要在批之间进行严格排序,但是没有理由您不应该通过为多个批并行计算#1 来流水线化批的计算。

    5.1K20

    事实数据分析——Storm框架(一)

    Storm使用元组作为其数据模型,元组支持所有的基本类型、字符串和字节数组作为字段值,只要实现类型的序列化接口就可以使用该类型的对象。...当Storm检测到一个元组从Spout发出,ack()和fail()会被调用,要么成功完成通过拓扑,要么未能完成。Ack()和fail()仅被可靠的Spout调用。...拓扑(Topology) 拓扑(Topology)是Storm运行的一个实时应用程序,因为各个组件间的消息流动而形成逻辑上的拓扑结构。...把实时应用程序的运行逻辑打成jar包后提交到Storm拓扑(Topology)。Storm拓扑类似于MapReduce的作业(Job)。...其主要的区别是,MapReduce的作业最终会完成,而一个拓扑永远都在运行直到它被杀死。一个拓扑是一个图的Spout和Bolt的连接流分组。 Storm核心组件(类似于yarn) ?

    1K30

    学习Storm、Spark Streaming流式实时分布式计算系统的设计要点

    当然了,如果考虑到出错情况比较少,在出错的时候我们能够忍受数据可以从头replay,那么中间的运算可以不进行持久化。注意,这只有在持久化的成本要比计算的replay高的情况下有效。...然后拓扑能够组合不同的算法来为用户提供一个统一的服务。计算平台最大的意义在于算法开发者不需要了解程序的运行,并发的处理,高可用性的实现,只需要提供算法与计算逻辑即可以快速可靠的处理海量的数据。...拓扑的加载与启动:对于每个节点来说,启动需要加载拓扑,节点需要其他的信息,比如上游的数据来源与下游的数据输出。...或者是拓扑最后的节点将这些信息进行持久化。系统需要对这些常见的case进行指导性的说明,需要在Programmer Guide的sample中给出使用例子。...Storm的这种使用ZK的方式还是很值得借鉴的。 Spark是如何实现HA的?

    1.7K150

    strom架构和构建Topology

    Storm集群和Hadoop集群表面上看很类似。但是Hadoop上运行的是MapReduce jobs,而在Storm运行的是拓扑(topology),这两者之间是非常不一样的。...NOTE: Storm的Maven依赖引用了运行Storm本地模式的所有库。 要运行我们的拓扑,我们可以编写一个包含基本组件的pom.xml文件。...拓扑结束,将调用clearup()方法打印计数器map。(虽然这只是一个例子,但是通常情况下,当拓扑关闭,你应当使用cleanup()方法关闭活动的连接和其它资源。)...比如,当使用不同数量的工作进程测试你的拓扑,如果不小心使用了某个全局变量或类变量,你就能够发现错误。...(更多内容请见第三章) NOTE:所有拓扑节点的各个进程必须能够独立运行,而不依赖共享数据(也就是没有全局变量或类变量),因为当拓扑运行在真实的集群环境,这些进程可能会运行在不同的机器上。

    1.5K70
    领券