下面是我的conf文件,当我运行flume start命令时,在日志中的以下步骤之后,我无法获得任何响应。你能帮我复习一下我做错了什么以及如何改正吗?
seq_gen.conf文件详细信息和错误日志:
# Naming the components on the current agent
SeqGenAgent.sources = SeqSource
SeqGenAgent.channels = MemChannel
SeqGenAgent.sinks = HDFS
# Describing/Configuring the source
SeqGenAgent.source
Exception in thread "main" java.lang.NoSuchFieldError: IBM_JAVA
at org.apache.hadoop.security.UserGroupInformation.getOSLoginModuleName(UserGroupInformation.java:303)
at org.apache.hadoop.security.UserGroupInformation.<clinit>(UserGroupInformation.java:348)
at org.apache.hadoop.mapredu
或者他们在maven build中有没有"ant compile-mapred-test“的替代方案?出现的错误是:
io problem while parsing ivy file: https://repository.apache.org/content/repositories/snapshots/org/apache/hadoop/hadoop-yarn-server-common/0.24.0-SNAPSHOT/hadoop-yarn-server-common-0.24.0-20110914.035045-1.pom: Impossible to load parent
我在MacOS开发环境中使用ApacheHadoop2.2.0。当尝试运行hadoop minicluster时,如apache文档中所述:
hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.2.0-tests.jar minicluster
我搞错了
org.apache.hadoop.mapreduce.MiniHadoopClusterManager.start(MiniHadoopClusterManager.java:170) at org.apache.hadoop.mapreduce
我是Hadoop的初学者,我尝试过使用MR将一些数据导入到HBase中,但失败了。控制台显示错误信息:
Container exited with a non-zero exit code 1. Last 4096 bytes of stderr :
Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
我在google和stackoverflow上找到了一些解决方案,大多数解决方案都说它与mapred-site.xml和yarn-site.xml的配置有关,然而,我发现
我不知道为什么在Hadoop版本2.7.1中会出现错误。
$ ./hadoop namenode –format
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.
15/12/31 22:26:34 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Start
我是Hadoop的新手,我有一个流动的问题:
当我试图运行我的工作流程时,我总是得到一个"java.lang.ClassNotFoundException“。我使用Cloudera快速启动VM v4.5。
已使用的oozzie设置:
Jar名称: sample.jar
主要课程:司机
参数:in_单项/ out
用过的java类
public class Driver{
public static class TokenizerMapper extends Mapper<Object, Text, Text, Text>
{
@Override
当尝试在HIB中的图像上运行作业Facecount时,我得到了此异常。我已经在类路径中包含了hipi-2.1.0.jar。
Exit code: 1
Stack trace: ExitCodeException exitCode=1:
at org.apache.hadoop.util.Shell.runCommand(Shell.java:576)
at org.apache.hadoop.util.Shell.run(Shell.java:487)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java
我已经在两台机器上安装了hadoop 2.4.1和hbase 0.98.8。当我运行hbase mapreduce作业时,我得到以下错误:
Exception in thread "main" java.io.FileNotFoundException: File does not exist: hdfs://pc1/opt/hbase-0.98.8-hadoop2/lib/hbase-server-0.98.8-hadoop2.jar
at org.apache.hadoop.hdfs.DistributedFileSystem$17.doCall(Distribut
我正在尝试学习hadoop,我正在学习pluralsight的课程“hadoop的构建块”,我正在尝试通过伪分布式模式运行hadoop,当我运行以下命令时:
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.3.jar grep输入输出'dfsa-z.+‘
我得到以下输出:
Application application_1530031734419_0001 failed 2 times due to AM Container for appattempt_1530031734419_0001_000
我尝试了这么多配置,但是如果它是端口(我在Hadoop 2.6上),就不可能让mapreduce监听它,
如您所见,端口19999正在侦听,这意味着正在读取配置文件mapred-site.xml (因为我指定了这个端口,以便"mapreduce.jobhistory.webapp.address“检查)。
netstat -plntu
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/
我在hbase中导出快照时出现以下错误。我已经搜索过那个地方的罐子了。它就在那里。此外,在此之后,我尝试修改jar的权限,但也不起作用。
Snapshot export failed!
java.io.FileNotFoundException: File does not exist: hdfs://master1c.abc.def.com:8020/usr/lib/hbase/lib/hbase-protocol-0.98.0.2.1.7.0-784-hadoop2.jar
at org.apache.hadoop.hdfs.DistributedFileSystem$17.doC
我已经在Ubuntu Linux15.04上安装了Hadoop2.6,并且运行良好。但是,当我运行一个示例测试mapreduce程序时,它给出了以下错误:
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://localhost:54310/user/hduser/input.
请帮帮我。以下是该错误的完整详细信息。
hduser@krishadoop:/usr/local/hadoop/sbin$ hadoop jar /usr/local/hadoop/s
当尝试执行sqoop作业时,该作业将我的Hadoop程序作为-jarFiles参数中的jar文件传递,执行将以下面的错误结束。似乎没有任何决议。具有相同Hadoop用户的其他作业正在成功执行。
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.io.FileNotFoundException: File does not exist: hdfs://sandbox.hortonworks.com:8020/user/root/.staging/job_1423050964699_0003/job.splitmetainfo
我有一个节点集群设置,使用hadoop 2.4.0。当我执行死刑时:
$HADOOP_HOME/bin/hadoop logs application_*
它给出了这个错误:
Error: Could not find or load main class logs
我有一个多节点集群设置工作,但是我需要在单集群模式下测试一些东西,所以我把一切都切换回了单集群模式。也许正是因为这个原因,我在这里遇到了一些配置问题。也许我忘了什么。
我的job-history-server日志在这里,以防有人想要查看:
2015-09-25 21:18:14,316 INFO org.apache.hadoop
我已经没有主意了.我尝试了许多配置,但都不起作用。我试图通过我的hadoop集群上的yarn运行一个jar文件,结果却是: 2020-10-07 21:27:01,960 INFO [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Created MRAppMaster for application appattempt_1602101475531_0003_000002
2020-10-07 21:27:02,145 INFO [main] org.apache.hadoop.mapreduce.v2.app.MRAppMast
我最近升级到了clodera4b1 .Before upgraded作业运行得很好,但现在当我执行任何mapreduce程序时,出现以下错误:
命令运行:
hadoop jar /usr/lib/hadoop/hadoop-mapreduce-examples-0.23.0-cdh4b1.jar grep *.xml /user/out/ 'dfs'
12/04/10 19:23:15 INFO mapreduce.Cluster: Failed to use org.apache.hadoop.mapred.LocalClientProtocolProvider due
我试图通过从java命令行路径(./ code(org.apache.hadoop.hbase.mapreduce.Export) -cp ".:/npachava/*“导出测试/test)将所有必需的jars添加到类路径来运行相同的测试导出类,我得到了以下错误。
Exception in thread "main" java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond
我试图在windows中的eclipse上运行一个简单的程序。我得到了以下例外。
Exception in thread "main" java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.
at org.apache.hadoop.mapreduce.Cluster.initialize(Cluster.java:121)
at org.apa