我正在开发一个Java应用程序，该应用程序将结果数据保存到HDFS。java应用程序应该在我的windows机器上运行。到目前为止，我已经将核心站点、hdfs-site.xml等Hadoop配置文件复制到我的windows机器中并对其进行了测试。下面是我的配置代码片段。config.addResource(new Path("C:\\Hadoop\\core-site.xml"));
config.addResou
浏览 12提问于2016-07-05得票数 1
回答已采纳
当我的Java程序启动时，使用如下命令(unix)将标准的out和err重定向到一些特定的文件：有没有办法从Java程序中读取这些信息？我的要求是在与标准输出相同的目录中</e
浏览 0提问于2012-01-06得票数 0
1回答
我的工作使用了几个内部实用程序代码，在内部使用这些第三方库和配置文件，我只能访问这些文件从中央部署的位置读取。我的调用shell脚本成功地设置了hadoop类路径，并包含来自中央部署位置的所有所需的第三方库和配置文件。我确信我的类x.y.z.MyJob以及所有必需的库和配置文件都可以在调用hadoop作业之前设置的$
浏览 1提问于2012-08-10得票数 1
回答已采纳
它给了我以下例外：
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/ql/CommandNeedRetryExceptionException in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive&#x
浏览 1提问于2015-07-01得票数 2
回答已采纳
我正在用Hadoop2.2中的oozie-4.0.1调度一个简单的java程序 nameNode=hdfs://localhost:8020<start to="javaMainAction"/>
浏览 2提问于2014-05-24得票数 0
回答已采纳
我正在尝试在我的windows机器上安装hadoop。Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.2:exec (com
pile-ms-winutils) on project hadoop-common
浏览 2提问于2015-02-09得票数 1
1回答
我遵循在Windows 7环境中构建Apache。长话短说。我可以用mvn compile命令编译Hadoop，也可以用mvn -package -DskipTests构建包。在没有-Dtar参数的情况下构建Hadoop时，我不会得到这些异常main:
[get] Destination already exists (skipping): C:\hadoop\hadoop-hdfs-
浏览 3提问于2014-05-19得票数 4
3回答
我的Java应用程序包括许多子项目，它们应该使用一个配置文件连接到数据库。我打算编写一个Java类，并使它成为一个独立的jar，从datasource.xml读取数据库连接参数，这些参数将放在独立jar的路径上。我想问的问题是：
第一个问题的解决方案在UNIX等所有操作系统中都能工作吗？
浏览 5提问于2012-11-22得票数 0
我编写了一个连接到两个HBase数据库的MapReduce程序。我在Eclipse上编写了它，并使用"Runnable Jar“选项(与所有的库一起)导出了它。输出如下：log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2但是，如果我使用hadoop jar命令运行相同的程序，我不知道到底会发生什么，但我猜没有发生什么。预期的输出没有显示
浏览 0提问于2014-09-10得票数 0
2回答
Hadoop配置似乎无法读取
、、、、
每次我尝试启动mapreduce应用程序(在独立的Hadoop中)时，它都会尝试将内容放到tmp目录中，但它不能：它与使用无效路径有关(斜杠应该是cygwin的另一种方式)。我在core-site.xml (在Hadoop的conf文件夹中)中设置了<e
浏览 0提问于2012-03-29得票数 1
1回答
apache火花纱簇
、、、
我试图运行一个火花独立应用程序在纱线-客户端模式(没有火花提交)。我在类路径中给出了火花组装(1.1.0-hadoop2.4.0.jar)和hadoop (sert-site.xml)，但spark并不是从sars-site.xml中选择ResourceManager
浏览 1提问于2014-10-22得票数 0
我正试图用hadoop 1.1.2在窗口机器上安装cygwin。在错误的情况下，我得到了与JAVA_HOME相关的问题，路径设置不正确，也给我显示了文本，比如/Java/jre7/bin/bin/java，它看起来是错
浏览 0提问于2013-06-28得票数 1
回答已采纳
2回答
我是Mahout和Hadoop的新手。我已经成功地在3台机器上安装了Hadoop Cluster，集群运行良好，我只是出于“测试目的”在主Namenode上安装了Mahout，我按照安装说明设置了JAVA_HOME，但是当我尝试运行classify-20newsgroups.sh并下载dataset时，我得到了以下错误：然后我修改了.bashrc并确认JAVA_HOME设置正确，但没有帮助另外，如何验证Mahou
浏览 2提问于2014-03-23得票数 0
2回答
我正在尝试从jar运行Hadoop应用程序：在myJarFile.jar中的一个类中，我尝试从类路径中读取资源，如下所示： Configur
浏览 0提问于2017-03-30得票数 1
2回答
"：输出文件夹名Error: java.io.FileNotFoundException: /localhost:9000/)
我认为(我不确定)在路径中添加额外的"/localhost:9000“的问题，但是我不知道它是如何添加的(由hadoop，java代码，.)。注意:这个jar文件在<em
浏览 4提问于2017-03-24得票数 0
我正在使用ConfigParser读取传递给我的pyspark程序的键值。当我从hadoop集群的边缘节点执行时，代码工作正常，配置文件在边缘节点的本地目录中。如果配置文件被上传到hdfs路径，并且我尝试使用解析器访问相同的路径，则不会发生这种情况。配置文件para.conf包含以下内容 [tracker]
port=9801 在本地客户端模式下，使用本地目录中的
浏览 23提问于2019-04-10得票数 1
回答已采纳
4回答
/comp/tools/CleanTmp.javaimport org.apache.hadoop.fs.*;appClientModule/grid/comp/tools/CleanTmp.java:3:
浏览 4提问于2011-12-06得票数 2
我正在尝试从安装在本地计算机上的Intellij中的spark程序中连接到远程配置单元。我将hadoop集群配置文件放在本地机器上，并在Intellij运行此spark程序的配置中配置了环境变量HADOOP_CONF_DIR，以便能够检测此hadoop集群，但intelliJ不知何故无法读取这些文件，并且spark程序默认为本地配置单元元存储实例。有没有办法将intelliJ配置为
浏览 3提问于2018-02-14得票数 0
我已经在Ubuntu Linux15.04上安装了Hadoop2.6，并且运行良好。但是，当我运行一个示例测试mapreduce程序时，它给出了以下错误： at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1296)
at org.apache.hadoop.m
浏览 26提问于2015-08-24得票数 10
18回答
在解压我的C盘中的hadoop之后，我尝试执行hadoop版本命令，得到下面的错误。在我的环境变量中正确设置了JAVA_HOME。有没有人能帮我纠正这个错误？C:\>hadoop version
The system cannot find the path specified.Error: JAVA_HOME is incorrectly set.Please update C:\hadoop-2.5.1\conf\<em
浏览 0提问于2014-11-18得票数 23
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
