当我试图在S3上编写数据时,我在亚马逊电子病历上运行乔布斯面临着一个问题。
这是堆栈跟踪:
org.apache.hadoop.util.DiskChecker$DiskErrorException: Could not find any valid local directory for s3ablock-0001-
at org.apache.hadoop.fs.LocalDirAllocator$AllocatorPerContext.getLocalPathForWrite(LocalDirAllocator.java:463)
at org.apache.hadoop
我正在尝试导入数据(包含两列的简单文件,int和string),表格外观:
hive> describe test;
id int
name string
当我尝试导入时:
hive> load data inpath '/user/test.txt' overwrite into table test;
Loading data to table default.test
rmr: org.apache.hadoop.security.AccessControlException: Permission denied: user=hadoop, a
我正在尝试使用distcp将数据从本地hadoop集群复制到S3存储桶中。
有时它“工作”,但一些映射器失败,堆栈跟踪如下。其他时候,太多的映射器失败,导致整个作业取消。
错误“在任何本地目录中都没有可用的空间”。对我来说没什么意义。边缘节点(运行distcp命令的位置)、集群和S3存储桶上都有足够的空间。
有谁能解释一下这件事吗?
16/06/16 15:48:08 INFO mapreduce.Job: The url to track the job: <url>
16/06/16 15:48:08 INFO tools.DistCp: DistCp job-id: job_
当我运行distcp将数据从s3移动到本地hdfs时,在为复制数据而启动的map还原作业期间会得到此异常:
Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
我检查了所有可能的在线文章。我的yarn-site.xml文件包含
对于集群的每个节点,我检查并设置了这些变量并指向正确的文件夹,实际上,<property> <name>yarn.application.classpath</name> <
我是Hadoop的新手,我有一个流动的问题:
当我试图运行我的工作流程时,我总是得到一个"java.lang.ClassNotFoundException“。我使用Cloudera快速启动VM v4.5。
已使用的oozzie设置:
Jar名称: sample.jar
主要课程:司机
参数:in_单项/ out
用过的java类
public class Driver{
public static class TokenizerMapper extends Mapper<Object, Text, Text, Text>
{
@Override
我在Ubuntu中安装了hadoop,并为namenode和数据节点创建了dir。但是我无法看到名称节点和数据节点正在运行。
hduser@sanjeebpanda:/usr/local/hadoop/etc/hadoop$ jps
9445 Jps
5311 JobHistoryServer
hduser@sanjeebpanda:/usr/local/hadoop/etc/hadoop$ start-all.sh
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
14/11/09 21:14:34 W
我运行的是单节点。NameNode总是在启动群集时开始失败。我得到了下面的错误。
2013-06-29 10:37:29,968 FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Exception in namenode join
org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /tmp/hadoop/dfs/name is in an inconsistent state: storage directory does
我试图导入数据从SAP数据库到hadoop使用sqoop导入命令,但它失败了,给出的表名如"hadoop::Poc.Emp“。HANA区分大小写,因此表名应该在"“中。
sqoop import --connect "jdbc:localhost --username user --password pass --table "hadoop::Poc.Emp"
Execute getColumnInfoRawQuery : **SELECT t.* FROM hadoop::Poc.Emp AS t WHERE 1=0**
sql syntax err
我安装了Hadoop -0.20.2(单节点),并在Linux(Centos).I上进行了配置,为Hadoop安装了Eclipse并添加了Eclipse-plugin。我将数据集放在/home/Hadoop/input/ali.txt中。我无法在Eclipse中的Hadoop上运行Wordcount示例。当我选择“在Hadoop上运行”选项时,没有发生什么事情。另外,在Eclipse中作为java应用程序运行Wordcount示例时,会遇到以下错误:
Input path does not exist: file:/home/hadoop/workspace/wordcount/home/ha
关于我的安装的一些细节:
Ubuntu 14.04 LTS 64位
Oracle 1.8.0_40
Hadoop 2.6.0
我一直按照的指示安装Hadoop。一切都很好,直到我必须格式化namenode为止。
当我运行$ hadoop namenode -format时,会得到以下错误:
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.
15/04/12 19:01:02 INFO namenode.Name
编辑:我看过,解决方案对我不起作用。我已经在节点管理器日志中附加了连接到资源管理器的部分:
[main] client.RMProxy (RMProxy.java:createRMProxy(98)) - Connecting to ResourceManager at /0.0.0.0:8031
2016-06-17 19:01:04,697 INFO [main] nodemanager.NodeStatusUpdaterImpl (NodeStatusUpdaterImpl.java:getNMContainerStatuses(429)) - Sending out 0 NM co
我正在尝试在一个空目录/enc_zone2中创建一个加密区域。这是我正在使用的命令
hdfs crypto -createZone -keyName key2 -path /enc_zone2
当我尝试使用以下命令查看密钥列表时
hadoop key list -metadata
我可以看到key2的元数据。
但是,我在创建区域时遇到的错误是
"RemoteException: Can't create an encryption zone for /temp since no key provider is available."
但是,KMS服务器已启动并在端口