hadoop集群错误怎么办
Hadoop集群错误可能会导致数据丢失、作业失败或集群不可用等问题。解决Hadoop集群错误的方法取决于具体的错误类型和情况。下面是一些常见的Hadoop集群错误及其解决方案：
- 数据节点无法连接到NameNode：
- 错误类型：org.apache.hadoop.ipc.RemoteException，java.net.ConnectException等。
- 解决方案：确保数据节点可以访问NameNode的网络地址。检查防火墙、网络配置和主机名解析等。
- NameNode无法启动：
- 错误类型：org.apache.hadoop.hdfs.server.namenode.SafeModeException等。
- 解决方案：检查配置文件（如hdfs-site.xml和core-site.xml）中的NameNode相关配置，确保文件系统目录正确设置并具有适当的权限。可以尝试重启Hadoop集群或格式化NameNode。
- 数据丢失或损坏：
- 错误类型：org.apache.hadoop.fs.ChecksumException，org.apache.hadoop.hdfs.server.datanode.BlockMissingException等。
- 解决方案：首先检查硬件故障，如磁盘故障或网络问题。然后，尝试修复或恢复损坏的数据块。使用命令
hdfs fsck <路径>检查文件系统中的问题，并使用适当的工具如Hadoop的fsck命令或备份来修复数据丢失问题。
- 作业失败或超时：
- 错误类型：org.apache.hadoop.mapred.JobTrackerNotYetInitializedException，org.apache.hadoop.mapred.TaskAttemptListenerImpl等。
- 解决方案：查看作业的日志文件，查找错误消息和异常堆栈跟踪，以确定失败的原因。可能需要调整作业的配置参数、资源分配、调试作业代码或增加集群的容量。
- 集群不可用或性能下降：
- 错误类型：org.apache.hadoop.util.DiskChecker$DiskErrorException，org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException等。
- 解决方案：检查硬件故障，如磁盘故障或网络故障。确保集群的资源足够满足作业需求，并考虑调整配置参数、增加节点、优化网络等方式来提高性能。
总的来说，解决Hadoop集群错误需要综合考虑硬件、网络、配置、作业等多个方面的问题。如果以上解决方案无法解决问题，可以查阅Hadoop官方文档、社区论坛或咨询专业的Hadoop支持团队获取进一步的帮助。
作为腾讯云的专家，推荐的腾讯云产品和产品介绍链接如下：
- 对于Hadoop集群的部署和管理，可以使用腾讯云的弹性MapReduce（EMR）服务，详情请参考：弹性MapReduce产品介绍
- 对于数据存储和计算，可以使用腾讯云的对象存储（COS）和云服务器（CVM）等产品，详情请参考：对象存储产品介绍、云服务器产品介绍
相关·内容
当Secondary NameNode失败时，hadoop集群会发生什么。
Hadoop集群被认为是单点故障，因为所有的medata都是由NameNode存储的。如果次要名称节点失败，群集将失败或继续运行，那么辅助NameNode怎么办？
浏览 0提问于2014-01-15得票数 1
回答已采纳
5回答
这就是Hadoop的工作方式吗？
客户端将MapReducer作业/程序提交给NameNode。
JobTracker (驻留在NameNode上)将任务分配给在单个工作机器(日期节点)上运行的从任务跟踪器。
每个任务跟踪器负责执行和管理由作业跟踪器分配的单个任务
根据上述方案，MapReducer程序将在从节点上运行。这是否意味着作业将消耗从计算引擎或处理能力？
如果我想使用另一台机器(独立于Hadoop安装系统)来执行MapReduce作业并使用Hadoop集群数据，该怎么办？
我为什么要使用Hadoop集群？Hadoop以非常有效的方式将大型数据分发给他们的DataN
浏览 3提问于2014-07-27得票数 2
回答已采纳
1回答
下面添加的屏幕截图显示了hdfs fsck /的输出。它显示"/“目录已损坏。这是我的Hadoop集群的主节点。该怎么办呢？
浏览 7提问于2017-07-20得票数 0
我是Hadoop的新手。我设置了单节点集群hadoop-1.0.4，我还从apache hadoop web下载了示例的jar - hadoop-exaples-1.0.4.jar。使用jar和命令"hadoop jar hadoop-examples-1.0.4.jar wordcount 'input-dir‘'output-dir'“，我可以运行简单的wordcount问题。
问题:：现在我将在apache hadoop网站中发现的单词计数问题的代码复制到eclipse中，并导出一个jar文件，该文件现在只包含wordcount类，我将jar重命名为wc.
浏览 0提问于2012-11-11得票数 0
回答已采纳
3回答
我在集群上运行Hadoop映射减少作业。我得到了这个错误。
OpenJDK客户端VM警告: INFO: os::commit_memory(0x79f20000,104861696，0)失败；错误=‘无法分配内存’(errno=12)
Java运行时环境没有足够的内存继续运行。
本机内存分配(malloc)未能为提交保留内存分配104861696字节。
该怎么办？
浏览 5提问于2014-10-15得票数 3
我想向hadoop分布式系统注入一些故障。我已经使用docker容器构建了一个包含3个节点的集群。如果我想断开一个节点的连接怎么办？我可以停止工作节点上的ssh服务吗？ 另外，如果我想模拟磁盘已满的故障，该怎么办？
浏览 27提问于2021-08-02得票数 1
回答已采纳
1回答
我正在评估各种系统监控工具，以便使用其中一个来监控我的hadoop集群。其中一个给我留下深刻印象的工具是collectl。我已经玩了几天了。
我正在努力寻找当我们使用colmux时，如何聚合collectl捕获的指标？
比方说，我的hadoop集群中有10个节点，每个节点都将collectl作为服务运行。使用colmux，我可以在单个视图中查看每个节点的性能指标(单行和多行格式)。太棒了！
但是，如果我正在考虑集群中所有节点上的CPU、IO等的聚合，该怎么办？也就是说，我希望通过将每个节点的性能指标聚合到相应的数字中，从而获得集群级别的指标而不是节点级别的指标，从而了解我的集群作为一个整体的性
浏览 3提问于2015-06-19得票数 0
1回答
我已经通过helm chart在我的microk8s kubernetes集群上安装了Hadoop。我想知道如何在这个hadoop集群上的不同机器上创建一个dask集群。我尝试遵循Dask网站上的教程，但一直收到错误，因为它正在寻找本地的yarn/hadoop。如何指向kubernetes上的hadoop才能创建集群？
浏览 0提问于2020-06-16得票数 2
我有一个Apache Hadoop集群。其中一个节点面临着数据分布不对称的问题。这台机器有3个磁盘。磁盘1约占86%，磁盘2占30%，磁盘3占60%。现在，如果数据在DataNode内的磁盘之间分布不均，该怎么办？附言:我想通知您，存储类型不同，因此，我无法遵循HDFS-1312。另外，我的Hadoop版本是2.5.0。有什么帮助吗？
浏览 10提问于2018-09-06得票数 0
回答已采纳
1回答
我有一系列问题(很抱歉，Google文档太糟糕了，而且不方便用户使用)：
在Google，Dataproc上，亚马逊的EMR相当于什么？我正在使用这个文档来运行一个火花作业：
您可以将ssh放入头计算机并在整个集群中运行星火，还是使用Google的gcloud dataproc jobs submit ...命令？
当我在本地运行Spark作业并尝试访问时，我这样做是没有问题的。当我尝试使用Dataproc时，它会崩溃。
我读过：
到目前为止，我已经尝试过：
我已将gcs-connector-hadoop2-latest.jar和my_proj
浏览 3提问于2019-01-18得票数 3
当我运行单元测试的时候，一切正常，但是当我在集群上运行它时，我得到的是NoSuchMethodError
2015-09-07 16:51:40,143致命的主org.apache.hadoop.mapred.YarnChild:运行子: java.lang.NoSuchMethodError: com.google.common.base.Splitter.splitToList(Ljava/lang/CharSequence;)Ljava/util/List；出错
在pom.xml中，我包含了芭乐:com.google.guava:18.0
当我设置芭乐版本14.0的时候，我得到了同样的错
浏览 1提问于2015-09-08得票数 0
我在集群中运行storm jar，其中配置了hadoop、kafka、storm集群。
当我在本地模式下运行jar时，它工作得很好，当我在storm集群上运行它时，我在Storm中找到了各自的错误：
java.lang.NoSuchMethodError: org.apache.hadoop.security.authentication.util.KerberosUtil.hasKerberosTicket(Ljavax/security/auth/Subject;)Z at
org.apache.hadoop.security.UserGroupInformation.<init&
浏览 0提问于2018-07-05得票数 0
1回答
我已经安装了hadoop(1.0.3)单节点集群，并尝试在其上安装hive(0.13.0)。问题是，每次我启动hive时，它都会创建新的表。未保留任何历史日志。我也收到此错误：
WARN conf.HiveConf: DEPRECATED: hive.metastore.ds.retry.* no longer has any effect. Use hive.hmshandler.retry.* instead
我只能创建表，没有其他sql命令是working.Is。hive-site.xml有问题吗？因为文件中有太多的配置变量，我不知道该怎么办？
浏览 0提问于2014-05-30得票数 0
当我移除hadoop集群设置文件夹时，我的spark-shell工作得很好，但是，如果我尝试使用hadoop集群设置文件夹，那么spark-shell会产生各种错误，比如“在spark中实例化'org.apache.spark.sql.hive.HiveSessionState‘时出错”，即使我没有在任何地方配置hive。请注意，即使我尝试关闭hadoop和spark的all集群，但即使是spark-shell也会产生以下错误：
浏览 0提问于2017-04-07得票数 1
按照快速启动指南的示例，我想启动一个whirr集群。不幸的是，我得到的错误与这里的条目相同。我在启动集群的输出中看到，在下载hadoop时似乎已经出现了一些问题。有什么想法吗？谢谢!
使用identity AKIAJUS7X6OK3HC3SJMQ引导集群配置引导模板-hadoop-datanode_ hadoop-tasktracker配置引导模板-hadoop-hadoop_ hadoop-namenode启动一个节点(S)，角色hadoop-datanode，hadoop-任务跟踪器启动一个节点(S)，角色hadoop-作业跟踪器，hadoop-namenode
在节点(us 1/I-6
浏览 1提问于2013-05-16得票数 0
回答已采纳
1回答
我试图使用以下资源在Google平台中创建Hadoop集群：
在设置Hadoop集群之后，我尝试启动Hadoop并获得以下错误：
File "./compute_cluster_for_hadoop.py", line 60, in __call__
oauth2client.tools.gflags.FLAGS.auth_local_webserver = False
AttributeError: 'module' object has no attribute 'gflags'
我通过SSH访问实例，并使用--no
浏览 2提问于2014-04-01得票数 0
1回答
我们有3个hadoop复制设置，即：
dfs.replication.max = 10
dfs.replication.min = 1
dfs.replication = 2
因此，dfs.replication是hadoop集群中文件的默认复制，直到hadoop客户端使用"setrep“手动设置它为止。而hadoop客户端可以将最大复制设置为dfs.replication.mx.。
dfs.relication.min用于两种情况：
在安全模式下，它检查块的复制是否达到dfs.replication.min。
dfs.replication.min是同步处理的。其余的
浏览 2提问于2014-05-22得票数 5
回答已采纳
我在GCE集群上执行hadoop shell命令-appendToFile时遇到了问题。我在GCE集群上成功地使用了其他hadoop命令(例如，-cat、-put、-mv)。此外，我能够在不同的hadoop集群上使用-appendToFile。但是，我无法在GCE集群上使用-appendToFile。我尝试过的语法：
hdfs dfs -appendToFile two.log /tmp/test/one.log
产量：
"appendToFile:未能关闭文件/tmp/test/one.log。租约恢复正在进行中。稍后再试。“其中，one.log是hdfs上的现有文件，two.log
浏览 2提问于2015-01-30得票数 1
回答已采纳
我正在尝试设置一个在hadoop集群上运行的hbase集群。两个集群都已启动并运行，但是当我尝试在Hbase client..am中创建表时，在日志中看到以下错误！！
compute-0-11 :是hadoop集群的名称节点。
2012-03-18 01:18:54,696 WARN org.apache.hadoop.hbase.util.FSUtils:
Unable to create version file at hdfs://compute-0-11:9000/hbase, retrying:
java.io.IOException: java.lang.NoSuchMethod
浏览 3提问于2012-03-23得票数 1
回答已采纳
我正在使用micheal教程来设置单节点Hadoop集群。
但是当我运行命令
hadoop dfs -copyFromLocal /home/proton/Desktop/tmp/gutenberg /user/hduser/gutenberg
我知道错误：
/usr/bin/hadoop: 4: exec: /usr/lib/hadoop-0.20/bin/hadoop: not
有谁能提出解决这个错误的办法吗？
浏览 1提问于2013-07-10得票数 0
回答已采纳
Hadoop将通过从Hbase读取数据并将数据写入Hbase来运行许多作业。假设我有100个节点，那么有两种方法可以构建Hadoop/Hbase集群：
100节点hadoop & hbase集群 (1大Hadoop&Hbase)
分离数据库()，然后我们有两个集群：60节点Hadoop集群和40节点Hbase集群 (1 Hadoop +1 Hbase)
哪种选择更好？为什么？
谢谢。
浏览 4提问于2014-04-19得票数 1
回答已采纳
1回答
我只是按照Hadoop(0.20.2)安装教程进行了设置。我可以通过eclipse在集群上运行map还原程序。现在我的问题是如何从本地系统连接Hadoop集群。本地系统是windows 7，我已经为Hadoop安装了eclipse插件。我试图从本地系统(Windows)连接Hadoop (我的本地系统和Hadoop系统在同一个子网中)。连接到Hadoop服务器时出现了连接超时错误。
在Hadoop的配置文件中，我给出了实际的IP地址。不知道我错过了哪一步？
浏览 1提问于2011-02-11得票数 1
2回答
从集群外部访问hdfs
、、、、
我在aws上有一个hadoop集群，我试图通过hadoop客户机从集群外部访问它。我可以成功地hdfs dfs -ls并查看所有内容，但是当我尝试put或get文件时，我会得到以下错误：
Exception in thread "main" java.lang.NullPointerException
at org.apache.hadoop.fs.FsShell.displayError(FsShell.java:304)
at org.apache.hadoop.fs.FsShell.run(FsShell.java:289)
at org.apac
浏览 3提问于2016-02-10得票数 0
回答已采纳
我有一个Hadoop集群设置，并使用一个通用的默认用户名"user1“。我想从一台不属于hadoop集群的远程机器将文件放入hadoop。我在远程机器上配置hadoop文件时，
hadoop dfs -put file1 ...
从远程机器调用时，它会将file1放在Hadoop集群上。
唯一的问题是，我在远程机器上以"user2“身份登录，但这并没有给出我所期望的结果。实际上，上面的代码只能在远程机器上执行，如下所示：
hadoop dfs -put file1 /user/user2/testFolder
但是，我真正想要的是能够将文件存储为：
hadoop dfs -pu
浏览 3提问于2012-07-07得票数 33
回答已采纳
我在一个安装了CDH4.2.0的hadoop集群上工作，结果遇到了错误。在更高版本的hadoop中已经修复了这个问题，但是我没有更新集群的权限。有没有一种方法可以告诉hadoop在通过命令行参数运行作业时使用这个jar
hadoop jar MyJob.jar -D hadoop.mapreduce.client=hadoop-mapreduce-client-core-2.0.0-cdh4.2.0.jar
其中，新的mapreduce-client-core.jar文件是票证中打了补丁的jar。或者必须使用这个新的jar完全重新编译hadoop？我是hadoop的新手，所以我不知道所有可能的
浏览 1提问于2013-04-25得票数 1
回答已采纳
1回答
我使用的是Azure HDInsight Hadoop集群类型，HDI :Hadoop2.7(HDI3.6)。这不是Kerberised群集，因为未启用ESP。现在我需要在这个hadoop集群上启用SSL。如何确保在hadoop集群中启用SSL？我可以在core-default.xml文件中看到hadoop.ssl.enabled属性为false。
现在，如何在此hadoop集群上启用SSL。
感谢你的他谢谢
浏览 2提问于2019-12-03得票数 1
通过Twitter查看Summingbird的演示和材料，在Summingbird中提到使用Storm和Hadoop集群的原因之一是，通过Storm进行处理会导致错误的级联。为了避免这种错误的层叠和累积，使用Hadoop集群对数据进行批处理，并在Hadoop对相同数据进行处理后丢弃风暴结果。
产生这种累积错误的原因是什么？为什么它不在Hadoop中？因为我没有和Storm一起工作，所以我不知道原因。是不是因为Storm使用了一些近似的算法来处理数据，以便进行实时处理？或者是其他原因？
浏览 0提问于2014-06-01得票数 8
回答已采纳
Hadoop自然是为了处理大数据而创建的。但是，如果Mappers的输出也很大，太大，不适合减少内存，那么会发生什么呢？
假设我们正在考虑一些我们想要聚在一起的大量数据。我们使用了一些划分算法，它将找到特定数量的元素“组”(集群)，这样一个集群中的元素是相似的，但是属于不同集群的元素是不同的。经常需要指定集群的数目。
如果我尝试将K均值作为最著名的聚类算法来实现，那么一次迭代将如下所示：
映射相位-将对象分配给最近的质心
减少相位-基于集群中的所有对象计算新的质心。
但是如果我们只有两个星系团呢？
在这种情况下，大型数据集将分为两个部分，只有两个键，每个键值将包含大数据集的一半
浏览 4提问于2015-03-24得票数 1
回答已采纳
我最近为hadoop集群配置了两台机器(在ubuntu上)。到目前为止，它工作得很好。但是当我尝试在上面的hadoop集群上配置hbase时，它显示错误。这是我所做的，
我有两台机器。192.168.1.110 Hadoop主机192.168.1.111从Hadoop
conf/hbase-env.sh
export JAVA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.22 export HBASE_CLASSPATH=/home/hadoop/hadoop-0.20.2/conf export HBASE_MANAGES_ZK=true
hbase-site.xm
浏览 1提问于2011-03-11得票数 6
HDInsight Hadoop集群和HDInsight星系团有什么区别？我已经看到，即使在Hadoop集群中，也可以使用吡火花。是否与集群类型有关？也就是说，Hadoop集群意味着纱线作为集群管理层，而火花意味着火花独立(或Mesos?)作为集群管理层？
如果是这样，我们仍然可以运行星火在Hadoop集群，我相信，所以星火将运行在纱线之上。
浏览 3提问于2016-07-12得票数 1
回答已采纳
陈述我的问题
1)我想将我们的cdh hadoop集群备份到s3
2)我们有一个正在运行的emr集群
3)我正在尝试从emr集群运行s3distcp，将src作为cdh远程集群的hdfs URL，将目标作为s3。
出现以下错误:由: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException)：权限被拒绝: user=mapred，access=RE AD_EXECUTE，inode="/tmp/hadoop-mapred/mapred/staging“
以下是我在阅读此
浏览 4提问于2017-12-28得票数 0
在格式化namenode的步骤中尝试设置单节点hadoop集群时出现错误。
命令：
bin/hadoop namenode -format
错误：
bash: bin/hadoop : permission denied
我在ubuntu 12.10，12.04，11.04上试了一下，都得到了同样的错误。
我能做什么?
浏览 0提问于2012-12-18得票数 0
回答已采纳
每次我尝试安装一些apache hadoop，hbase。
127.0.0.1 localhost
127.0.1.1 ubuntu-host
通常，建议您注释本地主机部分，并在/etc/hosts文件中使用127.0.0.1 ubuntu-host。如果我两个都用呢？
127.0.0.1 localhost, ubuntu-host这有什么问题吗？此外，建议禁用集群中的ipv6。如果我使用默认主机文件和ipv6启用，该怎么办？这会导致什么问题吗？
浏览 3提问于2013-07-01得票数 2
回答已采纳
我在hadoop集群中有一个名为'test.zip‘的.zip文件。我正在尝试将其解压缩到hadoop集群中，并以test.txt的名称存储它，但是，文件没有被解压缩，并且我的以下代码也没有给我任何错误。
代码可以解压缩文件，但不能将解压缩后的文件保存到集群中。
浏览 0提问于2018-01-24得票数 1
我正在探索这个python包mrjob，以便在python中运行MapReduce作业。我试过在本地环境中运行它，并且运行得很好。
我在Kubernetes (GKE)集群上运行Hadoop3.3。因此，我还成功地从内部在名称节点荚中运行了mrjob。
现在，我已经在相同的Kubernetes集群(相同的命名空间)中运行了一个木星笔记本吊舱。我想知道我能否从朱庇特笔记本上运行mrjob MapReduce作业。
问题似乎是，我没有在木星笔记本环境中定义$HADOOP_HOME。因此，根据文档，我创建了一个名为mrjob.conf的配置文件，如下所示；
runners:
hadoop:
c
浏览 16提问于2022-10-24得票数 0
回答已采纳
这个问题是在Linux Hadoop ( HDInsight )集群的上下文中提出的。一旦我们通过Visual Studio登录到Azure帐户，基于添加到我们的帐户的Azure订阅，我们可以在服务器资源管理器中看到这些订阅中的HDInsight集群列表--然后我们可以直接向这些集群编写/提交配置单元查询。这不涉及任何身份验证--因为它在幕后无缝地发生。但是当我们这样做时，提交的配置单元查询使用默认的'admin‘作为用户。如果我已经创建了一些本地Ambari用户，并且我希望Visual Studio使用该用户而不是默认的'admin‘，该怎么办？有没有办法强制Visual S
浏览 4提问于2020-07-02得票数 0
1回答
我已经用trafodion开发了火花应用程序。当使用--master local[*]模式运行应用程序时，使用submit命令，那么它运行良好，数据被正确地插入到DB中。但是，当我在--master yarn集群模式下运行同一个应用程序时，它就不会运行了。它造成了错误：
将ERROR29716错误写入证书文件/home/hadoop M3_yarn.cer。
将ERROR29716错误写入证书文件/home/hadoop m1_yarn.cer。
将ERROR29716错误写入证书文件/home/hadoop M2_yarn.cer。
在集群模式下运行trafodion时，我们有三个节
浏览 2提问于2016-10-26得票数 0
1回答
我想运行以下命令：
hadoop fs -ls hdfs:///logs/ | grep -oh "/[^/]*.gz" | grep -oh "[^/]*.gz" | hadoop fs -put - hdfs:///unzip_input/input
在ssh到主节点上之后，当我从shell调用它时，它可以工作。但是如果我尝试通过ssh调用它，它将不会工作，如下所示：
ssh -i /home/USER/keypair.pem hadoop@ec2-XXXX.compute-1.amazonaws.com hadoop fs -ls hdfs:///logs
浏览 1提问于2013-02-07得票数 1
回答已采纳
我正在尝试使用本教程安装单个节点hadoop集群。
我遵循了上面提到的所有步骤，但是我无法使用命令hadoop namenode -format格式化namenode。
它给出了这个错误：
bash: /usr/local/hadoop/bin/hadoop: Permission denied
浏览 0提问于2015-05-24得票数 1
我的意思是，有两个选择: 1.在Hadoop集群上安装HBase，这也是离线计算，所以只有1个hadoop集群。2.安装一个用于离线计算的Hadoop集群，然后再安装一个仅供HBase使用其HDFS的Hadoop集群。
因此，有两个选项:一个是集成集群，另一个实际上是2个集群。
这两个选项的优缺点是什么？
浏览 2提问于2013-07-11得票数 1
我试图对mahout集群示例(synthetic_control示例)的输出执行一个“集群转储”。但我遇到了以下错误：
> ~/MAHOUT/trunk/bin/mahout clusterdump --seqFileDir clusters-10-final --pointsDir clusteredPoints --output a1.txt
MAHOUT_LOCAL is not set; adding HADOOP_CONF_DIR to classpath.
Running on hadoop, using /usr/lib/hadoop/bin/hadoop and HAD
浏览 2提问于2012-06-21得票数 6
回答已采纳
1回答
我在启动Hadoop集群nad时遇到了这个错误，我的namendoe没有启动。以下是日志中的错误：..org.apache.hadoop.hdfs.server.common.InconsistentFSStateException:目录/home/ubuntu/hadoop/file:/home/ubuntu/hadoop/hdfs/name处于不一致状态:存储目录不存在或无法访问；
错误路径/home/ubuntu/hadoop/file:/home/ubuntu/hadoop/hdfs/name似乎不正确。它只应该是文件:/home/ubuntu/hadoop/hdfs/name。
有人
浏览 4提问于2014-12-03得票数 0
回答已采纳
问题
我正在尝试通过IntelliJ运行一个远程星火作业和一个星火HDInsight集群(HDI4.0)。在我的星火应用程序中，我试图使用readStream函数中内置的Spark的结构化流，从Azure blob存储的一个拼板文件文件夹中读取输入流。
当我在附加到HDInsight集群的齐柏林飞艇笔记本上运行它时，代码就像预期的那样工作。但是，当我将Spark应用程序部署到集群时，会遇到以下错误：
java.lang.IllegalAccessError: class org.apache.hadoop.hdfs.web.HftpFileSystem cannot access its su
浏览 9提问于2020-07-13得票数 3
回答已采纳
1回答
由于是的新手，因此正在尝试理解实时生产系统中的Hadoop集群设置环境。
1)到目前为止，大多数项目是在Hadoop v1或Hadoop v2上运行的吗？
2)对于单个项目，我们是有一个集群还是多个集群？(我听说有多个集群，每个集群都专门用于特定角色。)
3) Hadoop集群通常运行在云上，比如AWS、Rackspace，还是运行在客户端没有自己的网络上？
浏览 3提问于2015-11-16得票数 0
回答已采纳
我在Hadoop v1.1.2上使用Hadoop Accelerator，我完成了hadoop自述文件中给出的配置。
当使用start-all.sh启动集群时，jobtracker没有出现。它抛出以下错误
致命异常: java.lang.NoClassDefFoundError: org/apache/hadoop/fs/InvalidPathException
浏览 0提问于2014-10-23得票数 0
我是新的使用火花与Hadoop。
当前场景：
我已经使用预构建的二进制"spark-1.5.2-bin-hadoop2.6“在4个节点集群上配置了Spark。
在我的环境中还有一个Hadoop2.4集群，其中有4个节点。
我想要的：
我计划对Hadoop集群中hdfs中的数据使用Hive HQL使用Spark处理。
查询
我需要重新配置星火集群使用“火花-1.5.2-bin-hadoop2.4”二进制还是当前的一个将工作。
在两个不同的集群(但在云中相同的子网下)上使用Spark和Hadoop来在Hadoop上工作是一个很好的实践吗？
浏览 4提问于2015-11-24得票数 0
回答已采纳
3回答
人们(和初创公司)如何在亚马逊上进行原型设计/部署，并保持合理的成本？上个月，我们正在试验一些特定的应用程序，并运行自己的hadoop集群，仅测试就花费了近15K？当然-他们有微型实例，但如果你的应用程序非常密集，甚至需要更大的实例来测试，那该怎么办？所以我想要一些关于人们如何做这件事的意见？
浏览 0提问于2011-08-17得票数 5
回答已采纳
1回答
在Kerberos中有一个名为"foo“的用户，hadoop集群受到Kerberos的保护。我想让hadoop集群以"foo“的身份运行作业，我该怎么做？什么配置允许hadoop客户端指定kerberos用户帐户名运行，就像hadoop集群'kinit username‘然后运行mapreduce作业一样？仅供参考，hadoop 2.6.0
浏览 2提问于2015-11-03得票数 0
2回答
我试图在我的Hadoop集群上运行spark-submit命令，这里是我的Hadoop集群的总结：
集群是使用连接在内部网络上的5个VirtualBox VM构建的
创建了1个namenode和4个datanodes。
所有的VM都是由映像构建的
当我运行以下命令时：
spark-submit --class org.apache.spark.examples.SparkPi $SPARK_HOME/examples/jars/spark-examples_2.12-3.0.3.jar 10
我收到以下错误：
java.io.FileNotFoundException: F
浏览 4提问于2022-07-21得票数 1
回答已采纳
我试图在Hadoop集群上运行星火提交命令，这里是我的Hadoop集群的总结：
集群是使用连接在内部网络上的5 VirtualBox VM构建的，其中创建了1个namenode和4个数据节点。所有VM都是从Bitnami Hadoop堆栈VirtualBox图像构建的
我正在尝试使用以下spark-submit命令运行spark示例之一
spark-submit --class org.apache.spark.examples.SparkPi $SPARK_HOME/examples/jars/spark-examples_2.12-3.0.3.jar 10
我得到以下错误：
[2022-0
浏览 5提问于2022-07-25得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
