如何计算hadoop中使用的dfs？
Hadoop中使用的DFS（分布式文件系统）计算可以通过以下步骤来完成：
- 确定文件块大小：Hadoop将文件切分为多个块进行存储和处理。你可以根据文件大小和集群配置选择合适的块大小，默认情况下为128MB。块大小的选择会影响存储和计算性能。
- 计算数据块位置：Hadoop中的NameNode负责管理整个文件系统的元数据。当你向Hadoop集群上传文件时，NameNode会根据配置的复制因子（默认为3）选择适当数量的数据块副本，并将它们分配到不同的数据节点（DataNode）上进行存储。
- 计算数据块位置优势：Hadoop的分布式文件系统具有以下优势：
- 容错性：数据块的多个副本可以保护数据免受硬件故障的影响。
- 数据局部性：数据块副本的位置选择可以尽量接近数据的使用者，减少数据传输的网络开销。
- 扩展性：通过添加更多的数据节点，可以灵活地扩展存储容量和计算能力。
- 应用场景：Hadoop的DFS适用于大规模数据处理和分析的场景，例如大数据存储、批量数据处理、机器学习等。它的高容错性和可扩展性使其成为处理大规模数据的首选工具。
- 相关产品和介绍链接地址：腾讯云提供了适用于大数据处理和分析的云计算产品，例如TencentDB for TBase、Tencent BigData、Tencent AI Lab等。你可以访问腾讯云的官方网站获取更多关于这些产品的详细信息：https://cloud.tencent.com/product
注意：在回答中未提及亚马逊AWS、Azure、阿里云、华为云、天翼云、GoDaddy、Namecheap、Google等流行的云计算品牌商，以符合要求。
相关·内容
是否可以使用hdfs命令将HDFS文件的文本内容复制到另一个文件系统中：
hadoop fs -text /user/dir1/abc.txt
是否可以使用-cat或任何方法将-text的输出打印到另一个文件中?：
hadoop fs -cat /user/deepak/dir1/abc.txt
浏览 5提问于2014-08-22得票数 2
我正在尝试运行HBase伪分布在一个对接者形象的ubuntu.
在start-hbase.sh之后，HMaster和RegionServer不能正常运行。
RegionServer和主日志都显示：
ERROR [main] regionserver.HRegionServer: Failed construction RegionServer
java.io.IOException: Couldn't create proxy provider class org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxy
浏览 9提问于2021-03-01得票数 0
回答已采纳
1回答
我在启动Hadoop集群nad时遇到了这个错误，我的namendoe没有启动。以下是日志中的错误：..org.apache.hadoop.hdfs.server.common.InconsistentFSStateException:目录/home/ubuntu/hadoop/file:/home/ubuntu/hadoop/hdfs/name处于不一致状态:存储目录不存在或无法访问；
错误路径/home/ubuntu/hadoop/file:/home/ubuntu/hadoop/hdfs/name似乎不正确。它只应该是文件:/home/ubuntu/hadoop/hdfs/name。
有人
浏览 4提问于2014-12-03得票数 0
回答已采纳
尝试通过控制台中的Hadoop客户端使用用户名和密码身份验证类型连接Azure数据湖存储Gen2并接收错误
java.lang.NullPointerException
at org.apache.hadoop.fs.azurebfs.oauth2.AzureADAuthenticator.consumeInputStream(AzureADAuthenticator.java:341)
at org.apache.hadoop.fs.azurebfs.oauth2.AzureADAuthenticator.getTokenSingleCall(AzureADA
浏览 1提问于2019-09-06得票数 1
当我登录到Hive并尝试使用Cloudera CDH5.5在本地主机目录中执行文件列表时，获取一个ParseExeption失败/错误。到目前为止，还没有启动任何东西(创建数据库、表和导入数据)。
[cloudera@quickstart module2]$ hive
Logging initialized using configuration in jar:file:/usr/jars/hive-common-1.1.0-cdh5.5.0.jar!/hive-log4j.properties
WARNING: Hive CLI is deprecated and migration to
浏览 4提问于2017-01-21得票数 0
我是hadoop的新手，所以我已经开始关注hadoop 2.9.2 getting started。当我运行该命令时 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar grep input output 'dfs[a-z.]+' 它返回一个成功，但是当我查看用于显示结果的output/part-r-00000.txt文件时，它是空的，即使input目录像预期的那样包含etc/hadoop的.xml文件。 我已经一遍又一遍地开始了整个过程，阅读了所有的日志，以便了解错误可能
浏览 34提问于2019-04-26得票数 0
回答已采纳
1回答
我是hadoop的初学者。我有两个疑问
1)如何访问hdfs中存储的文件？这是否与在FileReader中使用java.io并给出本地路径相同，还是其他原因？
2)我创建了一个文件夹，在该文件夹中复制了要存储在hdfs中的文件和mapreduce程序的jar文件。当我在任何目录中运行该命令时
${HADOOP_HOME}/bin/hadoop dfs -ls
它只显示当前dir中的所有文件。那么，这是否意味着所有文件都是在没有我显式添加的情况下被添加的呢？
浏览 0提问于2014-02-27得票数 5
回答已采纳
我使用在单机上使用安装了Hadoop2.6。我正在使用Ubuntu12.04机器和Java版本的1.6.0_27。
我为Hadoop操作创建了单独的用户作为hduser。我已经设置了/usr/local/hadoop值HADOOP_HOME envrioment变量，在这里提取了Hadoop分布。
现在我正在跟踪一个。但是当我执行命令$HADOOP_HOME/bin/hdfs dfs -ls /home/hduser/input/时，它会出现以下错误-
15/01/02 18:32:38警告util.NativeCodeLoader:无法为平台加载本机-hadoop库.在适用的情况下使用内置
浏览 1提问于2015-01-02得票数 3
回答已采纳
1回答
我是hadoop的新手，并试用了已经与hadoop安装一起分发的wordcount示例程序。我在hdfs中创建了名为" input“的输入目录，它包含了我的pdf文件(如何在python.pdf中编码)。当试图为wordcount运行hadoop命令时，它显示了一个错误。
java.lang.Exception: java.io.FileNotFoundException: Path不是文件: /input/input
什么是准确的错误，我如何解决它？
浏览 1提问于2018-10-12得票数 1
回答已采纳
我有一个用于HDFS的多节点独立hadoop集群。我可以将数据加载到HDFS，但是每次我重新启动计算机并通过start-dfs.sh启动集群时，直到我执行擦除所有数据的hdfs namenode -format时，我才能看到仪表板。如何启动hadoop集群而无需通过hdfs namenode -format
浏览 2提问于2020-08-22得票数 0
我使用hadoop2.4.0进行测试。我必须在我的机器中配置hadoop，以便能够在伪分布式模式下运行hadoop，以便能够在我的机器上独立地进行测试。另外，我还想让我的机器成为集群的一部分。
但是，正如我认为的那样，当datanodes和很少有默认端口的其他服务尝试在同一个端口上运行时，就会出现问题。任何一个人都能引导我，我如何才能做到这一点。
谢谢
浏览 3提问于2014-09-02得票数 1
回答已采纳
我已经在我的笔记本电脑上安装了Hadoop的伪分布式模式，操作系统是Ubuntu。
我已经更改了hadoop存储其数据的路径(默认情况下，hadoop将数据存储在/tmp文件夹中)
hdfs-site.xml文件如下所示：
<property>
<name>dfs.data.dir</name>
<value>/HADOOP_CLUSTER_DATA/data</value>
</property>
现在，每当我重新启动机器并尝试使用start-all.sh脚本启动hadoop集群时，数据节点就永远不会启动
浏览 12提问于2013-11-22得票数 2
回答已采纳
我有一个旧的Hadoop安装，我想要更新到Hadoop 2。在旧的设置中，我有一个$HADOOP_HOME/conf/master文件，它指定了辅助namenode。
纵观Hadoop 2文档，我找不到任何提到“主”文件的地方，也找不到如何设置辅助namenode。
如能向正确的方向提供任何帮助，我们将不胜感激。
浏览 3提问于2014-06-19得票数 7
回答已采纳
我正在尝试在多代码集群环境中安装hadoop。我已经在SSD上安装了ubuntu 15.10。我想在SSD上安装Hadoop2.6.2，并将我的HDFS保存在一个单独的SATA硬盘上。为此，我应该遵循哪些步骤？
我已经在SSD中安装了hadoop，在hdfs-site.xml中有以下配置。因此，我将属性dfs.datanode.data.dir设置为file:///media/coea23/HDFS/hdfs/datanode.。但是datanode在执行jps时没有显示，而namenode显示的是已经完成hadoop安装的SSD中的内容。
<property>
<name
浏览 2提问于2016-03-24得票数 1
当我试图使用HDFS文件系统在纱线模式下运行星火应用程序时，当我提供以下属性时，它工作得很好。
sparkConf.set("spark.hadoop.yarn.resourcemanager.hostname",resourcemanagerHostname);
sparkConf.set("spark.hadoop.yarn.resourcemanager.address",resourcemanagerAddress);
sparkConf.set("spark.yarn.stagingDir",stagingDirectory );
但这
浏览 3提问于2017-05-09得票数 1
我在CentOS 8 VM中有一个3节点的HA集群。我使用的是ZK 3.7.0和Hadoop 3.3.1。在我的集群中，我有两个namenode，node1是活动的namenode，node2是备用namenode，以防node1掉下来。另一个节点是datanode，我只是从下面的命令开始
start-dfs.sh
在node1中，我有以下正在运行的进程: NameNode、Jps、QuorumPeerMain和node2中的JournalNode，我有以下运行的进程: NameNode、Jps、QuorumPeerMain、JournalNode和DataNode。
我的hdfs-site.
浏览 12提问于2021-12-20得票数 0
回答已采纳
我尝试使用java程序将文件写入到我本地的HDFS设置中，我使用的是Hadoop 2.3.0发行版和hadoop-client 2.3.0 hadoop-hdfs 2.3.0库。
在HDFS日志中，它显示以下错误：
2014-04-07 18:40:44,479 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: prabhathp:50010:DataXceiver error processing unknown operation src: /127.0.0.1:38572 dest: /127.0.0.1:50010
java
浏览 0提问于2014-04-07得票数 5
使用dockers在HDFS repository plugin上测试elasticsearch snapshot-restore。 从Docker Hub拉取hadoop-docker和elasticsearch。 docker run -it -d -p 8088:8088 -p 51270:50070 -p 9000:9000 -v /e/WS/my-hadoop-docker/logs:/usr/local/hadoop/logs sequenceiq/hadoop-docker:2.7.0 /etc/bootstrap.sh -bash 已在elasticsearch容器中成功安装
浏览 126提问于2020-04-14得票数 0
1回答
我正在遵循来安装hadoop
在我的集群上
我已经在/usr/local/ hadoop /sbin目录中安装了hadoop，当我尝试执行bash脚本时
start-all.sh; system gives below error;
start-all.sh: command not found
知道我试过什么吗？
1. Tried setting SSH again
2. Recheck the java path
我设置的变量是
export JAVA_HOME=/usr/java/latest
export HADOOP_INSTALL=/usr/local/hadoop
export
浏览 1提问于2014-09-20得票数 0
我已经在windows 7下的cygwin上安装了hadoop1.1.1。dfs组件启动得很好( start -dfs.sh或start-all.sh都是)，jobtracker (启动mapred.sh)也是如此，但任务追踪器无法启动并关闭，错误与tasktracker路径上的权限相关(设置失败0755)。我在上看到过类似的问题，但没有找到任何解决方案或指导如何解决它。我也尝试了一些网站的解决方案，但都是徒劳的。
以下是日志输出
2013-01-02 15:51:31,836 INFO org.apache.hadoop.mapred.TaskTracker: Starting t
浏览 0提问于2013-01-02得票数 3
每次我的hadoop服务器重新启动时，我都必须格式化namenode来启动hadoop。这将删除hadoop安装中的所有文件。
我需要将hadoop位置从/tmp文件移到permenant位置，每当服务器重新启动时，我就不必格式化namenode等等。
我对hadoop很陌生。
如何在另一个目录中创建hdfs文件？
如何在配置文件中引用此数据目录，以便不必格式化namenode？
浏览 0提问于2018-08-14得票数 0
回答已采纳
2回答
我是Hadoop的新手，我有一个文件可以通过命令行导入到hadoop (我通过SSH访问机器)
如何在hadoop中导入文件？我该如何检查(命令)？
浏览 3提问于2015-12-14得票数 11
我目前正在使用Hadoop-2.0.3-alpha，在我可以完美地使用HDFS (将文件复制到HDFS中，从外部框架获得成功，使用new前端)之后，在重新启动我的VM后，datanode进程会在一段时间后停止。namenode进程和所有纱线进程都可以正常工作。我将Hadoop安装在另一个用户下的文件夹中，因为我仍然安装了Hadoop0.2，它也工作得很好。查看一下所有datanode进程的日志文件，我得到了以下信息：
2013-04-11 16:23:50,475 WARN org.apache.hadoop.util.NativeCodeLoader: Unable to load nati
浏览 0提问于2013-04-16得票数 19
我正在尝试在hadoop hdfs中加载我们的数据。在一些测试运行后，当检查hadoop web ui时，我意识到在标题“非DFS已用”下占用了大量空间。事实上，“非DFS已用”多于"DFS已用“。因此，几乎一半的群集被非DFS数据占用。
即使在重新格式化namenode并重新启动之后，这个“非DFS”空间也不会被释放。
此外，我无法找到存储此“非DFS”数据的目录，因此我无法手动删除这些文件。
我在网上读到了很多被同一问题困扰的人的帖子，但没有一个人得到明确的答案。
清空这个“非DFS”空间真的很难吗？或者我不应该删除它？我怎样才能腾出这个空间？
浏览 1提问于2015-07-28得票数 2
我已经尝试过在堆栈溢出中提供的关于这个主题的所有不同的解决方案，但是没有办法再次询问具体的日志和细节。
任何帮助都是非常感谢的。
我的Hadoop集群中有一个主节点和5个从节点。ubuntu和ubuntu组是~/Hadoop文件夹的所有者，~/hadoop/hdfs/data & ~/hadoop/hdfs/name文件夹都存在。
这两个文件夹的权限设置为755。
在启动脚本start-all.sh之前成功地格式化namenode
脚本无法启动"NAMENODE“
它们在主节点上运行。
ubuntu@master:~/hadoop/bin$ jps
7067 TaskTrac
浏览 6提问于2014-12-03得票数 16
回答已采纳
嘿，我正在Hadoop2.0多节点集群中安装HIVE，我无法使用以下命令创建文件夹：
hadoop@master ~$ $HADOOP_HOME/bin/hadoop fs -mkdir /tmp
16/07/19 14:20:15 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
hadoop@master ~$ $HADOOP_HOME/bin/hadoop fs -mkdir -p
浏览 2提问于2016-07-19得票数 0
我是刚认识Hadoop的。是否有bash命令将文件从Hadoop分布式文件系统传输到hadoop节点上的标准文件系统。
我正在使用Hadoop 2.6.0
我看到了另一个类似的问题，它询问如何在Java中做同样的事情：
我们可以使用一个简单的shell命令(它运行在hadoop集群中的一个节点上)吗？
浏览 3提问于2015-03-03得票数 2
回答已采纳
1回答
我的Hadoop版本是2.5.2。
我想用fuse挂载Hadoop。我尝试了两种方法，但都失败了。其中一种方法是：
HADOOP_HOME: ant compile-c++-libhdfs -Dlibhdfs=1`.
但它失败了，因为它找不到build.xml。另一种方法是在hadoop-hdfs/target/native/main/native/fuse-dfs中，我执行了make，但仍然没有fuse-dfs。
如何构建fuse-dfs才能通过fuse挂载HDFS？
浏览 0提问于2017-08-17得票数 1
我已经建立了一个Hadoop高可用集群，包括3个主节点(3个日志节点、活动namenode和备用namenode，没有备用namenode)和3个datanodes。使用命令
hadoop-daemon.sh start journalnode hadoop-daemon.sh start namenode hadoop-daemon.sh start zkfc
我启动namenode服务，并使用命令hadoop-daemon.sh start datanode启动datanode服务。
问题是，当我故意使用命令hadoop-daemon.sh stop datanode在namenode
浏览 0提问于2018-01-20得票数 0
回答已采纳
1回答
我试图使用下面的命令将一个文件复制到hdfs。文件名是googlebooks eng.等等..。
当我试图列出hdfs中的文件时，我没有看到文件名是listed.What是实际的文件名吗？
hadoop-user@hadoop-desk:~/hadoop$ bin/hadoop dfs -put /home/hadoop-user/googlebooks-eng-all-1gram-20120701-0 /user/prema
hadoop-user@hadoop-desk:~/hadoop$ bin/hadoop dfs -ls /user/prema
Found 1 items
-rw-r
浏览 0提问于2014-11-19得票数 0
回答已采纳
1回答
目录中子目录的数目？
、、、、
如何在HDFS中找到指定目录中的子目录数？
当我执行hadoop fs -ls /mydir/时，我会得到一个Java堆空间错误，因为这个目录太大了，但是我感兴趣的是该目录中的子目录数量。我试过：
gsamaras@gwta3000 ~]$ hadoop fs -find /mydir/ -maxdepth 1 -type d -print| wc -l
find: Unexpected argument: -maxdepth
0
我知道目录不是空的，因此0是不正确的：
[gsamaras@gwta3000 ~]$ hadoop fs -du -s -h /mydir
737.5 G /m
浏览 3提问于2016-08-09得票数 4
回答已采纳
我正在尝试使用Ganglia监控Hbase。如何使用cloudera管理控制台编辑hadoop-metrics.properties中的dfs.server属性？
根据的说法，我需要改变：
dfs.servers=@GANGLIA@:8649
但是我在dfs.server的管理控制台上看不到修改Cloudera值的选项。
我应该如何继续？
dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
mapred.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
hbas
浏览 1提问于2012-06-06得票数 1
在Hadoop3.0的终端上发出命令将文件从本地文件系统复制到HDFS时，会出现错误
hadoop-3.0.0/hadoop2_data/hdfs/datanode': No such file or directory:
`hdfs://localhost:9000/user/Amit/hadoop-3.0.0/hadoop2_data/hdfs/datanode.
但是，我已经检查了目录hadoop-3.0.0/hadoop2_data/hdfs/datanode是否具有适当的访问权限。我试着从Web浏览器上传文件，它显示了以下错误。
"Couldn't find
浏览 0提问于2018-02-18得票数 1
回答已采纳
我正在尝试创建一个java程序来从HDFS中读写文件。
我看到了一些Java API的示例。有了这个，下面的代码就适合我了。
Configuration mConfiguration = new Configuration();
mConfiguration.set(“fs.default.name”, “hdfs://NAME_NODE_IP:9000″);
但是我的设置必须为Hadoop HA设置进行更改，因此硬编码namenode寻址是不可能的。
我看到了一些示例，在其中我们提供了配置xmls的路径，如下所示。
mConfiguration.addResource(new Path(“/
浏览 0提问于2015-03-31得票数 4
我已经成功安装了Hadoop。但是当我启动所有守护进程并运行jps时，我无法看到namenode。但是，如果我使用hadoop namenode -format命令格式化namenode，我可以在运行jps时看到namenode。在每次运行jps之前格式化namenode是否可取？有没有其他方法可以避免这种情况，这样我就可以看到我的namenode守护进程，而不需要每次格式化它。如有任何建议，欢迎光临。
谢谢你，Gautham
浏览 1提问于2014-12-08得票数 1
我有这个：
我还试着编辑这个：
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib
作为
export HADOOP_OPTS="$HADOOP_OPTS-Djava.library.path=$HADOOP_INSTALL/lib
在~/.bashrc中
但我还是收到了警告信息，我无法解决这个问题。
无法创建目录
我使用这段代码创建用于twitter分析的目录：
hadoop fs -mkdir hdfs://localhost:54310/home/vipal/hadoop_store/h
浏览 3提问于2017-03-06得票数 0
我正在使用hadoop distcp将目录从一个-update集群复制到另一个集群。有时(经常)我会遇到这样的异常：
13/07/03 00:20:03 INFO tools.DistCp: srcPaths=[hdfs://HDFS1:51175/directory_X]
13/07/03 00:20:03 INFO tools.DistCp: destPath=hdfs://HDFS2:51175/directory_X
13/07/03 00:25:27 WARN hdfs.DFSClient: src=directory_X, datanodes[0].getName()=***.**
浏览 1提问于2013-07-03得票数 0
1回答
我试图使用和XD将Spring流存储到Hortonworks沙箱2.0版本。没有创建xd目录，也没有在Hortonworks hadoop中存储任何流。
环境: Apple OSX 10.9.3，Hortonworks Sandbox在Oracle Virtualbox (Red 64位)中运行，使用桥接模式网络。我在我的WiFi路由器中为Virtualbox分配了一个固定的IP地址(192.168.178.30)。当我使用OSX Safari浏览到192.168.178.30:8000时，我可以使用Hortonworks菜单的文件浏览器、猪、蜂蜡等。Hortonworks菜单中的“检查错误配
浏览 2提问于2014-06-24得票数 1
iam使用hadoop apache 2.7.1，我已经将数据节点目录配置为具有多个目录
<property>
<name>dfs.data.dir</name>
<value>/opt/hadoop/data_dir,file:///hdd/data_dir/</value>
<final>true</final>
</property>
根据此配置，应在/opt/
浏览 0提问于2017-08-15得票数 0
我下载了Hadoop源代码，以便将Hadoop源代码本地导入Eclipse工作区。
我将core-site.xml和hdfs-site.xml添加到hadoop-2.7.0-src/hadoop-hdfs-project/hadoop-hdfs/src/main/java目录内容中。
在Eclipse中，我运行了NameNode.java
java NameNode.java -format
我得到以下错误消息：
java.lang.IllegalArgumentException: URI has an authority component
at java.io.File.<
浏览 0提问于2016-06-17得票数 1
我在Windows7中配置了Hadoop，它设置了一个单节点集群。当运行hdfs namenode -format格式化namenode时，它抛出如下异常:当start-all.cmd时，windows namenode自动强制，然后我可以在address - 中打开namenode GUI。
16/01/19 15:18:58 WARN namenode.FSEditLog: No class configured for C, dfs.namenode.edits.journal-plugin.C is empty
16/01/19 15:18:58 ERROR namenode.Name
浏览 2提问于2016-01-19得票数 21
回答已采纳
我试图解压缩一个zip文件，存储在Hadoop文件系统中，并将其存储在hadoop文件系统中。我试着遵循命令，但没有一条有效。
hadoop fs -cat /tmp/test.zip|gzip -d|hadoop fs -put - /tmp/
hadoop fs -cat /tmp/test.zip|gzip -d|hadoop fs -put - /tmp
hadoop fs -cat /tmp/test.zip|gzip -d|hadoop put - /tmp/
hadoop fs -cat /tmp/test.zip|gzip -d|hadoop put - /tmp
在运行这些命
浏览 7提问于2015-03-17得票数 14
我想为每个用户创建目录。
我看了几个“如何- to”，他们说了不同的话，我希望它尽可能容易(我不在乎加密，因为用户将使用他们的ssh密钥登录到机器)
我找到了一个小指南：
但没什么问题，
我是否也需要在每台从/节点机器上创建目录和用户？
/user/myuser文件夹到底是什么？它应该是$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件中的/opt/hadoop/dfs/name/data (dfs.data.dir)文件夹吗？
我还需要为每个用户提供/创建一个dfs.name.dir dir吗？
在创建用户和目录之后，我需要在用户的.bashr
浏览 3提问于2017-10-24得票数 1
按照" Hadoop :设置单节点集群“教程()，我尝试以本地(独立)模式运行Hadoop，但我得到了一个ConnectionRefused异常。当我尝试运行这个命令时：
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep input output 'dfs[a-z.]+'
我收到以下信息：
java.net.ConnectException: Call From 4295i/127.0.1.1 to localhost:9000 failed on connect
浏览 2提问于2015-07-29得票数 1
回答已采纳
在尝试构建本地伪Hadoop环境时，当我尝试使用start-dfs.sh启动我的namenode时，出现了以下错误
"Could not find or load main class org.apache.hadoop.hdfs.tools.GetConf"
我的java版本如下所示
java version "1.7.0_85"
OpenJDK Runtime Environment (IcedTea 2.6.1) (7u85-2.6.1-5ubuntu0.14.04.1)
OpenJDK 64-Bit Server VM (build 24.85-b03,
浏览 1提问于2015-11-14得票数 2
我试图在tez上对Apache蜂箱执行查询，但不知怎的，我得到了如下错误，我不知道如何解决它
Apache Hadoop 3.1.1
Apache Hive 3.1.0
Apache Tez 0.9.1
我的tez-site.xml
<configuration>
<property>
<name>tez.lib.uris</name>
<value>hdfs://localhost:8020/apps/apache-tez-0.9.1-bin
浏览 15提问于2020-04-22得票数 1
2回答
我试图在本地机器上启动hadoop单节点集群。我已经根据配置了以下文件: hadoop-env.sh、core-site.xml、mapred-site.xml和hdfs-site.xml。当我运行脚本start-dfs.sh，然后运行命令jps (在运行start-dfs.sh之后)，我看到datanode已经启动并运行：
15735 Jps
15548 DataNode
15660 SecondaryNameNode
15453 NameNode
几秒钟后，我重新运行命令jps，并看到datanode没有运行。为什么？如何解决这个问题？
之后，我运行脚本start-yarn.sh，然后运行
浏览 1提问于2017-07-11得票数 0
回答已采纳
我是Apache的新手，我正在学习关于Udemy的视频课程。
本课程基于Hadoop 1.2.1，是不是太旧了？最好在最近的版本的基础上，从另一门课程开始我的学习，还是还可以呢？
因此，我已经在一个Ubuntu12.04系统上安装了Hadoop 1.2.1，并在伪分发模式中配置了它。
根据本教程，我在以下配置文件中使用了以下设置：
conf/core-site.xml：
fs.default.name hdfs://localhost:9000
conf/hdfs-site.xml：
dfs.replication 1
conf/mapred-site.xml：
mapred.jo
浏览 0提问于2016-01-17得票数 0
每次在重新启动后启动hadoop时，Namenode都会丢失。hadoop namenode -format纠正了这个问题，但代价是通过格式化丢失文件。如何防止格式化和保留namenode文件
浏览 1提问于2015-02-16得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
