Hadoop with phoenix:如何将phoenix表对象写入hdfs文件系统
Hadoop with Phoenix是一种将Phoenix表对象写入HDFS文件系统的方法。下面是完善且全面的答案：
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的分布式存储和计算。它通过将数据分散存储在集群中的多个节点上，并利用并行处理的能力来提高数据处理的效率和可靠性。
Phoenix是一个开源的分布式SQL查询引擎，用于在Hadoop上快速查询和处理大规模数据。它提供了一个类似于关系型数据库的接口，使得开发人员可以使用SQL语句来查询和操作存储在Hadoop上的数据。
将Phoenix表对象写入HDFS文件系统的过程可以通过以下步骤完成：
- 安装和配置Hadoop集群：首先，需要安装和配置一个Hadoop集群，包括HDFS和YARN组件。可以参考腾讯云的Hadoop产品文档（链接地址：https://cloud.tencent.com/document/product/589）来了解如何在腾讯云上搭建Hadoop集群。
- 安装和配置Phoenix：接下来，需要安装和配置Phoenix，以便能够在Hadoop上使用它。可以参考腾讯云的Phoenix产品文档（链接地址：https://cloud.tencent.com/document/product/590）来了解如何在腾讯云上安装和配置Phoenix。
- 创建Phoenix表对象：使用Phoenix提供的SQL语句，可以创建表对象并定义其结构和属性。可以参考腾讯云的Phoenix产品文档中的示例代码（链接地址：https://cloud.tencent.com/document/product/590/12278）来了解如何创建Phoenix表对象。
- 将Phoenix表对象写入HDFS文件系统：使用Phoenix提供的导出工具，可以将Phoenix表对象的数据导出为CSV格式的文件。然后，可以使用Hadoop的命令行工具或编程接口将这些文件写入HDFS文件系统。具体的导出和写入操作可以参考腾讯云的Hadoop产品文档和Phoenix产品文档中的相关章节。
总结： Hadoop with Phoenix是一种将Phoenix表对象写入HDFS文件系统的方法。通过安装和配置Hadoop集群和Phoenix，创建Phoenix表对象，并使用Phoenix提供的导出工具和Hadoop的命令行工具或编程接口，可以实现将Phoenix表对象写入HDFS文件系统的操作。这种方法适用于需要在Hadoop上进行大规模数据处理和查询的场景。
相关·内容
我试图找出在Hadoop集群中将内容/文件写入HDFS的各种方法。
我知道有org.apache.hadoop.fs.FileSystem.get()和org.apache.hadoop.fs.FileSystem.getLocal()来创建输出流并逐字节写入。如果您使用的是OutputCollector.collect()，这似乎并不是为HDFS编写的预期方式。我相信您在实现Mappers和减速器时必须使用Outputcollector.collect()，如果我错了，请纠正我。
我知道您可以在运行作业之前设置FileOutputFormat.setOutputPath()，但是看起来它只能
浏览 4提问于2014-05-07得票数 0
回答已采纳
1回答
我可以访问服务器的根，并安装了hadoop和hive。但是，尽管有根权限，我还是不能将数据从文件系统复制到hdfs：
root@serv:~# hadoop fs -put flume_test/logs /user
put: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x
我尝试了不同的方法来从flume_test/logs文件创建表，这在hdfs中是不存在的。例如：
CREATE TABLE natlog_orc (
src_local_ip S
浏览 0提问于2015-08-02得票数 0
回答已采纳
我有一个apache Hadoop 2.10.0，hbase 1.5和Phoenix 4.14的设置。一切运行正常。但是，当我尝试连接python和Phoenix时，我需要启用queryserver。每当我尝试启动时，都会出现下面的错误并退出。有人能帮帮忙吗？
2020-06-01 16:59:24.860409 launching /usr/local/jdk1.8.0_251/bin/java -cp /hadoopStack/hbase-1.5.0/conf:/etc/hadoop/conf:/hadoopStack/apache-phoenix-4.15.0-HBase-1.5-bin
浏览 125提问于2020-06-01得票数 1
3回答
我是大数据技术的新手，我有一个关于hbase如何与hadoop集成的问题。"Hbase位于HDFS之上“是什么意思？我的理解是，HDFS是分布在多个节点上的结构化和非结构化数据的集合，而HBase是结构化数据。
如何将Hbase与Hadoop集成，以提供对底层数据的实时访问。我们必须编写特殊的作业来构建索引之类的吗？换句话说，Hbase和hdfs之间是否有一个额外的层，其中包含HBase所理解的结构中的数据。
浏览 8提问于2016-03-27得票数 1
回答已采纳
1回答
我试图使用启用权限的Java (v1.8)在hdfs上编写一个文件。
作为hadoop实例，我使用了就绪坞映像：
我跟随做了如下事情：
Configuration configuration = new Configuration();
configuration.set("fs.defaultFS", "hdfs://127.0.0.1:9000/user/root");
configuration.set("hadoop.job.ugi", "root");
Fi
浏览 3提问于2016-01-07得票数 1
回答已采纳
1回答
我正在尝试导入一个表，该表是从运行在0.98.4上的另一个hbase导出的。我出口如下-
hbase org.apache.hadoop.hbase.mapreduce.Driver export 'tblname' /path/
我正在尝试导入这个表，该表已经使用hadoop -put放入hdfs中。当我运行下面的import命令时，它会出现错误-
org.apache.hadoop.hbase.mapreduce.Driver导入“tblname”/hdfs/path
2015-06-24 02:19:24,492 ERROR [main] security.UserGr
浏览 4提问于2015-06-24得票数 1
回答已采纳
2回答
我在hive中创建了4个表(a，b，c，d)，并通过加入它们在表的顶部创建了一个视图(x)。
-如何将x底层csv数据从hdfs导出到本地？
-我怎样才能在hdfs中保存这个csv？
对于表，我们可以做显示创建表a；
这将显示存储底层csv的hdfs的位置。
hadoop fs get --从source_path_and_file到dest_path_and_file
类似地，如何将视图中的csv数据输入本地。
浏览 0提问于2019-02-19得票数 1
回答已采纳
2回答
我是Hadoop的新手，我正在阅读专业的Hadoop解决方案一书，以获得一些关于Hadoop和生态系统的知识。我想澄清HDFS和HBase之间的主要区别是什么。我的理解是，两者都是存储系统。它们的不同之处仅在于通过NoSQL访问data.HBase访问数据和使用计算框架(MapReduce)访问HDFS过程数据。如果是这样的话，为什么我们不能只有一个存储，或者HDFS或者HBase。根据需求，他们将插件和插头框架。我的假设可能是错误的，如果有任何一个评论并提供它们之间的正确关系，那就太好了。
浏览 1提问于2014-12-03得票数 0
我已经创建了吡咯烷酮结构化流媒体程序，并试图在齐柏林飞艇笔记本上执行：
%spark.pyspark
query_window = windowedCounts \
.writeStream \
.outputMode("complete") \
.format("memory") \
.queryName("myTable_window") \
.start()
浏览 5提问于2017-05-28得票数 8
1回答
我正在学习Scala，我需要将一个自定义文件写入HDFS。我在笔记本电脑上使用vmware fusion在Cloudera映像上运行自己的HDFS。
这是我的实际代码：
package org.glassfish.samples
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.PrintWriter;
/**
* @author ${user.name}
*/
object
浏览 0提问于2015-09-03得票数 7
回答已采纳
2回答
我正在Hadoop2上运行一个任务：
$hadoop jar hipi.jar "/5" "/processWOH" 1
hipi.jar: jar文件名
"/5"：输入文件夹名
"/processWOH"：输出文件夹名
对于路径/localhost:9000/5/ am 814000.tif：
Error: java.io.FileNotFoundException: /localhost:9000/5/LC814000.tif (No such file or directory)
at java.io.Fil
浏览 4提问于2017-03-24得票数 0
我目前正在使用Flink 1.7 +gcs-连接器库。我试图让StreamingFileSink写到GCS桶中，并遇到以下异常：
我遇到了一个Jira： --但我不清楚代码是否曾经合并过。
在需要做什么方面有什么帮助是非常感谢的，以使这一工作？
java.lang.UnsupportedOperationException: Recoverable writers on Hadoop are only supported for HDFS and for Hadoop version 2.7 or newer
at org.apache.flink.runtime.fs.hdfs.Ha
浏览 3提问于2019-12-03得票数 1
回答已采纳
我有一个大的数据，我写在HDFS中的拼图文件。从日志中获取以下异常：
2018-10-15 18:31:32 ERROR Executor:91 - Exception in task 41.0 in stage 0.0 (TID 1321)
org.apache.spark.SparkException: Task failed while writing rows.
at org.apache.spark.sql.execution.datasources.FileFormatWriter$.org$apache$spark$sql$execution$datasources$Fi
浏览 1提问于2018-10-16得票数 0
回答已采纳
如何将jars从本地文件系统和Hadoop分布式文件系统(HDFS)传递给-Dpig.additional.jars
假设我有两个罐子：
/home/local/myjar1.jar
hdfs:/user/notlocal/myjar2.jar
第一个jar位于我的本地目录中。第二个jar在HDFS中。
我想在Hadoop集群上运行test_script.pig1，并在-Dpig.additional.jars中包含上述两个jars。
pig -x mapreduce -f test_script.pig1 -Dpig.additional.jars=/home/local/m
浏览 1提问于2014-07-28得票数 1
回答已采纳
1回答
我有Cloudera CDH 5.14.2集群，安装了Apache Phoenix Parcel (APACHE_PHOENIX-4.14.0-cdh5.14.2.p0.3)。 我有一个包含二级索引的表，我想使用Apache Phoenix提供的IndexTool填充这个索引。但这给了我以下错误： 19/01/02 13:58:10 INFO mapreduce.Job: The url to track the job: http://mor-master-01.triviadata.local:8088/proxy/application_1546422102410_0020/
19/0
浏览 215提问于2019-01-02得票数 0
回答已采纳
1回答
我已经在Hbase中创建了一个表的快照，并使用hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot -copy-to导出它，现在我已经从Hbase中删除了快照。如何将快照从HDFS导入回Hbase。
浏览 13提问于2017-02-02得票数 0
我将一个文件从本地复制到hdfs文件系统，该文件被复制- /user/hduser/in
hduser@vagrant:/usr/local/hadoop/hadoop-1.2.1$ bin/hadoop fs -copyFromLocal /home/hduser/afile in
问题：-1.默认情况下，hadoop如何将文件复制到这个目录- /user/hduser/in ...Where中--这个映射是在conf文件中指定的吗？
浏览 4提问于2016-01-11得票数 0
回答已采纳
2回答
为什么即使hdfs可用于存储，hadoop仍在使用hbase？
我们还可以将表数据作为块存储在hdfs中。
数据是否存储在hbase中？如果是，那么hdfs将扮演什么角色？
浏览 0提问于2015-04-27得票数 0
我想根据条件列出hadoop中的文件，并将输出追加到文本文件中。下面是我使用的命令
hadoop fs -ls /path/ | grep 'xxx' | awk '{print $8}' >> /hdfs_path/test.txt
当我执行上面的命令时，上面写着下面的错误
-bash: /hdfs_path/test.txt:没有这样的文件或目录
但是该文件存在于目录中。
浏览 0提问于2018-02-28得票数 0
1回答
我已经创建了带有自定义UDF函数的1，并将jar复制到SELECT中，所以当我将UDF函数作为SELECT的一部分使用时，就可以获得结果，而不会出现问题。
2，但是当函数是WHERE子句的一部分时，我会收到错误，无法找到自定义函数的类。
select PK FROM "my.custom.view" where MY_FUN(ARRAY["COLF"."COL1"], 'SOMEPARAM') limit 1;
Caused by: org.apache.hadoop.hbase.DoNotRetryIOException:
浏览 1提问于2018-05-18得票数 0
Hadoop将中间结果写入本地磁盘，将reducer的结果写入HDFS。HDFS是什么意思。它在物理上翻译成什么？
浏览 1提问于2012-09-14得票数 0
回答已采纳
因此，我已经启动并运行了一个K8s集群，并且我希望在其之上运行星火作业。
Kubernetes为v1.15.3，火花为2.4.5。
现在，对于数据存储，我正在考虑使用HDFS，但我不想安装整个Hadoop库，其中包括纱线和MapReduce (请纠正我，如果我错了)。
我认为存储库是唯一可以在线获得的直接解决方案，但它目前并不适用于我。
当我试图部署它时，就像在回购程序上ReadMe中提到的那样，我看到创建了多个豆荚，一旦它们都进入Running状态，my-hdfs-namenode-0荚就进入Error状态，许多豆荚开始崩溃。
这是我从kubectl logs pod/my-hdfs-nam
浏览 4提问于2020-05-11得票数 3
我在Hbase中通过nutch保存了我的爬行数据，其文件系统是hdfs。然后，我通过命令将我的数据(hbase的一个表)直接从hdfs复制到某个本地目录。
hadoop fs -CopyToLocal /hbase/input ~/Documents/output
之后，我通过以下命令将数据复制回另一个hbase (其他系统)
hadoop fs -CopyFromLocal ~/Documents/input /hbase/mydata
它保存在hdfs中，当我在hbase中使用list命令时，它将它显示为另一个表，即“mydata”，但当我运行scan命令时，它表示没有带有“mydata”
浏览 2提问于2014-09-18得票数 11
回答已采纳
从我读过的各种博客中，我了解到HDFS是计算机中存在于本地文件系统之上的另一层。
我也安装了hadoop，但我很难理解本地文件系统上是否存在hdfs层。
这是我的问题..
假设我是在伪分布式模式下安装hadoop。在此安装过程中，幕后发生了什么？我在配置文件中添加了一个tmp.dir参数。当namenode守护进程尝试访问datanode时，它是否与单个文件夹对话？？
浏览 2提问于2013-05-29得票数 6
回答已采纳
是否有一种方法可以确定hadoop中的文件是否正在被写入？我有一个将日志放入hdfs的过程。我有另一个进程来监视hdfs中是否存在新的日志，但我希望它在处理之前确保文件已经完全上传到hdfs中。这样的事情有可能发生吗？
浏览 5提问于2009-11-20得票数 2
1回答
在sqoop import中使用--incremental append标志时，作业将失败。
ERROR tool.ImportTool: Imported Failed: Wrong FS: s3n://<api_key>:<api_secret>@bucket/folder/
下面是完整的命令：
sqoop import --connect jdbc:postgresql://someplace.net:12345/db --warehouse-dir s3n://<key>:<private>@bucket/folder/ --table
浏览 3提问于2013-02-23得票数 4
2回答
我正在尝试在我的集群中安装CDH4.6，该集群由3个节点组成。此3中的一个数据节点根本无法启动。试着用各种可能的方法来寻找和解决这个问题，但是失败了。请帮我解决这个问题。下面是日志。
5:49:10.708 PM FATAL org.apache.hadoop.hdfs.server.datanode.DataNode
Exception in secureMain
java.io.IOException: the path component: '/' is world-writable. Its permissions are 0777. Please fix
浏览 4提问于2014-03-10得票数 1
回答已采纳
我们在oozie中运行了一个工作流。它包含两个操作:第一个是在hdfs中生成文件的map reduce作业，第二个是将文件中的数据复制到数据库的作业。
两个部分都成功完成了，但oozie在最后抛出了一个异常，将其标记为失败的进程。
这是一个例外：
2014-05-20 17:29:32,242 ERROR org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:lpinsight (auth:SIMPLE) cause:java.io.IOException: Filesystem c
浏览 1提问于2014-05-21得票数 11
我将hadoop作为单节点发行版运行。在帖子之后，我使用以下命令将一个文件移动到HDFS
hadoop fs -put <local path> </usr/tmp/fileNAme.txt> .
现在我正在尝试使用下面的命令将HDFS文件中的数据加载到Hive表中。找不到我应该在下面的命令中提供的相对于本地文件系统的HDFS路径。
我在java程序中用来加载配置单元表的Load命令是
在路径中加载数据('HDFS路径，因为它与我的本地文件系统有关？‘)。我给出路径的所有尝试都失败了，包括/usr/tmp/fileNAme.txt。
如何解析完整的HDFS
浏览 1提问于2015-11-27得票数 1
1回答
我在CDH集群5.7.0中运行了HBase。运行了几个月之后，hbase服务停止了，现在不可能启动HBase主服务器(1个主服务器和4个区域服务器)。
当我试图在某个时候启动它时，机器会挂起，我在主日志中看到的最后一件事是：
2016-10-24 12:17:15,150 INFO org.apache.hadoop.hbase.util.FSHDFSUtils: Recover lease on dfs file hdfs://namenode:8020/hbase/MasterProcWALs/state-00000000000000005528.log
2016-10-24 12:17:
浏览 5提问于2016-10-24得票数 1
回答已采纳
1回答
我正在AWS上的EMR集群中测试火花放电作业。目标是使用Lambda函数触发火花作业，但现在我正在手动运行火花作业。因此，我将SSH发送到主节点，然后运行spark作业，如下所示：
spark-submit /home/hadoop/testspark.py mybucket
我的桶参数传递给火花作业。
保存RDD的行是
rddFiltered.repartition(1).saveAsTextFile("/home/hadoop/output.txt")
星火作业似乎正在运行，但它将输出文件放在某个位置输出目录hdfs://ip-xxx-xx-xx-xx.ec2.intern
浏览 4提问于2019-12-03得票数 0
2回答
我试图使用Databricks的spark_2.10依赖项将数据写入*.csv文件到HDFS。由于我能够将.csv文件读取到DataFrame，所以依赖关系似乎工作得很好。但是，当我执行写时，我会得到以下错误。异常发生在将头写入文件之后。
18/06/21 21:41:58 WARN hdfs.DFSClient: Caught exception
java.lang.InterruptedException
at java.lang.Object.wait(Native Method)
at java.lang.Thread.join(Thread.java:1281)
at java.la
浏览 0提问于2018-06-21得票数 1
我已经阅读了官方的。它讨论了在“部署模式”下(即在Hadoop集群中)使用Nutch时，使用HDFS来存储Nutch的数据。
在使用Hadoop时，我更喜欢使用s3a而不是HDFS作为存储后端。Nutch1.x是否支持使用s3a而不是HDFS来存储数据？如果是，需要调整哪些相关的Nutch/Hadoop设置？
浏览 15提问于2019-08-12得票数 0
回答已采纳
2回答
我已经构建了一个使用Apache的推荐系统，它的数据集存储在我的项目文件夹中，现在我需要从HDFS访问这些文件。
如何使用Spark从HDFS读取文件？
我就是这样初始化我的星火会话的：
SparkContext context = new SparkContext(new SparkConf().setAppName("spark-ml").setMaster("local")
.set("fs.default.name", "hdfs://localhost:54310").set("f
浏览 0提问于2019-06-15得票数 2
回答已采纳
当您使用Amazon源位置在Hive中创建外部表(在Hadoop上)时，何时将数据传输到本地的Hadoop？它是在：
外部表创建
当在外部表上运行quires (MR jobs)时
永远不要(从来没有数据被传输)和乔布斯先生读S3数据。
S3读取的成本是多少？是否存在将数据传输到HDFS的单一成本，或者是否没有数据传输成本，但是当Hive创建的MapReduce作业在此外部表上运行时，就会产生读取成本。
外部表定义的一个示例是：
CREATE EXTERNAL TABLE mydata (key STRING, value INT)
ROW FORMAT DELIMITED
浏览 2提问于2012-11-29得票数 8
回答已采纳
众所周知，HDFS基本上是一个对象存储系统，其中数据一旦写入就无法更新，但整个文件必须作为一个整体被覆盖。如果是这样，那么在HDFS中引入ORC格式的需要是什么，它允许我们修改/更新存储在其底层存储系统为HDFS的hive表中的数据。
这使得HDFS成为数据块存储，其中的数据可以更新/修改，这与整个Hadoop框架相矛盾
浏览 23提问于2021-05-18得票数 1
在Hadoop3.0的终端上发出命令将文件从本地文件系统复制到HDFS时，会出现错误
hadoop-3.0.0/hadoop2_data/hdfs/datanode': No such file or directory:
`hdfs://localhost:9000/user/Amit/hadoop-3.0.0/hadoop2_data/hdfs/datanode.
但是，我已经检查了目录hadoop-3.0.0/hadoop2_data/hdfs/datanode是否具有适当的访问权限。我试着从Web浏览器上传文件，它显示了以下错误。
"Couldn't find
浏览 0提问于2018-02-18得票数 1
回答已采纳
我试图更改NameNode使用的端口(默认端口50070)
网站：
似乎表明所使用的配置是etc/hadoop/core-site.xml。
我在core-site.xml中放置了以下内容
<property>
<name>dfs.http.address</name>
<value>80</value>
</property>
但是它不会更改namenode使用的端口。
我已经尝试过将core-site.xml放在hadoop文件夹下的几个地方，包括conf/ and /hadoop，但是它仍然没有改变N
浏览 0提问于2016-02-04得票数 0
回答已采纳
3回答
HDFS客户端位于HDFS群集之外。当HDFS客户端将文件写入hadoop时，HDFS客户端将文件拆分成块，然后将块写入datanode。
这里的问题是HDFS客户端如何知道数据块大小？块大小是在Name节点中配置的，而HDFS客户端对块大小一无所知，那么它将如何将文件拆分成块呢？
浏览 0提问于2016-10-25得票数 5
我已经给了/app/hadoop/tmp/dfs/data许可。
WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid dfs.datanode.data.dir /app/hadoop/tmp/dfs/data :
EPERM: Operation not permitted
at org.apache.hadoop.io.nativeio.NativeIO$POSIX.chmodImpl(Native Method)
at org.apache.hadoop.io.nativeio.NativeIO$P
浏览 0提问于2017-03-14得票数 0
1回答
我试图在hdfs目录中找到文件列表，但是当我试图运行下面的代码时，它所期望的文件作为输入。
val TestPath2="hdfs://localhost:8020/user/hdfs/QERESULTS1.csv"
val hdfs: org.apache.hadoop.fs.FileSystem = org.apache.hadoop.fs.FileSystem.get(sc.hadoopConfiguration)
val hadoopPath = new org.apache.hadoop.fs.Path(TestPath1)
val recur
浏览 5提问于2016-04-20得票数 1
1回答
我正在尝试按照这个教程来配置我的集群-
https://developer.yahoo.com/hadoop/tutorial/module2.html
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.71.128:9000</value>
</property>
<property>
<name>dfs.data.dir</name
浏览 3提问于2014-11-20得票数 0
我正在尝试从一个HDFS目录构建两个Hadoop表。
所以我想要文件1.tsv中的表file1和文件2.tsv中的另一个表file2。但两者都在一个HDFS目录/tmp/ip中。
# create hdfs directory
hadoop fs -mkdir /tmp/ip
# put my two tsv files
hadoop fs -put /tmp/data/1.tsv tmp/ip/
hadoop fs -put /tmp/data/2.tsv tmp/ip/
现在在Hive的CLI中
--in Hive CLI to build table
CREATE EXTERNAL T
浏览 2提问于2020-01-29得票数 0
1回答
如何在HBase中刷新表格
、、、、
我使用的是HBase (客户端0.98，服务器为HBase 1.1.2)，底层数据存储为HDFS。
我尝试使用以下代码刷新该表，并能够看到刷新到Hadoop中的HFile位置的数据。
htable.put(puts);
htable.close();
admin.flush(tableName);
Hadoop中的数据位置
./hadoop fs -du /hbase/data/default/tableName/
当我关闭电源并重新启动节点，重新启动Hadoop时，HBase能够看到HDFS中的数据被损坏。
如果数据被
浏览 0提问于2017-01-11得票数 5
如前所述：
“所有可能使用Hadoop分布式文件系统的用户代码都应该编写成使用FileSystem对象。”
这是否意味着:如果我们使用java.io.File类，那么我们不是使用Hadoop的HDFS，而是使用像Windows上的NTFS这样的托管文件系统来访问文件。
请注意:我不是在谈论Java概念或透视图(即文件类和FileSystem类之间的区别)，而是指在HDFS上使用java.io.File的影响。
浏览 3提问于2016-11-28得票数 0
回答已采纳
对于两个或多个Hadoop安装，可以重用HDFS存储吗？换句话说，复制NameNode状态。
我想构建一个小型的Hadoop集群(3到5个节点)，我希望能够使用几个Hadoop发行版(至少Hortonworks和Cloudera )。我还没有决定如何同时安装它们，这似乎也是一个挑战，但目前我想决定--是否可以将存储在HDFS中的数据重用到不同的集群(物理上使用相同的硬盘)？
为了简单起见，如果它能用于Hadoop发行版的任何组合，我会很高兴的，而且我已经准备好在某个时候丢失数据，因为这只是一个实验。
更新：，我想一次只对一个选定的安装使用HDFS。假设有一天我使用Cloudera，另一个Hor
浏览 1提问于2014-04-14得票数 0
为什么在Hadoop中使用称为HDFS的特定文件系统？与NTFS或FAT相比，HDFS有什么优势？选择HDFS for hadoop的原因是什么？
浏览 6提问于2013-07-30得票数 0
1回答
我正在尝试创建一个具有以下配置的EMR集群，但是在启动阶段失败了。我使用的EMR版本是EMR 5.13.0
[
{
"Classification": "core-site",
"Properties": {
"fs.defaultFS": "s3://my-s3-bucket",
"fs.s3a.imp": "org.apache.hadoop.fs.s3.S3FileSystem"
}
}
]
如果我删除了这个配置，集群就会
浏览 1提问于2018-05-10得票数 1
我正在使用当前版本的Hadoop，并运行一些TestDFSIO基准测试(V1.8)来比较默认文件系统为HDFS和默认文件系统为S3桶(通过S3a使用)的情况。
当以默认文件系统读取10 0 x1MB文件为S3a时，我观察到slower中的最大容器数量少于默认情况下的HDFS，而S3a大约是的4倍。
当以默认文件系统读取 10 0 0 x10 KB文件为S3a时，我观察到slower中的最大容器数量至少比HDFS默认情况下的少10倍，而S3a大约慢16倍。(例如，在HDFS默认情况下，测试执行时间为50秒，而在默认情况下，测试执行时间为16分钟。)
在每一种情况下，启动的Map任务的数量都是预期
浏览 1提问于2016-03-01得票数 7
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
