是否有可能使用key-value将数据存储在HDFS中？
是的，可以使用key-value将数据存储在HDFS中。Hadoop分布式文件系统（HDFS）是一个适用于大规模数据存储和处理的分布式文件系统。它通过将文件切分为多个数据块，并将这些数据块分布存储在Hadoop集群的多个节点上来实现可靠性和高可用性。
在HDFS中，数据以文件的形式组织，并且每个文件都被分割为多个数据块，这些数据块会被复制到不同的节点上。而在HDFS中，key-value对存储是通过使用Hadoop的分布式数据库HBase来实现的。HBase是一个基于Hadoop的分布式列式数据库，提供了对大规模数据的高性能随机读/写访问能力。
使用HBase可以将数据以key-value的形式存储在HDFS中。其中，key用于唯一标识数据，而value则是实际存储的数据内容。HBase提供了灵活的数据模型，可以支持结构化、半结构化和非结构化数据的存储和检索。它适用于需要实时读写大规模数据集的场景，如日志分析、用户画像、推荐系统等。
对于腾讯云产品，推荐使用TencentDB for HBase来实现在HDFS中使用key-value存储数据。TencentDB for HBase是腾讯云提供的托管式HBase服务，它提供了高可用性、弹性扩展和灵活配置等特性，方便用户快速搭建和管理HBase集群。详细信息请参考腾讯云官方文档：TencentDB for HBase。
相关·内容
2回答
我必须为需要在HDFS上存储数据的应用程序创建一个帐户。我理解，要在HDFS上创建用户(我使用的是HDP 2.3)，我必须执行以下命令：
useradd -G *groupname* *username*
hdfs dfs -mkdir /user/*username*
hdfs dfs -chown *username*:*groupname* /user/*username*
我的问题是:当我在HDFS上创建一个文件夹时，这不是在所有集群上复制的，而是在所有数据节点上传播的。我是否要在集群的每个节点(namenode+datanode+edgenode)上执行这些命令，或者只在应用程序用来
浏览 2提问于2016-05-17得票数 1
回答已采纳
1回答
我试图了解hadoop在HDFS中存储数据的位置。我引用配置文件，即：core-site.xml和hdfs-site.xml
我设置的属性是：
在core-site.xml hadoop.tmp.dir /hadoop/tmp中
在hdfs-site.xml dfs.namenode.name.dir文件中:/hadoop/hdfs/namenode dfs.datanode.data.dir文件:/hadoop/hdfs/dfs.namenode.name.dir
按照上面的安排，像dfs.datanode.data.dir一样，数据块应该存储在这个目录中。这是正确的吗？
我
浏览 6提问于2014-03-21得票数 24
回答已采纳
我需要在AWS上构建一个数据湖，但是我不知道S3和HDFS到底有什么不同。我在网上找到了一些答案，但我仍然不明白真正的区别。
我还需要知道是否有人在AWS中拥有HDFS和S3的数据湖架构。
浏览 2提问于2019-07-11得票数 1
回答已采纳
我对HDFS存储和数据节点存储有点困惑。以下是我的怀疑。
将映射函数输出保存到数据节点本地磁盘，并将减速机输出发送到HDFS。众所周知，数据块存储在数据节点中，本地磁盘中是否还有其他的磁盘空间供HDFS在数据节点中使用？
减速器输出文件的物理存储位置(part-nnnnn 00001)是什么？它会存储在名称节点硬盘中吗？
所以我假设数据节点是HDFS的一部分，假设数据节点本地磁盘也是HDFS的一部分。
向Suresh致意
浏览 6提问于2014-04-22得票数 1
4回答
HDFS如何存储数据？
我想以压缩的方式存储巨大的文件。
我有一个1.5GB的文件，默认的复制因子是3。
它需要(1.5)*3 =4.5GB的空间。
我相信目前还没有对数据进行隐式压缩。
是否有压缩文件并将其存储在HDFS中以节省磁盘空间的技术？
浏览 6提问于2012-06-01得票数 5
回答已采纳
1回答
电子病历中的S3数据访问
、、、
我有一个存储在S3中的大型文本文件，可以直接使用多节点集群上的‘S3://文件夹/文件夹/文件’格式从EMR (例如猪)中访问它。
我的问题是数据传输到数据节点的效率。我相信S3中的数据以类似于HDFS的方式存储在块中。
当读取文件时，它是如何拆分并发送到每个数据节点的？
分配给数据节点是否由主节点/作业跟踪器控制？
将文件复制到HDFS并访问它会更有效吗？
浏览 0提问于2014-01-14得票数 4
回答已采纳
1回答
1)我有一个包含2个数据阳极的hdp簇。但是hdfs的复制因子是3。在这种情况下，第三个复制块存储在哪里？
2)如果我在hdfs中上传一个文件(复制因子为3)，
hdfs中的文件大小不应该增加3倍(因为有2)
额外副本)
3)是否有一种方法，可以检查数据节点所在的数据块(我了解元数据信息将
在名称节点中，但是是否有一个命令为我提供该信息)？
浏览 0提问于2018-10-23得票数 0
回答已采纳
1回答
是否可以将HDFS数据挂载到Alluxio上，并将Alluxio复制/先试数据放到s3桶上？还是使用Alluxio在HDFS和S3之间复制数据(而不将数据存储在Alluxio缓存中)？
浏览 6提问于2022-06-25得票数 0
回答已采纳
我有一个HDFS集群(比如它有5个数据节点)，如果我想要设置一个Spark集群(比如它有3个工作节点)，那么是否需要确保Spark工作节点位于HDFS数据节点的同一台机器中？它们可以是不同的机器。但是，如果火花工作节点和HDFS数据节点是不同的机器，那么当从HDFS读取数据时，火花工作者节点需要从不同的机器下载数据，这会导致更高的延迟。如果它们位于同一台机器上，则可以减少延迟。我的理解正确吗？
浏览 0提问于2018-12-21得票数 1
回答已采纳
我希望能够在hdfs文件系统上读写图像，并利用hdfs本地性。
我有一组图像，每个图像都是由
二维uint16阵列
作为xml文件存储的基本附加信息。
我想在hdfs文件系统上创建一个归档文件，并使用spark来分析归档文件。现在，为了能够充分利用spark+hdfs结构，我很难找到在hdfs文件系统上存储数据的最佳方法。
据我所知，最好的方法是创建一个sequenceFile包装器。我有两个问题：
创建sequenceFile包装器是最好的方法吗？
有人有我可以用的例子的指针吗？我不能是第一个需要通过spark读取hdfs上的文本文件的人！
浏览 0提问于2015-02-25得票数 7
主节点-此节点是否将hdfs数据存储在aws emr集群中？任务节点-如果此节点不存储hdfs数据，它是否纯粹是计算节点？在这种情况下，hadoop会传输到任务节点吗？这难道不妨碍数据定位计算的优势吗？
浏览 8提问于2022-03-28得票数 0
回答已采纳
我在单个节点上运行Hadoop 2.2.0.2.0.6.0-101。我正在尝试运行Java程序，该程序通过常规用户将数据从Eclipse中写入到现有的Hive表中。我有例外：
org.apache.hadoop.security.AccessControlException: Permission denied: user=dev, access=WRITE, inode="/apps/hive/warehouse/testids":hdfs:hdfs:drwxr-xr-x
之所以会发生这种情况，是因为普通用户对仓库目录没有写权限，只有hdfs用户有：
drwxr-xr-x
浏览 2提问于2014-03-11得票数 4
2回答
我使用以下命令在hdfs中创建了一个文件
hdfs dfs -touchz /hadoop/dir1/file1.txt
通过使用以下命令，我可以看到创建的文件
hdfs dfs -ls /hadoop/dir1/
但是，我无法通过使用linux命令(使用查找或定位)找到位置本身。我在网上搜索，发现了下面的链接。。它说，hdfs是虚拟存储。在这种情况下，它是如何使用哪个分区或需要使用多少分区，在哪里存储元数据？
我在hdfs-site.xml中提到的虚拟存储是否采用datanode位置来存储所有数据？
我查看了datanode的位置，这里有可用的文件。但是，我无法找到与我创建的文件或文件夹有关
浏览 1提问于2016-08-19得票数 1
回答已采纳
在NoSQL数据库中存储数据可以提供键值存储模型。但是，HDFS在Hadoop生态系统中是一种分布式文件存储。Key-value由mapreduce集群使用。因此，此分布仅在处理阶段生成。 我需要知道是否有可能将静态数据存储在HDFS中，其中每个值都由一个键标识。
浏览 44提问于2019-03-06得票数 0
回答已采纳
1回答
直接从HDFS读取文件，而不将其复制到本地文件系统。不过，我将结果复制到了本地文件系统。 hduser@ubuntu:/usr/local/hadoop$ mkdir /tmp/gutenberg-output bin/hadoop dfs -getmerge /user/hduser/gutenberg-output /tmp/gutenberg-output DEPRECATED:不推荐使用此脚本执行hdfs命令。请改用hdfs命令。 20/11/17 21:58:02警告util.NativeCodeLoader:无法为您的平台加载本机hadoop库...在适用的情况下使用内置java
浏览 16提问于2020-11-18得票数 1
2回答
我是HDFS和HIVE的新手。在阅读了一些书籍和文件之后，我得到了一些关于这两者的介绍。我有一个问题，就是在HDFS中为其创建一个表格。我在HDFS中有300个字段的文件。我希望在HDFS中创建一个访问该文件的表。但是我想利用这个文件中的30个字段。我的问题是1。hive是否创建了一个单独的文件目录? 2。我是否必须先创建hive表并从HDFS导入数据? 3。既然我想创建一个包含300列中的30列的表，那么hive是否创建了一个只有这30列的文件? 4。我是否必须创建一个包含30列的单独文件，然后导入HDFS，然后创建指向HDFS目录的单元表？
浏览 6提问于2017-04-27得票数 1
回答已采纳
5回答
正如标题所示，当客户端请求将文件写入hdfs时，HDFS或名称节点如何选择存储文件的datanode？如果文件太大，hdfs会尝试将此文件的所有数据块存储在同一节点中，还是将某个节点存储在同一机架中？hdfs是否为应用程序提供了API，以便按照他的喜好将文件存储在某个datanode中？
浏览 0提问于2012-10-30得票数 9
回答已采纳
1回答
背景
使用java将文件上传到s3的简单老问题稍微有点扭曲
S3不支持流(AFAIK)，因此在上传数据之前，需要将数据分组到适当大小的文件中。
在创建上述临时文件时，有一些关于位置的选项。
一些指定目录中的本地目录
在HDFS中本地(如果可能的话，我甚至不知道Hadoop中的H)
到hadoop集群中的HDFS
问题
哪一个可能更快？
使用HDFS (本地或集群)与本地FS，HDFS本质上更接近S3格式是否有优势？
技术和基础设施
EC2，linux，java
浏览 0提问于2016-09-23得票数 0
回答已采纳
我正在尝试理解spark是否是分析BigData的普通MapReduce方法的替代方法。既然spark在使用HDFS作为spark的存储系统时，将对数据的操作保存在内存中，那么它是否利用了HDFS的分布式存储？例如，假设我在HDFS中存储了100 it的CSV文件，现在我想对其进行分析。如果我将其从HDFS加载到spark，它将触发将完整数据加载到内存中进行转换，或者它将使用分布式环境来完成其作业，该作业是由在hadoop中编写的MapReduce程序所利用的。如果不是，那么使用spark比使用HDFS有什么优势？ PS:我知道如果有RAM溢出，磁盘上会出现火花溢出，但是这种溢出是发生在集群
浏览 17提问于2019-01-27得票数 0
回答已采纳
2回答
关于蜂巢的问题
、、、
我有这样的环境：
.slaves=‘slaves 5’>应用程序: ambari，hue，hive，sqoop，hdfs .生产中的服务器(与hadoop分离)和mysql数据库。
我的目标是：
优化在此mysql服务器上进行的查询，这些查询现在执行起来很慢。
我做了什么：
我使用Sqoop将mysql数据导入到HDFS。
我的怀疑是：
我不能使用Hive在HDFS中直接选择吗？
我是否必须将数据加载到Hive中并进行查询？
如果将新数据输入mysql数据库，那么获取这些数据并将其插入HDFS并再次插入Hive的最佳方法是什么？(也许实时的
浏览 3提问于2017-02-15得票数 0
回答已采纳
我知道我既可以在flink的配置文件(flink-conf.yaml)中全局设置状态后端，也可以在每个作业的作用域中设置。 val env = StreamExecutionEnvironment.getExecutionEnvironment()
env.setStateBackend(new FsStateBackend("hdfs://namenode:40010/flink/checkpoints")) 我有一个问题： 当flink作业继续运行时，属于TasManager的状态数据保存在TaskManager中的何处？我的意思是，当一个检查点完成时，检查点数据将保存在
浏览 18提问于2020-09-07得票数 0
回答已采纳
2回答
试图找到有关Apache内部体系结构的完整文档，但没有结果。
例如，我试图理解下一步:假设HDFS上有1Tb文本文件(集群中的3个节点，复制因子为1)。该文件将被分解为128 on块，每个块只存储在一个节点上。我们在这些节点上运行火花工作者。我知道Spark正在尝试处理存储在同一个节点上的HDFS中的数据(以避免网络I/O)。例如，我试图在这个1Tb文本文件中进行单词计数。
下面我有几个问题：
火花是否会将卡盘(128 do )加载到RAM中，计数单词，然后从内存中删除它并按顺序执行？如果没有可用的RAM怎么办？
星火何时不会使用HDFS上的本地数据？
如果我需要完成更复杂的任务，
浏览 9提问于2015-06-11得票数 7
回答已采纳
1回答
是否有内置的机制可以标记HDFS文件的额外元数据，并根据标记的信息检索文件？比方说，如果我想向数据中添加企业级信息，是否可以在Hadoop中实现，或者我们是否需要其他框架
浏览 1提问于2015-05-21得票数 1
目前还不清楚你是否可以像在Flume中那样在Kafka中进行扇出(复制)。
我想让Kafka将数据保存到HDFS或S3，并将该数据的副本发送到Storm进行实时处理。Storm聚合/分析的输出将存储在Cassandra中。我看到一些实现将所有数据从Kafka流向Storm，然后从Storm输出两个数据。但是，我希望消除Storm对原始数据存储的依赖。
这个是可能的吗？您是否知道有类似这样的文档/示例/实现？
另外，Kafka对S3存储有很好的支持吗？
我看到了用于存储到HDFS的Camus --您只是通过cron运行此作业来不断地将数据从Kafka加载到HDFS吗？如果作业的第二个实例在前一个
浏览 2提问于2013-06-23得票数 3
回答已采纳
2回答
我很难理解RDD分区和HDFS输入分块之间的区别。因此，本质上，当您提交星火申请时：
当Spark应用程序希望从HDFS读取时，HDFS上的文件将有输入分块(假设每个输入分块64 mb，每个输入分块都存在于不同的数据节点上)。
现在假设Spark应用程序希望使用(sc.textFile(PATH_IN_HDFS))从HDFS加载该文件。所述文件约为256 mb，具有4个输入分块，其中2个分块位于数据节点1上，另2个分块位于数据节点2上。
现在，当Spark将这256 mb加载到它的RDD抽象中时，它会将每个输入分块(64 Mb)加载到4个不同的RDD中(其中数据节点1中有2个RDD，数据节点1
浏览 0提问于2016-10-08得票数 2
1回答
上一天，当我在coursera学习GCP课程时，他们提到，他们坚持我们不应将数据留在HDFS中，而是在完成任务后，我们应该复制它并坚持使用云存储，每次我们想启动一项工作时，我们应该再次将数据放在HDFS中并重复循环，所以我的问题如下：
如果关闭hadoop集群，我们会丢失HDFS中的数据吗？
为什么我们不应该将数据留在HDFS中？
价格问题？
谢谢
浏览 8提问于2020-01-21得票数 0
回答已采纳
我是新来的。我已经习惯了一个Web开发人员，不熟悉大数据。
也就是说我有一个门户网站。用户的行为和动作将存储在5个切分的mongoDB集群中。
我如何用火花来分析它？
也可以直接从任何数据库(postgres/mongoDB/mysql/.)获取数据。
因为大多数网站可能使用关系数据库作为后端数据库。
我是否应该将网站数据库中的全部数据导出到HBase中？
我将所有的用户都存储在postgreSQL中，将数据导出到HBase或其他Spark数据库是否可行？
如果我将数据复制到一个新的数据库中，似乎会产生大量重复的数据。
我的大数据模型是否需要除Spark之外的其他框架？
为了分
浏览 1提问于2015-02-08得票数 3
是否有任何方法直接通过终端修改HDFS中的txt文件？假设我有"my_text_file.txt"，我想使用下面的命令在HDFS中修改它。
$ hdfs dfs -XXXX user/my_text_file.txt
我很想知道是否存在"xxxx“。请注意，我不想在本地进行修改，然后将其复制到HDFS。
浏览 3提问于2017-06-01得票数 4
回答已采纳
当前，clickhouse将数据存储在
/var/lib/clickhouse
path和我读过，它不支持深度存储。顺便问一下，它是否对config.xml文件中的hdfs设置有任何信任？
浏览 0提问于2018-10-20得票数 1
回答已采纳
我正在学习Apache Spark和HDFS。尽管我对一件事感到困惑，但我对这两种语言大体上都理解。我的问题是: HDFS中的数据节点是否与spark集群中的executor节点相同？换句话说，HDFS中的节点是对其包含的数据进行操作，还是将来自HDFS中的数据节点的数据发送到spark集群中的executors节点，在spark集群中对数据进行操作？如果你想让我澄清什么，请告诉我！任何帮助都将不胜感激！
谢谢,
泰勒
浏览 1提问于2019-05-21得票数 0
1回答
我很难理解火花和仓库是如何相互作用的。
我想要创建一个从RocksDB数据库(或任何其他键值存储区)获取数据的星火集群。但是，此时，我所能做的最好是将整个数据集从数据库中提取到每个集群节点中的内存中(例如，映射)，并从该对象构建一个RDD。
我要做什么才能只获取必要的数据(就像Spark对HDFS所做的那样)？我读过有关Hadoop输入格式和记录读取器的文章，但是我并没有完全理解我应该实现什么。
我知道这是个很宽泛的问题，但我真的很感激能帮我开始工作。提前谢谢你。
浏览 1提问于2016-12-09得票数 10
回答已采纳
3回答
我有以下用例:需要使用PySpark分析大量结构化数据。数据当前为CSV格式。我正在尝试找出在谷歌云上存储数据的最佳方式。我的理解是HDFS不会工作，因为每次集群关闭，HDFS数据都会消失，所以我每次都必须从CSV转换到HDFS，这很耗时。似乎正确的策略是使用BigQuery，但是我不能确定BigQuery是否是持久性的？
浏览 20提问于2017-06-28得票数 0
回答已采纳
1回答
Hadoop中的内部存储
、、、
我是Hadoop的新手，有一个关于Hadoop内部存储的问题。据我所知，HDFS中的所有内容都以键/值对的形式存储。现在，在Yarn的帮助下，出现了不同的技术来导入不同类型的数据，如流和来自RDMBSs的数据(使用Sqoop)。这些类型的数据是如何在HDFS内部存储的？例如，关系表中的行是否以某种方式转换为键/值对？即使使用Hive和Hcatalog，您也可以创建表并向其中加载数据。所有这些都是如何在hadoop内部完成的？
提前谢谢你
浏览 0提问于2015-07-10得票数 0
4回答
我对的理解是，它是查询Hadoop集群的类似SQL的工具层。我对的理解是，它是查询Hadoop集群的一种过程语言。所以，如果我的理解是正确的，蜂巢和猪似乎是解决同一个问题的两种不同的方法。
然而，我的问题是，我不明白他们两人首先要解决的问题！
假设我们有一个DB (关系型，NoSQL，不重要)，它将数据输入到HDFS中，以便可以针对该输入数据运行特定的MapReduce作业：
我搞不懂到底是哪个系统的蜂巢/猪在查询！他们在查询数据库吗？他们是在查询HDFS上存储在DataNodes中的原始输入数据吗？他们是否在运行一些临时的、正在运行的乔布斯先生，并报告他们的结果/产出？
这些查询工
浏览 6提问于2015-06-25得票数 2
回答已采纳
2回答
蜂巢数据存储在哪里？
、、、
我有点搞不懂蜂巢把它的数据存放在哪里。
它是否将数据存储在HDFS或RDBMS中?？Hive Meta商店是否使用RDBMS来存储蜂窝表元数据?？
提前谢谢!！
浏览 6提问于2017-04-27得票数 6
回答已采纳
1回答
我读到了关于HDFS的文章，想知道是否有任何特定的格式来安排块中的数据。
假设有一个265 MB的文件被复制到Hadoop集群，HDFS块大小为64 MB。因此，文件被分成5部分- 64 MB + 64 MB +9 MB，并且分布在数据节点之间。对吗？
我怀疑64 MB块中是否存在存储数据的格式？
如果在块中存储数据的格式/结构，则存储的数据应该小于64 MB，因为数据结构/标头等本身可能占用一些空间。
因为HDFS数据节点是一个逻辑文件系统(它运行在linux之上，并且没有单独的HDFS分区)，所以所有的块都应该作为文件存储在linux分区中。对吗？
如何知道linux上实际
浏览 3提问于2015-01-10得票数 2
回答已采纳
在Spark周围有几个问题。有人能指点我吗。
我可以看到RDD分布在各个节点上，这是否意味着将分布式RDD缓存在每个节点的内存中，还是将RDD数据驻留在hdfs磁盘上。还是只有当任何应用程序运行RDD数据时才缓存在内存中？
1. My understanding is, when I create a RDD based on a file which is present on hdfs blocks , the RDD will first time read the data (I/O operation ) from the blocks and then cache
浏览 1提问于2016-04-10得票数 4
我有一个1GB大小的文件要存储在HDFS文件系统上。我有一个由10个数据节点和一个namenode组成的集群设置。Namenode是否使用数据节点的特定no (而不是副本)来存储文件？或者，是否有任何参数可以配置为用于文件存储？如果是这样的话，Hadoop在没有具体配置的情况下用来存储文件的datanodes的默认值是多少？
我想知道它是使用了集群中的所有数据节点，还是只使用了数据节点的特定no。
让我们考虑HDFS块大小为64 on，并且在所有数据阳极上也存在空闲空间。
提前谢谢。
浏览 1提问于2014-09-21得票数 1
2回答
我正在尝试更改在应用程序中处理数据的方法。数据首先从数据库接收并存储在消息队列中。我希望直接将数据放在hdfs中。我不希望数据写入文件并转移到hdfs。从hdfs开始，我将处理数据并将结果放入HDFS。我可以通过Java程序将数据写入hdfs，而不是将复制命令交给HDFS吗？
浏览 6提问于2015-07-06得票数 0
1回答
我想问一下，我们可以在Hadoop数据仓库中存储各种类型的数据吗？像RDBMS，JSON Doc，Cassandra Keyspace，txt，CSV等数据？它们是否都存储在HDFS中？
浏览 29提问于2021-07-16得票数 1
回答已采纳
在Spark中，我们可以随时将数据保存在内存中，但我想知道在Hadoop MapReduce中，数据保存在地图和缩减阶段之间的位置。它是否保存在HDFS、磁盘或RAM中？我的意思是，当数据被洗牌时(在Map/Combiner之后，在减缩之前，也就是说)，它保存在哪里？
浏览 5提问于2016-10-13得票数 0
回答已采纳
1回答
在Datawarehouse的一个典型的HDFS环境中，我看到了一些不同的阶段，在这些阶段中，数据被分阶段处理和转换，如下所示。我正试图在Google云平台上设计一个系统，在那里我可以执行所有这些转换。请帮帮忙。
HDFS:：着陆区->级1区->级2区
着陆区--对于具有原始数据级1区域的数据--来自着陆区的原始数据被转换，然后更改为不同的数据格式和/或非规范化并存储在第1阶段2区域中--第1阶段的数据在交易表上更新，例如HBASE。如果它只是一个时间段数据，那么仍然是基于HDFS的HIVE表，那么，报告会发生在第2阶段(如果转换之间也可能有多个区域)
我在Google中实现的思想
浏览 0提问于2018-08-14得票数 0
回答已采纳
我们目前正在建立一个Apache系统，它收集事件数据并将其写入我们的HDInsight HDFS集群中的文件。在验证初始设置时，hdfs ls在Flume写入文件时显示文件大小为0，但是当文件滚动时(以及删除.tmp文件扩展名)，文件大小突然跳起。
对于HDFS或HDInsight (或WASB)，在Flume写入文件时，文件大小是否为0？
浏览 3提问于2016-02-25得票数 3
回答已采纳
在spark中，我们有RDDs，因此不会进行数据复制，但如果spark安装在YARN上，底层HDFS是否会将数据复制到节点。
浏览 0提问于2015-07-18得票数 1
为什么“每个HDFS文件1个HDFS块”是在parquet官方文档中优化的读取设置？
编辑：
如上图所示，拼图文件由行组组成。如果“1 1GB行组，1 1GB块大小”，则1个行组将适合1个HDFS块。则列将不会超出HDFS块。因此，我们不再需要传输数据。但是，“每个HDFS文件1个HDFS块”是为了什么呢？
浏览 0提问于2017-08-14得票数 1
我有presto hive和hdfs设置，并且我有一个表customer，其中包含数据(数据存储在hdfs location /presto/customer.avro中)。
配置单元表还包含架构和元数据信息。在presto cli中执行select *查询时，它给出了所有3条插入的记录；
从客户执行delete时，在presto cli中，所有数据都被删除。
同样，在持久化数据时，它会反映在hdfs客户文件中，但presto select * query不显示任何记录。
浏览 15提问于2019-11-20得票数 0
1回答
请帮助我理解HDFS的数据块和星火中的RDDs之间的区别。HDFS将数据集作为相同大小的块分发到集群中的多个节点，数据块将被多次复制和存储。RDD是作为并行化集合创建的。并行化集合的元素是否分布在节点之间，还是存储在内存中进行处理？是否与HDFS的数据块有关？
浏览 0提问于2018-01-31得票数 2
2回答
蜂箱的处理库是什么？
、、、
我在网上也不熟悉蜂巢和阅读。但仍有疑问，但仍未消除。
对于单元外部表，使用单元格keep table's metadata within HDFS, but not in its warehouse which is also in HDFS。对吗？
无论是它的内部表还是外部表，在这两种情况下，data of table都只能在HDFS中使用，而在NOWHERE中是可用的。也就是说，数据可以从任何地方获取，但必须在HDFS中加载，因为HIVE使用hadoop的处理引擎来处理数据。对吗？
内部表中，table's metadata and table&
浏览 26提问于2022-02-05得票数 1
1回答
我想使用Spark Streaming从Kafka中检索数据。现在，我想将我的数据保存在远程HDFS中。我知道我必须使用函数saveAsText。但是，我并不确切地知道如何指定路径。
如果我这样写，对吗？
myDStream.foreachRDD(frm->{
frm.saveAsTextFile("hdfs://ip_addr:9000//home/hadoop/datanode/myNewFolder");
});
其中ip_addr是我的hdfs远程服务器的ip地址。hadoop是我在安装DataNode时创建的hadoop目录(我不知道是否必须指定这个目录
浏览 7提问于2017-01-31得票数 3
回答已采纳
1回答
在Hadoop生态系统中浏览不同的列数据库时，我遇到了术语“深度存储”。我不能理解深度存储意味着什么。深度存储是否意味着数据湖？它与存储在HDFS中的数据是否不同？
浏览 18提问于2019-03-08得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
