我正在研究使用Hadoop集群上的Hive，然后使用Presto对Hadoop中存储的数据进行一些分析，但我仍然对一些事情感到困惑：
Hadoop和Hive是分开存储数据还是Hive仅仅使用Hadoop中的文件？(在硬盘空间等方面？
浏览 3提问于2014-01-24得票数 1
回答已采纳
1回答
目前我有两台机器，其中一台是Horton沙箱，我已经将它配置为名称节点，并将数据节点从它和其他机器上退役，我已经将其作为数据节点，并在其上安装了hive服务器。我的问题是，因为这是我第一次使用hadoop，我的计划是将数据从sql数据库传输到hadoop，所以这是否意味着我必须在datanode上安装mysql，而我将使用sqoop和其他东西?
浏览 0提问于2015-12-02得票数 0
我对hadoop完全陌生，刚安装完它花了我两天时间.我现在正在尝试使用hadoop命令，但我只是无法理解它，尽管我已经浏览了几天，但我无法找到我想知道的答案。但是HDFS数据实际上存储在哪里呢？我以为它会存储在我的datanode目录(/home/hadoop/datastore)中，该目录是在hadoop.tmp.dir下的core-site.xml中定义的，但它并不存在。然后我尝试通过WEB查看，发现"input“是在&quo
浏览 2提问于2012-07-30得票数 8
我是一所大型州立大学的高级计算机专业，在他们的数据科学系担任一家大型上市科技公司的实习生。我在学校学过数据结构和算法(地图、树、图、排序算法、搜索算法、MapReduce等)。我的实习项目是创建一个仪表板，用于显示从Hadoop数据库收集的分析数据。我很难理解这些数据是如何构造和查询的。我确信Hadoop中的所有数据都来自运行其平台的Oracle Relational产品。--我想我的核心问题是，为什么需要Hadoop和分布式处理从已
浏览 0提问于2019-06-01得票数 1
2回答
Apache曾经被认为是数据科学家应该拥有的工具之一。在2012年至2014年左右，它在数据科学家中获得了极大的普及，并被视为与Python、R和SQL同舟共济的工具集之一。为什么Hadoop没有成为数据科学家所必需的工具之一，比如Python或R？
浏览 0提问于2017-05-29得票数 2
我们有两台服务器的Hadoop/Hive集群，每台服务器上的Hive数据库使用约160 We的磁盘空间，但Hadoop数据目录约为850 We。是否正常，Hive数据库大小与Hadoop数据目录大小的典型比率是多少？
浏览 0提问于2014-09-29得票数 0
最近，我读到了关于Hadoop与Spark的文章：
坚持内存中的列式数据查询。这是一个致命的特性，它允许Apache在几秒钟内运行Hadoop需要几个小时或几天的查询。内存比磁盘访问快得多，任何现代数据平台都应该进行优化，以利用这种速度。此外，柱状数据存储大大减少了用于空数据或冗余数据的内存量。
浏览 0提问于2020-09-05得票数 3
7回答
我听说了数据湖这个新名词。我在谷歌上查到了
数据湖是一个大规模的存储库和处理引擎.数据池提供“任何类型的数据的大量存储、巨大的处理能力和处理几乎无限并发任务或作业的能力”。术语数据湖通常与面向Hadoop的对象存储相关联。在这种情况下，组织的数据首先加载到Hadoop平台，然后将业务分析和数据挖掘工具应用于其驻留在Hadoop的商品计算机集群节点上的数据
浏览 8提问于2016-03-14得票数 16
我需要在AWS上构建一个数据湖，但是我不知道S3和HDFS到底有什么不同。我在网上找到了一些答案，但我仍然不明白真正的区别。
我还需要知道是否有人在AWS中拥有HDFS和S3的数据湖架构。
浏览 2提问于2019-07-11得票数 1
回答已采纳
1回答
我对Hadoop很陌生，并开始学习它。关于HDFS数据的分发，我有一个问题。
我们最初将在哪里加载数据？关于Node大师？Hadoop是否在集群上自行分发数据？还是我们必须自己做？
浏览 2提问于2017-05-11得票数 0
1回答
我知道Pig拉丁语是一种数据流语言。从这个意义上说，理论上应该可以在任何框架中执行Pig拉丁语，尽管目前，它意味着在Hadoop环境中执行。将Pig拉丁语切换到运行在不同的框架上会有多难？如果有的话，有没有任何扩展点，或者Pig拉丁语与Hadoop紧密耦合？
浏览 3提问于2011-10-13得票数 1
回答已采纳
1回答
我很困惑，我试着把概率看成是一百万个随机数。我在google dataProc中使用MapReduce，并在spyder上运行python脚本来进行同样的操作。但是本地机器的速度越快。那我们为什么要用Mapreduce呢？下面是我使用的代码。import timeitfrom collections import Counterimport matplotlib.pyplot as plt
浏览 2提问于2020-01-09得票数 0
回答已采纳
2回答
宾得和哈多普
、、、
如果这个问题看起来很幼稚的话，我很抱歉，但是我对数据工程领域还很陌生，因为我现在是一个自学的人，但是我的问题是像宾得和Hadoop这样的ETL产品之间有什么区别呢？当我用这个代替那个的时候？
浏览 0提问于2018-04-25得票数 2
回答已采纳
我正在学习Hadoop和Hive服务器，我对一些事情感到困惑。假设我用三台机器构建了hadoop集群，然后开始用PHP/MySQL脚本存储图像。现在，对于一个MySQL数据库，我可以在同一个Hadoop服务器上安装Hive，还是必须构建另一个Hadoop服务器来使用Hive存储MySQL数据库。是否需要分离Hadoop文件服务器和Hadoop数据库服务器？或者您可以将所有内容存储<
浏览 0提问于2015-06-03得票数 0
5回答
这是很明显的，我们都会同意，我们可以称HDFS + YARN + MapReduce为Hadoop。但是，在Hadoop生态系统中，不同的其他组合和其他产品会发生什么呢？例如，HDFS + YARN + Spark仍然是Hadoop吗？HBASE是Hadoop吗？我想我们考虑的是HDFS + YARN + Pig Hadoop，因为Pig使用MapReduce。只是MapReduce工具被认为是Hadoop，但是在HDFS + YARN上运行的任何其他工具(比如火花)都是非Had
浏览 18提问于2015-01-24得票数 13
回答已采纳
3回答
Hadoop有配置参数hadoop.tmp.dir，根据文档，它是“其他临时目录的基础”。我想，这个路径是指本地文件系统。我将此值设置为/mnt/hadoop-tmp/hadoop-${user.name}。在格式化namenode并启动所有服务之后，我看到了在HDFS上创建的完全相同的路径。这是否意味着，hadoop.tmp.dir指的是HDFS__上的临时位置？
浏览 16提问于2010-03-01得票数 27
回答已采纳
根据我的理解，行被插入到HBase表中，并作为区域存储在不同的区域服务器中。因此，区域服务器存储数据。2个节点-主从节点
-
浏览 0提问于2012-12-06得票数 19
回答已采纳
我正在从事一个Hadoop项目，并在我的本地集群中生成大量数据。不久之后，我将使用基于云的Hadoop解决方案，因为与实际工作负载相比，我的Hadoop集群非常小，但是到目前为止，我还没有选择我将使用哪一个，即基于Windows Azure、EMR或其他什么。我在本地生成了大量数据，并希望将这些数据存储到一些基于云的存储中，因为我稍后将在Hadoop中使用这些数据，但很快就会使用这些数据。
我正在寻
浏览 0提问于2012-05-08得票数 2
回答已采纳
1回答
我读到了关于HDFS的文章，想知道是否有任何特定的格式来安排块中的数据。
我怀疑64 MB块中是否存在存储数据的格式？如果在块中存储数据的格式/结构，则存储的数据应该小于64 MB，因为数据结构/标头等本身可能占用一
浏览 3提问于2015-01-10得票数 2
回答已采纳
2回答
我在AWS云上创建了一台具有AWS根卷的8 GB Linux机器，然后部署了hadoop，并在该机器上创建了单节点集群。none 100M 0 100M 0% /run/user
/dev/xvdb
浏览 5提问于2017-12-15得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
