我正在从事一个Hadoop项目，并在我的本地集群中生成大量数据。不久之后，我将使用基于云的Hadoop解决方案，因为与实际工作负载相比，我的Hadoop集群非常小，但是到目前为止，我还没有选择我将使用哪一个，即基于Windows Azure、EMR或其他什么。我在本地生成了大量数据，并希望将这些数据存储到一些基于云的存储中，因为我稍后将在
浏览 0提问于2012-05-08得票数 2
回答已采纳
这并不是设计用来在基于云的复杂场景中运行的。但是，由于云允许通过VM模拟单个节点，基于云的Hadoop集群应运而生。但这给我带来了理解上的困难。当我研究Hadoop集群的任何标准解释时，总是基于prem架构，因为所有Hadoop体系结构都是用逻辑和简单的on-prem视图来解释的。但这给理解基于</em
浏览 2提问于2020-09-30得票数 0
回答已采纳
1回答
我是hadoop的新手。我正在使用雅虎提供的Linux，因为我不允许在我的机器上安装操作系统。我需要利用云服务，并且必须在hadoop相关项目上工作。当我在谷歌上搜索"Hadoop & Cloud“时，大多数时候我得到的是。但为了访问它，他们要求，因为我是在基于wi
浏览 4提问于2013-04-01得票数 2
在我创建了一个基于google-cloud的支持hadoop的集群之后，我想要将默认存储桶更改为不同的存储桶，我该怎么做呢？我在谷歌云文档中找不到答案。谢谢!
浏览 8提问于2015-10-28得票数 0
1回答
为什么google cloud click to deploy hadoop工作流程需要选择本地持久磁盘的大小，即使您计划将hadoop连接器用于云存储？默认大小为500 GB。我在想，如果它确实需要一些磁盘，它的大小应该小得多。在google云中使用hadoop云存储连接器时，是否有推荐的持久化磁盘大小？“在Google Cloud平台上部署Apache Hadoop
Apache Had
浏览 7提问于2014-11-23得票数 0
1回答
我正在考虑给客户买雪花，但是我不能告诉他们文档在哪里存储数据？似乎是s3，但为什么这么昂贵的存储成本？用户的s3或雪花中的数据是s3吗？
浏览 2提问于2020-03-12得票数 0
回答已采纳
我想我了解Hadoop架构和结构的基本知识。在将数据写入datanode之前，我会得到它被缓存在本地临时文件位置中。这是每个namenode的一个文件位置吗?在namenode为每个namenode指定要存储在哪个datanode之前，是否存储到集群中的所有数据(可能来自多个上载)？或者Hadoop甚至可以处理来自不同位置的</e
浏览 4提问于2015-01-09得票数 0
回答已采纳
1回答
我有十几个存储不同数据的数据库，每个数据库的大小都是100 in。所有数据都存储在AWS服务中，如RDS、Aurora和Dynamo。很多时候，我发现自己需要跨数据库执行“联接”，例如，在多个数据库中显示一个学生ID，其中包含我想要收集的数据。连接通常是在数据从数据库中流出之后进行的，因为数据不在同一个数据库中，这有时只需要对数千条记录进行几个小时。诸如或之类的服务是否允许您以某种方式从许多数据源“导入”数据，然后您可以执行SQL查询来加入它们？
Hadoop<
浏览 0提问于2018-01-10得票数 3
回答已采纳
1回答
目前，Hadoop通过将任务分配给包含数据的节点或接近该节点的节点(例如相同的机架)来实现数据局部性。但是，我想知道是否可以将相同的概念应用于部署在一组虚拟机上的云计算中，因为有关物理层的信息，例如哪些物理机器当前承载了这些VM，可能是不可用的。
浏览 5提问于2014-01-21得票数 2
回答已采纳
1回答
我试图在hdfs和gcp云存储之间复制数据。这不是一次数据复制。第一次复制后，我希望只复制新文件，更新文件。如果文件在on上被删除，那么它也应该从云存储中删除。然而，我意识到，当目标是云时，基于快照差异的复制不能工作。-update标志似乎不适用于云存储。它复制所有文件，即使对其没有任何更改。带有快照diff的命令
hadoop distcp --conf
浏览 16提问于2022-07-29得票数 0
1回答
我正在考虑使用HDInsight来处理必须在静态时加密的数据。我仍处于早期研究阶段，但我假设我可以添加一个执行解密的map步骤。
我是不是走错了路，或者这是一条可行的前进道路？另外，在内部使用什么协议来传达之前的map/reduce操作的结果？它有动态加密的选项吗？
浏览 7提问于2014-11-11得票数 0
我在Hadoop有4年的经验，我想学习新的技术，什么对我来说是最好的学习.net或SalesForce？
浏览 0提问于2015-12-09得票数 0
我是Hadoop的新手，我试图了解应该如何安装/配置Hadoop。从文档中我看到Hadoop通常应该知道物理服务器配置(例如在机架之间复制数据)。因此，对于我来说还不清楚，如果Hadoop安装在某些管理程序层(例如使用OpenStack)之上，在这种情况下如何实现正确的复制呢？请你指出这方面的文章/文件好吗？
浏览 0提问于2015-02-11得票数 -1
回答已采纳
5回答
我的一个项目是比较Hadoop的不同变体，据说有很多不同的变体，但谷歌搜索对我来说效果不好：
有人知道Hadoop的任何不同变体吗？我唯一找到的就是Haloop。
浏览 1提问于2011-10-08得票数 0
1回答
OVERWRITE TABLE db.tbl_bkp PARTITION (op_cd, rpt_dt)问题是:写入hive_saging_directory需要25%的时间，而将ORC文件从暂存目录移到最终分区目录结构需要75%或更多的时间。/tbl_bkp/rpt_dt=2019-09-01/part-00037-95ee77f0-4e27-4765-a454-e5009c4f33f3.c000, Status:true
这个操作在实际的HDFS我听说过直接路径
浏览 20提问于2021-11-13得票数 2
回答已采纳
我正在研究Hadoop和云存储。所以很奇怪，Hadoop能像Dropbox或者Google一样使用吗？
浏览 2提问于2017-05-02得票数 1
回答已采纳
看看谷歌的云服务，DataProc似乎也可以做同样的事情。为什么谷歌同时提供这两种服务？
浏览 1提问于2017-09-27得票数 66
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
