现在，我希望将所有生产数据存储在一个单独的存储帐户上，而不是一个“默认”帐户，其中data和HDInsight还为日志记录和其他运行时数据创建容器。，通用v1)使用的默认存储帐户
除了位于位置North Europe的Data之外，所有资源都位于相同位置的West Europe中，这应该很好( HDInsight集群必须与您想要使用的任何存储帐户位于同一个位置)。但是，当Hive脚本试图访问存储在此
浏览 0提问于2018-01-22得票数 1
我正在将Hadoop1.0.4代码迁移到Hadoop2.3平台，并且遇到了DistributedCache的奇怪行为变化：
在Hadoop1中，如果我们想在/user/foo/file/bar/name.avro因此，文件存储在/[ROOT_OF_TMP_CACHE_DIR]/user/foo/file/bar/name.avro中。现在，Hadoop2中的相同代码将直接将文件放在根文件夹中，而不
浏览 6提问于2014-10-15得票数 0
1回答
为什么google cloud click to deploy hadoop工作流程需要选择本地持久磁盘的大小，即使您计划将hadoop连接器用于云存储？默认大小为500 GB。在google云中使用hadoop云存储连接器时，是否有推荐的持久化磁盘大小？“在Google Cloud平台上部署Apache HadoopHadoop将部署在单个集群中。Hadoop</em
浏览 7提问于2014-11-23得票数 0
我正在研究使用Hadoop集群上的Hive，然后使用Presto对Hadoop中存储的数据进行一些分析，但我仍然对一些事情感到困惑：
Hadoop和Hive是分开存储数据还是Hive仅仅使用Hadoop中的文件？(在硬盘空间等方面？)->是这样的，Hive是在表中从Hadoop中
浏览 3提问于2014-01-24得票数 1
回答已采纳
2回答
这篇来自微软：的文章假设上述信息是方法，那么hadoop和存储帐户之间有什么区别。如果我只想存储文件等信息，我可以只使用存储帐户，而不是创建hdinsight hadoop？此外，如果hadoop 'hadoopCluster‘使用存储帐户'stgAccount’，这是否意味着存储帐户'stgAccount‘空间和
浏览 3提问于2015-09-01得票数 0
2回答
我有一些存储在Azure存储中的文件要复制到HDFS中。我正在尝试使用fs -copyFromLocal。当我从C驱动器复制时，它工作正常，当我尝试使用wasb路径从blob存储复制到blob容器时，我得到了一个错误的FS错误。我怀疑从本地复制是错误的工具。如何从容器复制到HDFS。
浏览 0提问于2013-11-18得票数 0
我想使用Databrick在Blob存储Azure Gen2中读取一个包含多个工作表的excel文件。我已经安装了maven包。
浏览 11提问于2021-12-08得票数 1
回答已采纳
2回答
Hadoop SAN存储重用
、、、、
我们有600 We的EMC SAN存储。目前，Oracle RAC正在利用此存储。出于可伸缩性的原因，我们将Oracle RAC替换为Hadoop存储(Yarn、Spark - Hive、Shark) -尽管我们在性能上做了一些牺牲。对于Hadoop，建议使用本地存储而不是SAN存储。但是我们的管理层不愿意浪费SAN存储空间。他们希望保护SAN存储上的投资。
如何才能最好地将SAN用于Hadoop？以太网升级会有帮助
浏览 7提问于2014-06-12得票数 0
1回答
我正在尝试遵循MapR/Hadoop教程，当我引用此依赖项时，它会显示缺少工件。对如何解决这个问题有什么建议吗？version>0.0.1-SNAPSHOT</version> <dependency> <artifactId>hadoop-core<&#
浏览 0提问于2013-07-12得票数 1
回答已采纳
5回答
我的一个项目是比较Hadoop的不同变体，据说有很多不同的变体，但谷歌搜索对我来说效果不好：
有人知道Hadoop的任何不同变体吗？我唯一找到的就是Haloop。
浏览 1提问于2011-10-08得票数 0
我正在学习Hadoop和Hive服务器，我对一些事情感到困惑。假设我用三台机器构建了hadoop集群，然后开始用PHP/MySQL脚本存储图像。现在，对于一个MySQL数据库，我可以在同一个Hadoop服务器上安装Hive，还是必须构建另一个Hadoop服务器来使用Hive存储MySQL数据库。是否需要分离Hadoop文件服务器和Hadoop数据库服务器？或者您可以将所有内容存储在同一个Hadoop服务器上
浏览 0提问于2015-06-03得票数 0
3回答
Hadoop有配置参数hadoop.tmp.dir，根据文档，它是“其他临时目录的基础”。我想，这个路径是指本地文件系统。我将此值设置为/mnt/hadoop-tmp/hadoop-${user.name}。在格式化namenode并启动所有服务之后，我看到了在HDFS上创建的完全相同的路径。这是否意味着，hadoop.tmp.dir指的是HDFS__上的临时位置？
浏览 16提问于2010-03-01得票数 27
回答已采纳
我对hadoop完全陌生，刚安装完它花了我两天时间.我现在正在尝试使用hadoop命令，但我只是无法理解它，尽管我已经浏览了几天，但我无法找到我想知道的答案。但是HDFS数据实际上存储在哪里呢？我以为它会存储在我的datanode目录(/home/hadoop/datastore)中，该目录是在hadoop.tmp.dir下的core-site.xml中定义的，但它并不存在。然后我尝试通过WEB查看，发现"input“是在"/u
浏览 2提问于2012-07-30得票数 8
1回答
假设有一个265 MB的文件被复制到Hadoop集群，HDFS块大小为64 MB。因此，文件被分成5部分- 64 MB + 64 MB +9 MB，并且分布在数据节点之间。对吗？我怀疑64 MB块中是否存在存储数据的格式？
如果在块中存储数据的格式/结构，则存储的数据应该小于64 MB，因为数据结构/标头等本身可能占用一些空间。因为HDFS数据节点是一个逻辑文件系统(它运行在linux之上，并且没有单独的HDFS分区)，所以所有的块都应该作为文件存储在linux分区中。对吗？如何知
浏览 3提问于2015-01-10得票数 2
回答已采纳
我问的是Hadoop2.x系列。互联网上对此有矛盾的建议。就像在这个中，他要求在core-site.xml中指定它，在这个中提到在hdfs-site.xml中设置hadoop.tmp.dir。
浏览 17提问于2016-10-21得票数 4
回答已采纳
我有一个具有复制因子= 3的三节点hadoop集群。每个数据节点系统的硬盘容量为221 of。现在的问题是，尽管660 GB集群上只有186 GB的数据，但我仍然缺乏存储空间: HDFS显示了在可用空间上的巨大差异：datanode2 =17.7GB为了确保hadoop本地存储使用这些空间，我在每个d
浏览 6提问于2012-09-18得票数 1
2回答
我在AWS云上创建了一台具有AWS根卷的8 GB Linux机器，然后部署了hadoop，并在该机器上创建了单节点集群。none 100M 0 100M 0% /run/user
/dev/xvdb
浏览 5提问于2017-12-15得票数 0
回答已采纳
我正在研究Hadoop和云存储。所以很奇怪，Hadoop能像Dropbox或者Google一样使用吗？
浏览 2提问于2017-05-02得票数 1
回答已采纳
/apache/hadoop/hadoop-common/[revision]/hadoop-common-[revision].pom[ivy:resolve] /Users/Hassan/.m2/repository/org/apache/<e
浏览 1提问于2017-12-11得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
