文章/答案/技术大牛

发布

社区首页 >问答首页 >使用本地驱动器在Azure HDInsight上运行Spark程序

问使用本地驱动器在Azure HDInsight上运行Spark程序
EN

Stack Overflow用户

提问于 2016-04-04 07:02:40

回答 1查看 161关注 0票数 0

我有一个要在Azure上运行和基准测试的程序。我们已经在亚马逊EC2上测试了这个程序，并希望尝试尽可能接近地镜像硬件。在EC2上，我们访问的数据被存储在固态硬盘上。我们在Azure上的blob中有数据。

当我们创建HDInsight集群时，我们是否简单地将数据从blob复制到集群，它将位于固态硬盘上(假设我们的集群需要固态硬盘？)

发布于 2016-04-05 04:48:47

是。您将使用

hadoop distcp <wasb://src-url> <hdfs://dest-url>

在hadoop命令行中，将数据从blob存储移动到本地HDFS。

仅供参考-建议的架构是使用Blob存储/数据湖，而不是HDFS。

参考： https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-use-blob-storage/

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/36392333

复制

相似问题

问使用本地驱动器在Azure HDInsight上运行Spark程序EN