部署HDP集群需要多少磁盘？
部署HDP（Hortonworks Data Platform）集群所需的磁盘空间取决于多个因素，包括集群规模、数据量、计算需求和冗余策略等。一般来说，部署HDP集群需要满足以下磁盘要求：
- 操作系统和软件安装：每个节点至少需要20GB的磁盘空间用于安装操作系统和相关软件。
- 数据存储：HDP集群通常用于存储和处理大量数据，因此需要足够的磁盘空间来存储数据。具体需求取决于数据量和冗余策略，一般建议至少准备数TB的磁盘空间。
- 日志和临时文件：HDP集群会生成大量的日志和临时文件，这些文件需要额外的磁盘空间。建议为每个节点预留至少100GB的磁盘空间用于日志和临时文件。
- 高可用和冗余：为了确保集群的高可用性和数据冗余，通常会采用多个节点进行数据备份和复制。这些备份和复制所需的磁盘空间也需要考虑在内。
需要注意的是，以上只是一个大致的参考，实际的磁盘需求可能因具体情况而异。在部署HDP集群之前，建议进行容量规划和评估，根据实际需求确定所需的磁盘空间。
腾讯云提供了一系列与Hadoop和大数据相关的产品和服务，例如腾讯云CDH（Cloud Data Hub）和腾讯云CVM（Cloud Virtual Machine）。您可以通过访问腾讯云官方网站（https://cloud.tencent.com/）了解更多关于这些产品的详细信息和介绍。
相关·内容
1回答
部署HDP集群需要多少磁盘？
、、、、
我是巴斯克乡村大学的一名学生，我正在尝试使用HDP部署一个小集群。我浏览了Hortonworks的安装指南，但没有找到我想要的答案。我的问题是：非常感谢!
浏览 12提问于2016-09-15得票数 0
我们使用的是HDP版本- 2.6.5，HDFS块复制是3每台数据节点机的最小磁盘号应该是多少？
浏览 0提问于2020-01-19得票数 -2
回答已采纳
我已经获得了Ambari的tar.gz文件的旧版本，在成功安装Ambari服务器之后，当我构建Hadoop集群时，它被定向到公共存储库，该存储库不再对HDP和HDP-UTILS存储库进行访问。()因此，我需要那些rpm文件来构建本地存储库来构建集群。我正在通过互联网寻找文件，但我在任何地方都找不到，还有谁还有这份文件吗？(HDP-2.2.4.2-centos6-rpm.tar.gz)谢谢。
浏览 10提问于2022-04-29得票数 0
1回答
我们有HDP集群版本2.6.0 / 2.6.1 ( hortonworks )，也许将来版本3.0磁盘性能对于维护一个健康的集群至关重要。强烈推荐固态驱动器(SSD)，因为必须具有较低的延迟磁盘写入才
浏览 0提问于2019-01-09得票数 1
1回答
我是这方面的新手，我想知道如何按照下一种规范安装由Hortonworks，HDP，()提供的解决方案:我有2台虚拟机和另一台本地机器可供使用，并且我希望在配置ApacheS火花时使用2 VM作为主节点和工作节点但我的问题是:要正确安装HDP，我必须做些什么？我必须在我的本地机器上安装te解决方案，并配置Apache来使用这两个虚拟机作为主节点和工作节点？或者我必须在我拥有的3台机器上安装HDP？
浏览 4提问于2016-09-05得票数 0
回答已采纳
1回答
我知道通过在集群的边缘节点上部署来为HDInsight HDP集群安装Hue (使用脚本操作)，它工作得很好，但首先要求提供集群凭据，然后将我定向到Hue登录页面。有没有办法摆脱这些凭据？否则，是否可以在远程系统上部署Hue，然后将其指向我的HDInsight HDP群集？如果是这样，我该怎么做呢？以上两种方法中哪一种更好？
浏览 0提问于2017-06-10得票数 0
我们有Ambari HDP集群( HDP版本- 2.6.4 )，有420台工人linux机器(每个工作人员包括数据节点和节点管理器服务)。但是，工人机器上的HDFS磁盘包括HDFS数据，name节点仍在处理所有数据，如( journal/hdfsha/current/ )和( namenode/current )。因此，HDFS不需要Ambari就能工作。
那么，关于我到现在为止说过的话--是否可以安装新的Ambari集群，然后将现有的工作HDFS
浏览 11提问于2022-09-12得票数 0
我想在谷歌计算引擎中加载Hortonworks沙箱。有可能吗？如果是，是如何实现的？
浏览 1提问于2016-09-02得票数 1
我需要在此配置一个多模式Hadoop集群(1主3奴隶)，并在其上运行我的webapp。我将在我的项目中使用HBase。通常，CentOS用于安装和部署HDP，而我则被授予ubuntu。我需要手动部署它们，因此我试着寻找教程。我想找一个教程来在ubuntu上安装HDP多项式集群，发现这个太过时了(2010年)。和我试着跟踪他们。这是一个关于Ubuntu14.04( 12.04也可以)安装多代码集群</e
浏览 1提问于2014-09-12得票数 2
回答已采纳
1回答
我有一个使用mysql/mariadb服务器的HDP集群(4台机器)，它工作得很好。我现在必须部署一个独立的HDF集群，但使用与HDP集群相同的mariadb服务器。
浏览 15提问于2020-06-10得票数 0
回答已采纳
运行更大的纱线作业(Hadoop版本HDP-3.1.0.0 (3.1.0.0-78))的主要限制是什么，以及如何增加它？基本上希望同时执行更多的sqoop作业(所有这些任务都相当大)。我目前假设我需要增加Resource堆大小(因为我在运行纱线作业时看到的是Ambari仪表板上出现的情况)。如何向RM堆添加更多资源/为什么RM堆看起来只占总RAM的一小部分(用于纱线？)集群的另一边？
有更多经验的人能告诉我有什么不同吗?在运行更多的纱线应用
浏览 3提问于2020-11-01得票数 0
回答已采纳
我们在HDP集群中有3台kafka机器。和最后一台卡夫卡机器松开了磁盘(磁盘不健康，我们需要更换它)然后更换磁盘是安全的。但情况并非如此，因为突然磁盘<
浏览 0提问于2019-05-21得票数 0
回答已采纳
1回答
HDFS磁盘已满
、、、
在我们的Ambari集群中，HDFS磁盘的使用率达到了100%。我想删除HBase中的表来释放磁盘，但是hbase (主版)没有启动。HDP版本为2.4.2，HDFS版本为2.7.1，Hbase版本为1.1.2
浏览 3提问于2017-02-16得票数 1
回答已采纳
2回答
如何在没有HDFS的情况下部署HDP集群，因为我不需要HDFS作为存储，而将使用内部内存存储系统。如何做到这一点？
浏览 0提问于2019-02-25得票数 0
我们有采用HDP版本2.6.4的ambari群集Filesystem Size Used Avail5T 5T 23M 100% /var/kafka所以看起来清洗是在7天后，也许这就是kafka磁盘100%充满的原因，即使它们很大- 5T
我们需要在Kafka配置中设置什么，才能根
浏览 0提问于2018-10-24得票数 14
回答已采纳
我们正在寻找一种使用OpenShift (基于Docker)提供Hadoop生态系统集群的可行方法。我们希望使用Hadoop生态系统的服务来构建集群，如HDFS、Spark、Spark、Hive、HBase、ZooKeeper等。在OpenShift上提供Hadoop生态系统集群的最简单方法是什么？手动添加所有服务感觉容易出错，很难管理。我偶然发现了这些独立服务的Docker映像，但它不能与使用Hortonworks HDP这样的平台进行自动配置相媲美。如有任何指导，将不胜感激。
浏览 0提问于2018-04-06得票数 1
1回答
我们有HDP集群版本的2.6.5和8数据节点，所有的机器都安装在HDP 7.6版本上。当我们访问数据节点机器时，我们可以看到磁盘大小的不同。170G 91% /grid/sdc
/dev/sda 1.8T 1.7T 169G 91% /grid&#
浏览 2提问于2021-01-17得票数 0
1回答
我正在进行hadoop中的概念验证，我可能会使用HDP和HDF hortonwork组件来设置一个集群。 数据量非常小，所以如果我没记错的话，每个节点的磁盘卷可能不会超过10 GB。主节点和从节点的CPU数量和RAM数量需要考虑的标准是什么？
浏览 17提问于2019-03-09得票数 0
2回答
刚刚开始探索Druid，我们还没有找到在AWS上安装Druid的博客链接，有没有机会在AWS EMR上安装Druid？如果是这样，如果有任何预先定义的云形成可以执行，这将对我在Druid上的研发有很大的帮助。
浏览 2提问于2019-06-13得票数 1
如何根据集群中磁盘的总大小计算HDFS集群的可用大小？
如果我的集群是10台机器，每台机器都有1TB的存储空间，那么hadoop fs -df会报告什么？更具体地说，我需要在HDFS集群中存储5 TB的数据。我的集群需要多少磁盘空间？
浏览 2提问于2016-01-28得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
