文章/答案/技术大牛

发布

社区首页 >问答首页 >如何用k8s部署高可用的hadoop集群？

问如何用k8s部署高可用的hadoop集群？

提问于 2021-04-14 08:07:56

回答 0关注 0查看 568

文件存储

大数据解决方案

kubernetes

hadoop

回答

成为首答用户。去写回答

Hadoop高可用集群部署指南

hadoop apache 分布式存储 mapreduce

Hadoop是一个由Apache基金会所开发的分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

KenTalk

2018/09/11

1.3K1

高可用的K8S集群部署方案

https kubernetes

HAProxy反代了K8S Master服务器，提供了K8S Master API的高可用和负载均衡能力。

落跑架构师M

2019/12/30

3.2K0

高可用的K8S集群部署方案

https 网络安全 kubernetes

LVS 、HAProxy 被规划为基础层，主要提供了一个高可用的7层负载均衡器。由LVS keepalived 提供一个高可用的VIP（虚拟IP）。这个VIP DR模式转发到后端的HAProxy服务器。 HAProxy反代了K8S Master服务器，提供了K8S Master API的高可用和负载均衡能力。

落跑架构师M

2020/02/11

3.4K0

Hadoop高可用(HA)集群搭建

hadoop windows linux jdk zookeeper

HA：High Available，高可用在Hadoop 2.0之前，在HDFS集群中NameNode存在单点故障 (SPOF：A Single Point of Failure) 对于只有一个NameNode的集群，如果NameNode机器出现故障(比如宕机或是软件、硬件升级)，那么整个集群将无法使用，直到NameNode重新启动

CoderJed

2018/09/13

4.4K0

部署高可用 kubernetes 集群

kubernetes

kubernetes 虽然具有故障自愈和容错能力，但某些组件的异常会导致整个集群不可用，生产环境中将其部署为高可用还是非常有必要的，本文会介绍如何构建一个高可用的 Kubernetes 集群。kuber-controller-manager 和 kube-scheduler 的高可用官方已经实现了，都是通过 etcd 全局锁进行选举实现的，etcd 是一个分布式，强一致的（满足 CAP 的 CP）KV 存储系统，其天然具备高可用。而 apiserver 作为整个系统的核心，所有对数据的修改操作都是通过 apiserver 间接操作 etcd 的，所以 apiserver 的高可用实现是比较关键的。

田飞雨

2019/12/18

1.3K0

mongodb高可用集群部署

mongodb 数据库 sql

计划分几篇文章把近一个月技术上的一些实践记录一下，这第一篇记录一下mongodb的高可用集群部署。

jeremyxu

2019/03/13

2.8K1

部署LVS高可用集群

tcp/ip 网站腾讯云测试服务

六台安装CentOS8的虚拟机一台测试机，两台LVS分发器，一台路由器，两台web服务器，关闭selinux关闭防火墙，停止libvirtd.service服务

星哥玩云

2022/09/15

5510

eureka集群配置_hadoop高可用集群搭建

java https php 网络安全

大家好，又见面了，我是你们的朋友全栈君。 Eruka高可用（集群） Eureka Server高可用配置（1）高可用是什么? “高可用性”（High Availability）通常来描述

全栈程序员站长

2022/09/24

7460

Rancher 2.4.3 - HA 部署高可用k8s集群

网络安全 ssh kubernetes centos linux

对于生产环境，需以高可用的配置安装 Rancher，确保用户始终可以访问 Rancher Server。当安装在Kubernetes集群中时，Rancher将与集群的 etcd 集成，并利用Kubernetes 调度实现高可用。

py3study

2020/06/03

5.6K1

Redis --- 最小高可用集群部署

云数据库 Redis®centos bash bash 指令

Redis部署最好是6台服务器，但是因为业务量不够，为了节约资源，我们只使用3台服务器，每台服务器上部署两个节点，也可以实现高可用，但是需要时刻监控Redis的主从配置是否合理，保证3个主节点分别在3台服务器上，如果有任意两个主节点分布在同一台服务器，则需要调整。

十毛

2019/03/27

1.4K0

高可用 kubernetes 集群部署实践

etcd api node.js kubernetes 负载均衡

Kubernetes（k8s）凭借着其优良的架构，灵活的扩展能力，丰富的应用编排模型，成为了容器编排领域的事实标准。越来越多的企业拥抱这一趋势，选择 k8s 作为容器化应用的基础设施，逐渐将自己的核心服务迁移到 k8s 之上。

kubernetes中文社区

2019/06/24

1.7K0

ActiveMQ高可用集群部署方案

java apache 网站负载均衡负载均衡缓存

使用vm虚拟机安装两台centos7虚拟机，IP分别为192.168.30.139和140 注意防火墙问题，实验环境可选择关闭防火墙

王忘杰

2022/09/22

1.4K0

MESOS集群高可用部署原

其他

memsos一般需要奇数台的机器比如1 3 5 7….来组成集群，他的容灾依赖zookeeper集群。

domain0

2018/08/02

5310

Zookeeper 集群如何高可用部署？

zookeeper

Zookeeper 我想大家都不陌生，在很多场合都听到它的名字。它是 Apache 的一个顶级项目，为分布式应用提供一致性高性能协调服务。可以用来做：配置维护、域名服务、分布式锁等。有很多开源组件，尤其是中间件领域，使用 Zookeeper 作为配置中心或者注册中心。例如，它是 Hadoop 和 HBase 的重要组件，是 Kafka 的管理和协调服务，是 Dubbo 等服务框架的注册中心等。

涤生

2019/05/28

5.5K4

Nacos集群部署-高可用保证

java spring cloud nacos 集群

http://nacos.com:port/openAPI 域名 + SLB模式(内网SLB，不可暴露到公网，以免带来安全风险)，可读性好，而且换ip方便，推荐模式

共饮一杯无

2023/07/24

1.2K0

k8s集群部署高可用完整版

https nginx

环境规划 k8s-master1 192.168.0.131 kube-apiserver kube-controller-manager kube-scheduler etcd k8s-master2 192.168.0.132 kube-apiserver kube-controller-manager kube-scheduler k8s-node01 192.168.0.133 kubelet kube-proxy docker etcd k8s-node02 192.168.0.134 kubel

yuezhimi

2020/09/30

1.5K0

CentOS搭建HA高可用Hadoop 2.7.6 集群

hadoop node.js bash bash 指令 zookeeper

　　hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA

星哥玩云

2022/07/13

6770

k8s高可用集群搭建

容器镜像服务容器 tcp/ip kubernetes

搭建三个master节点和两个worker节点还有一个虚拟ip，分别是192.168.200.128(master)，192.168.200.129(master)，192.168.200.130(master)，192.168.200.131(worker),192.168.200.132(worker),192.168.200.16(vip)

ruochen

2021/11/24

8820

Kafka+ZooKeeper高可用集群部署

node.js kafka https 网络安全 bash

我这里并没有设置专业的存储设备，大家用到生产中一定要把数据存储到专业的存储设备或者带有冗余设备的磁盘上

小小科

2020/07/14

2.4K0

kubernetes中部署mysql高可用集群

https 云数据库 SQL Server sql 数据库网络安全

很多软件后端使用的存储都是mysql，当这些软件系统在生产环境部署时，都会面临一个严峻问题，需要在生产环境中部署一个高可用的mysql集群服务。刚好在最近一周的工作中，需要在kubernetes环境中搭建mysql高可用集群，这里记录一下。

jeremyxu

2019/11/07

5.9K0

相似问题

K8S集群，metrics部署错误,如何修正？

030

搭建Hadoop集群问题？

1474

微服务平台Serverless集群部署应用报无实例可用？

1216

在K8S集群上部署了nexus，为什么外放访问不了？

0323

怎么登录弹性hadoop集群？

1406

问如何用k8s部署高可用的hadoop集群？

回答

K8S集群，metrics部署错误,如何修正？

搭建Hadoop集群问题？

微服务平台Serverless集群部署应用报无实例可用？

在K8S集群上部署了nexus，为什么外放访问不了？

怎么登录弹性hadoop集群？

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐