首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

cephadm:无法将节点添加到ceph集群(错误EINVAL:无法连接到主机)

基础概念

cephadm 是 Ceph 集群管理的工具,用于简化 Ceph 集群的部署和管理。Ceph 是一个开源的分布式存储系统,提供对象存储、块存储和文件系统接口。

相关问题及解决方案

错误信息:EINVAL: 无法连接到主机

这个错误通常表示 cephadm 无法通过 SSH 连接到目标节点。可能的原因包括:

  1. 网络问题:目标节点无法从管理节点访问。
  2. SSH 配置问题:SSH 服务未启动或配置不正确。
  3. 认证问题:SSH 密钥或密码不正确。
  4. 防火墙问题:防火墙阻止了 SSH 连接。

解决步骤

  1. 检查网络连接: 确保管理节点可以 ping 通目标节点。
  2. 检查网络连接: 确保管理节点可以 ping 通目标节点。
  3. 检查 SSH 服务: 确保目标节点上的 SSH 服务正在运行。
  4. 检查 SSH 服务: 确保目标节点上的 SSH 服务正在运行。
  5. 检查 SSH 配置: 确保目标节点的 SSH 配置允许来自管理节点的连接。编辑 /etc/ssh/sshd_config 文件,确保以下配置正确:
  6. 检查 SSH 配置: 确保目标节点的 SSH 配置允许来自管理节点的连接。编辑 /etc/ssh/sshd_config 文件,确保以下配置正确:
  7. 检查 SSH 密钥: 确保管理节点有正确的 SSH 密钥可以访问目标节点。可以尝试手动通过 SSH 连接到目标节点:
  8. 检查 SSH 密钥: 确保管理节点有正确的 SSH 密钥可以访问目标节点。可以尝试手动通过 SSH 连接到目标节点:
  9. 检查防火墙: 确保防火墙允许 SSH 连接。例如,使用 iptables
  10. 检查防火墙: 确保防火墙允许 SSH 连接。例如,使用 iptables
  11. 如果需要添加规则允许 SSH 连接:
  12. 如果需要添加规则允许 SSH 连接:

示例代码

假设你已经有一个 Ceph 集群,并且你想添加一个新的节点。以下是一个示例命令:

代码语言:txt
复制
cephadm join --mon <监控节点IP>:6789 --key <管理节点密钥文件>

参考链接

通过以上步骤,你应该能够解决 cephadm: 无法将节点添加到 ceph 集群 (错误 EINVAL: 无法连接到主机) 的问题。如果问题仍然存在,请检查日志文件以获取更多详细信息,并根据具体情况进行进一步的调试。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

手把手教你搭建 Ceph+JuiceFS

: apt install pssh pssh 也就是 Parallel SSH,可以方便地并发 SSH 到多个节点、批量执行命令,这个工具需要读取主机列表,因此所有节点(主控除外)的主机名记录到文本文件里...节点基础设施 如果尚未搭建时钟同步,需要手动安装: apt install chrony # 查看能连接到的 servers # 如外网不通则需要改配置内部服务器,如果不清楚如何配置,联系云服务商技术支持...进入 Ceph 管理容器,后续命令都在这个管理容器内执行。但考虑到主控节点已经在宿主机层面安装了所有需要的工具,事实上不进入 cephadm shell 也是完全可以的。...osd_memory_target 17179869184 组建 Ceph 集群 所有节点添加进 Ceph 集群,前 5 台节点(含主控)打上 _admin 标签,后续的节点则不需要。...在 JuiceFS 挂载点删除足量的文件,如果 Ceph 一侧没有立即释放容量,则说明遇到了上方提到的「容量超限时,无法执行删除」的死锁问题,这时需要登录 Ceph 主控节点阈值临时提高,来允许删除请求

69310

万字长文细讲分布式存储系统 Ceph 实战操作

群集彼此隔离—— 支持多个 Ceph 集群同时存在于同一主机上一直是一个比较小众的场景,但是确实存在,并且以一种健壮,通用的方式集群彼此隔离,这使得测试和重新部署集群对于开发人员和用户而言都是安全自然的过程...以下是一些事情的列表 cephadm 可以做: cephadm 可以 Ceph 容器添加到集群cephadm 可以从集群中移除 Ceph 容器。 cephadm 可以更新 Ceph 容器。...### 2.节点状态标记为out ceph osd out osd.x #停止到osd的进程,这个是通知集群这个osd不再映射数据了,不提供服务了,因为本身没权重,就不会影响到整体的分布,也就没有迁移...删除节点 ceph osd rm osd.x # 这个是从集群里面删除这个节点的记录ls ### 5....如果它被添加到 已经包含 Ceph 守护进程的现有主机导致 cephadm 移动 其他位置的守护程序(OSD 除外,不会自动删除)。

3K10
  • 关于 Ceph 存储集群配置的一些笔记

    : 编译后的默认值 集中式配置数据库 保存在本地主机上的配置文件 环境变量 命令行参数 运行时覆盖 监视器(MON) 节点管理集中的 配置数据库,在启动时,Ceph 守护进程通过命令行选项解析环境变量和本地集群配置文件提供的配置选项...Part2集群监控配置 8Ceph监控配置 Ceph监视器(MONs)存储和维护客户端用来查找MON和OSD节点集群映射,Ceph客户端在向osd读写任何数据之前,必须连接到一个 MON 来检索集群映射...支持对运行中的集群添加或移除mon,集群配置文件定义了用于集群操作的MON主机IP地址和端口,rnon_host 设置可以包含IP地址或DNS名称,cephadm 工具无法更新集群配置文件,定义一个策略来保持集群配置文件在集群节点之间同步...这提供了额外的安全层,因为它确保只有授权的客户端可以连接到 Ceph 集群。 使用 cephadm 部署集群时,默认启用 cephx。...~]# firewall-cmd --reload 还可以通过ceph-mon服务添加到防火墙规则中来保护MON节点 [root@node ~]# firewall-cmd --permanent

    1K50

    ceph存储节点系统盘损坏集群恢复

    移除问题主机 节点挂掉后,在确定不能继续开机进入系统的情况下,需要在其他正常的节点将故障节点进行移除,此次宕机的节点为node4,以下命令可能会导致数据丢失,因为 osd 通过调用每个 osd 来强制从集群中清除...ceph orch host rm node4 --offline --force 节点初始化操作 node4节点即故障节点更换新的系统盘并重新安装系统,重装后node4主机名我修改成了node1,并更换了新的.../cephadm install ceph-common 向集群中添加新节点ceph集群添加新主机 [root@node2 ~]# ceph orch host add node1 Added...ceph集群操作,因为新添加的节点上缺少ceph集群管理的密钥环,在上面的命令中其实可以看到新加的node1是缺少一个_admin标签的,这里提一下ceph是有几个特殊的主机标签的,以_开头的属于ceph...主机的特殊标签,_admin标签添加到这台新节点,就会导致cephadm 配置文件ceph.conf和密钥环文件ceph.client.admin.keyring分发到新节点上,这里我们把_admin

    2.1K30

    Ceph:关于部署 Ceph 存储集群的一些笔记

    集群公钥复制到每个主机,使用如下命令复制集群密钥到集群节点: 下面的步骤是 cephadm 自动的,不需要显示处理 [root@node -]# cephadm shell [ceph: root@...Ceph 编排器支持为主机分配标签,标签可以用于对集群进行分组 hosts ,以便可以同时Ceph服务部署到多个主机主机可以有多个标签 标签可以帮助识别每个主机上运行的守护进程,从而简化集群管理任务...admin节点 [ceph: root@node /)# ceph orch \ host label add AOMIN_NOOE _admin 使用标签集群守护进程部署到特定的主机 (ceph...分发ssh密钥 作为root用户, Ceph 存储集群 SSH 公钥添加到主机上 root 用户的 authorized_keys 文件中 [root@adm ~]# ssh-copy-id \...-f -i /etc/ceph/ceph.pub \ root@new-osd-1 检查并配置先决条件 作为 root 用户,节点添加到目录 /usr/share/cephadm-ansible

    92520

    Ceph:关于Ceph 集群管理的一些笔记

    Cephadm 包装提供,应该在第一个集群节点上安装这个包,它充当引导节点。...当引导集群时,这个Ceph容器镜像是必需的,因为部署的 Ceph 容器是基于该镜像,为了与 Ceph 集群 节点交互,Cephadm 使用 SSH 连接向集群添加新主机、添加存储或监控这些主机 Cephadm...Ceph 管理工具 Ceph部署在容器中,在引导节点中不需要额外的软件,可以从集群的引导节点中的命令行引导集群,引导集群设置了一个最小的集群配置,其中只有一个主机(引导节点)和两个守护进程(监视器和管理进程...shell,只应该在引导节点中运行此命令,因为在引导集群时,只有这个节点可以访问/etc/ceph中的admin密钥 [root@clienta ~]# cephadm shell Inferring...与Ceph CLI一样,Ceph Dashboard GUI web服务器作为Ceph-mgr 守护进程的一个模块,默认情况下,当创建集群时,Ceph在引导节点中部署Dashboard GUI并使用

    50520

    AI 场景存储优化:云知声超算平台基于 JuiceFS 的存储实践

    PoC 测试环境我们搭建了一个单节点的 Redis + 3 节点Ceph 对象存储集群,在环境搭建方面因为 Redis 跟 Ceph 都比较成熟,部署运维方案可以参考的资料也比较全,而 JuiceFS.../mlnx_add_kernel_support.sh -m /root/ib -k (kernel 版本) 对象存储 对象存储采用自建的 Ceph 集群Ceph 集群采用 Cephadm 进行部署,...Cephadm 是随着 Ceph 新版本 v15.2.0(Octopus)发布的安装工具,并且不支持 Ceph 的旧版本,Cephadm 不依赖于外部配置工具,如 Ansible、 Rook 和 Salt...,它通过 SSH 管理器守护进程连接到主机来实现这一点。...通过 Cephadm 引导一个单节点集群Cephadm 会在执行 bootstrap 引导的节点部署 mgr 跟 mon 服务,当添加其他节点的时候,会自动在其中一台部署 mgr 管理节点,目前我们生产采用

    1.3K10

    Ceph 分布式存储使用指南

    然后我修改了主机名,因为没有dns,所以在三台设备hosts中指定了: 192.168.3.4 ceph-master 192.168.3.5 ceph-node1 192.168.3.6 ceph-node21.2.3.../cephadm install $ which cephadm #检查安装结果1.2. 3.4 开始部署集群 首先创建一个ceph的配置文件存放地点,这里要提示的一点就是以前的版本很多配置都需要写到配置文件里...拉取完成后就开始进行集群的正式部署了 $ cephadm bootstrap --mon-ip ** #是你的master节点IP地址 例如: # ....说白了就是通过这个进程可以让你节点上的硬盘可以在ceph里用。再说白了,添加OSD就是把你的硬盘添加到ceph集群。...pool-name>1.2. 7.2 创建块设备映像 必须先在]创建映像,然后才能将块设备添加到节点

    2.4K20

    每天10分钟玩转Ceph(一)让Ceph集群运行起来

    可用于生产部署 cephadm,较新的集群自动化部署工具,支持通过图形界面或者命令行界面添加节点,目前不建议用于生产环境 manual,手动部署,一步步部署Ceph集群,支持较多定制化和了解部署细节,安装难度较大...ceph.bootstrap-rbd-mirror.keyring 4、认证密钥拷贝到其他节点,便于ceph命令行可以通过keyring和ceph集群进行交互,ceph-deploy admin node...因此无法集群中写数据等操作,如下是ceph -s查看的输出结果 [root@node-1 ceph-admin]# ceph -s cluster: id: 760da58c-0041.../dev/vdb [ceph添加osd节点] 如上已将node-1的vdb添加到ceph集群中,ceph -s可以看到当前有一个osd加入到集群中,执行相同的方法node-2和node-3上的磁盘添加到集群中...因此可以支持),mgr部署到node-1节点,执行ceph-deploy mgr create node-1 [Ceph添加mgr节点] 至此,Ceph集群已经部署完毕。

    5.6K113

    “网红架构师”解决你的Ceph 运维难题-Part2

    如果在那四个位置下面无法找到秘钥文件,就会报上面的unable to find a keyring这样的错误,解决方法后面再说。...注意:如果关闭了CephX,那么任何一个客户端只要拥有了MON的IP和集群的fsid,就可以连接到集群中,然后执行所有的Ceph的指令,这是相当危险的,所以对于一个非局域网的集群,是需要开启的。...在集群部署完毕后,可以关闭CephX认证,具体方法如下: 修改部署目录内ceph.conf的cephx->none,配置推送到所有节点。 重启所有的MON和OSD。...配置文件推送到各个节点。 重启所有的OSD。 这样OSD在启动时,就会自动加到对应的主机名下的host下方,并将主机名加到default下方。这样CRUSH就可以找到OSD了。...简单点说,如果这个值为false,那么OSD在启动的时候不会去修改你的CRUSH树,也就是说OSD不会自动填加到对应的主机名下再自己添加到root=default下。

    3.7K41

    快速部署Ceph分布式高可用集群

    一个Ceph集群中有Monitor节点、MDS节点(用于文件存储)、OSD守护进程。...Ceph基础概念ceph-deploy 一个集群自动化部署工具,使用较久,成熟稳定,被很多自动化工具所集成,可用于生产部署;cephadm 从Octopus开始提供的新集群部署工具,支持通过图形界面或者命令行界面添加节点...admin-node: 需要一个安装管理节点,安装节点负责集群整体部署,这里我们用CephNode01为admin-node和Ceph-Mon节点;mon: monitor节点,即是Ceph的监视管理节点...|+----[SHA256]-----+# 免密传输到各个主机上ssh-copy-id root@node1ssh-copy-id root@node2ssh-copy-id root@node3#...--cap mon 'profile bootstrap-osd' --cap mgr 'allow r'# 生成的密钥添加到ceph.mon.keyring。

    2.3K30

    Ceph 集群整体迁移方案

    场景介绍:在我们的IDC中,存在着运行了3-6年的Ceph集群的服务器,这些服务器性能和容量等都已经无法满足当前业务的需求,在购入一批高性能机器后,希望旧机器上的集群整体迁移到新机器上,当然,是保证业务不中断的前提下...均已经对接到Ceph 集群上,具体节点配置如下: 主机名 IP地址 Openstack 组件 Ceph 组件 con 192.168.100.110 nova,cinder,glance,neutron...,也就是说,运行于 con,com,ceph三个节点Ceph 集群迁移到 new_mon_1,new_mon_2,new_mon_3 这三台新机器上。...在新旧节点 Ceph 版本一致后(旧节点升级,新节点降级),此现象得以消除。...来连接到 /etc/ceph/ceph.conf配置文件指定IP的MON,认证成功后,可以获取集群的很多MAP( monmap,osdmap,crushmap...)

    4K50

    Ceph 集群整体迁移方案

    场景介绍:在我们的IDC中,存在着运行了3-6年的Ceph集群的服务器,这些服务器性能和容量等都已经无法满足当前业务的需求,在购入一批高性能机器后,希望旧机器上的集群整体迁移到新机器上,当然,是保证业务不中断的前提下...均已经对接到Ceph 集群上,具体节点配置如下: 主机名 IP地址 Openstack 组件 Ceph 组件 con 192.168.100.110 nova,cinder,glance,neutron...,也就是说,运行于 con,com,ceph三个节点Ceph 集群迁移到 new_mon_1,new_mon_2,new_mon_3 这三台新机器上。...在新旧节点 Ceph 版本一致后(旧节点升级,新节点降级),此现象得以消除。...来连接到 /etc/ceph/ceph.conf配置文件指定IP的MON,认证成功后,可以获取集群的很多MAP( monmap,osdmap,crushmap...)

    2.6K120

    Ceph 故障检测机制

    节点故障检测概述 节点的故障检测是分布式系统无法回避的问题,集群需要感知节点的存活,并作出适当的调整。通常我们采用心跳的方式来进行故障检测,并认为能正常与外界保持心跳的节点便能够正常提供服务。...一个好的故障检测策略应该能够做到: 及时:节点发生异常如宕机或网络中断时,集群可以在可接受的时间范围内感知; 适当的压力:包括对节点的压力,和对网络的压力; 容忍网络抖动 扩散机制:节点存活状态改变导致的元信息变化需要通过某种机制扩散到整个集群...host,即计数来自不同主机的osd报告 mon_osd_min_down_reporters(2): 最少需要多少来自不同的mon_osd_reporter_subtree_level的osd的错误报告...及时:伙伴OSD可以在秒级发现节点失效并汇报Monitor,并在几分钟内由Monitor失效OSD下线。...Ceph实际上是故障检测过程中中心节点的压力分散到所有的OSD上,以此提高中心节点Monitor的可靠性,进而提高整个集群的可扩展性; 容忍网络抖动:Monitor收到OSD对其伙伴OSD的汇报后,

    1.2K30
    领券