首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Ceph-ansible添加新的OSD磁盘

在使用Ceph-ansible部署Ceph集群时,添加新的OSD(Object Storage Daemon)磁盘是一个常见的操作。以下是添加新OSD磁盘的步骤:

1. 准备新磁盘

确保新磁盘已经正确连接到节点,并且已经分区并格式化为适当的文件系统(通常是xfs)。

2. 更新Ceph集群配置

在添加新OSD之前,需要更新Ceph集群的配置文件,以包含新磁盘的信息。通常,这可以通过编辑ceph-ansible的inventory文件来完成。

编辑Inventory文件

找到ceph-ansible的inventory文件(通常是hosts文件),并添加新磁盘的信息。例如:

代码语言:javascript
复制
[mons]
mon1 ansible_host=192.168.1.1

[osds]
osd1 ansible_host=192.168.1.2
osd2 ansible_host=192.168.1.3

# 添加新的OSD
osd3 ansible_host=192.168.1.4

添加新磁盘的详细信息

group_vars目录下找到对应的OSD组变量文件(例如group_vars/osds.yml),并添加新OSD的磁盘信息:

代码语言:javascript
复制
osd3:
  devices:
    - /dev/sdb
  osd_scenario: non-secure
  osd_journal_size: 10000

3. 运行Ceph-ansible playbook

使用ceph-ansible的playbook来添加新的OSD。通常,你可以使用osd.yml playbook:

代码语言:javascript
复制
ansible-playbook -i hosts ceph-ansible/infrastructure playbooks/deploy-osd.yml --limit osd3

这里的--limit osd3参数确保只对新添加的OSD进行操作。

4. 验证新OSD

添加新OSD后,验证新OSD是否已经成功添加到Ceph集群中。可以使用以下命令:

代码语言:javascript
复制
ceph osd tree

或者查看Ceph的日志文件,确保没有错误信息。

5. 调整CRUSH Map(可选)

如果需要,可以调整CRUSH Map以确保数据分布的均匀性。可以使用以下命令查看和编辑CRUSH Map:

代码语言:javascript
复制
ceph osd getcrushmap -o crushmap
crushtool -d crushmap -o crushmap.txt
# 编辑crushmap.txt
crushtool -c crushmap.txt -o crushmap
ceph osd setcrushmap -i crushmap

注意事项

  • 确保新磁盘已经正确分区并格式化。
  • 确保新磁盘的文件系统类型与Ceph的要求一致(通常是xfs)。
  • 在添加新OSD之前,确保Ceph集群状态正常,没有错误。
  • 如果使用的是Ceph Ansible 5.x版本,可能需要使用不同的playbook和配置方式。

通过以上步骤,你可以成功地将新的OSD磁盘添加到Ceph集群中。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

Ansible部署RHCS存储集群详解

1.3 其他注意事项 OSD磁盘不建议使用RAID,Ceph使用复制或纠删码来保护数据 在生产环境部署Ceph集群,为便于管理,OSD主机应尽量使用统一的硬件。...尽可能配置数量、大小和名称都相同的磁盘,有助于确保性能一致,并且简化故障排除; 需要确认每个OSD主机提供的OSD的数量。密度较小的存储集群意味着osd守护进程分布到更多的主机上,分发工作负载。.../group_vars/osds.yml:所有OSD节点的yml配置; /usr/share/ceph-ansible/group_vars/client.yml:客户端节点的yml配置。...site.yml.sample site.yml[student@servera ceph-ansible] 提示:添加serial: 1添,会减慢了OSD的部署,但是使我们更有可能预测哪个OSD编号被分配给哪个...,扩展ceph集群存储容量 可通过ceph-ansible以两种方式扩展集群中的存储: 可以添加额外OSD主机到集群(scale-out) 可以添加额外存储设备到现有的OSD主机(scale-up) 开始部署额外的

2.4K20
  • 001.Ansible部署RHCS存储集群

    1.3 其他注意事项 OSD磁盘不建议使用RAID,Ceph使用复制或纠删码来保护数据 在生产环境部署Ceph集群,为便于管理,OSD主机应尽量使用统一的硬件。...尽可能配置数量、大小和名称都相同的磁盘,有助于确保性能一致,并且简化故障排除; 需要确认每个OSD主机提供的OSD的数量。密度较小的存储集群意味着osd守护进程分布到更多的主机上,分发工作负载。...行左右)添加此行 提示:添加serial: 1添,会减慢了OSD的部署,但是使我们更有可能预测哪个OSD编号被分配给哪个OSD主机,以便将来的实验室练习。...四 扩容Ceph集群 4.1 扩容前置条件 在不中断服务的前提下,扩展ceph集群存储容量 可通过ceph-ansible以两种方式扩展集群中的存储: 可以添加额外OSD主机到集群(scale-out)...可以添加额外存储设备到现有的OSD主机(scale-up) 开始部署额外的OSD前,需确保集群处于HEALTH_OK状态 相关主机解析已正常添加指hosts 4.2 创建相关用户 1 [root

    1.2K30

    systemd下手工部署OSD服务-Jewel版本

    Ceph自动化部署工具现状 ceph-deploy 已经处于被淘汰边缘(官方现在主推ceph-ansible),deploy新手练手可以,配置管理太弱鸡,每次overwrite-conf都需要很大勇气。...ceph-ansible 看起来很美好,但是无法完美适配手头各种差异化的部署需求,看完源码,把里面核心的模块功能抽取出来,完全可以自己做,没必要拿官方的ansible。...18:10.888266 7ff1e0eea800 -1 created new key in keyring /var/lib/ceph/osd/ceph-1/keyring #添加OSD用户权限,并导入到.../var/lib/ceph/osd/ceph-1/systemd #创建Journal_uuid文件,确保开机自动找到正确的Journal分区,这里填journal分区的UUID [root@demo...读者有需要的照着上面的写个脚本,或者写个ansible模块,会比较方便后续业务应用。 typecode是整个OSD服务自动启动的核心,具体可以看磨磨的博客,后附地址。

    79830

    Ceph:关于Ceph 集群管理的一些笔记

    版本使用 Ceph-ansible 软件中的 Ansible Playbooks 进行部署并管理集群, Ceph O版 引入了 cephadm 作为工具来管理集群的整个生命周期(部署、管理和监控),替换之前的...ceph-ansible 提供的功能 Cephadm 被视为 Manager 守护进程(MGR)中的一个模块,这是部署新集群时的第一个守护进程,Ceph集群核心集成了所有的管理任务 Cephadm 由...当引导集群时,这个Ceph容器镜像是必需的,因为部署的 Ceph 容器是基于该镜像,为了与 Ceph 集群 节点交互,Cephadm 使用 SSH 连接向集群添加新主机、添加存储或监控这些主机 Cephadm...cephadm add-repo: 添加一个自定义 yum 或 apt 存储库,以便 cephadm 客户端可以使用新的软件包。...ceph orch service restart: 重启指定的服务(如 OSD 等)。 ceph orch daemon add: 在指定的主机上添加一个新的 Daemon 实例。

    53520

    实弹军演-基于Ceph对象存储的实战兵法

    OSD节点,满足以下条件: * OSD 要考虑做好crushmap的故障域隔离,能用3副本,绝对不要去省钱搞2副本,后期磁盘批量到达寿命以后,这是很大的隐患。...* 每个OSD物理节点的OSD磁盘数量不宜过多,并且单盘的容量不宜过大,你搞个8T的SATA盘,如果单盘已用量到了80%以上坏个盘,那么整个数据回填的时长绝对是漫长的等待,当然你可以控制backfill...,接下来就是看你好好积累Ceph的运维经验了,熟悉Ceph日志,同时不断完善各种异常和告警触发条件,把日常磁盘、RAID卡等常见硬件故障日志也综合起来,基本上通过日志就可以快速诊断出OSD磁盘故障,再也不用傻乎乎的挂了...ansible playbook,比如ELK发现磁盘故障,调用运维人员的playbook去把对应的磁盘out掉,然后umount,使用megacli一类的工具点亮磁盘故障灯,最后一封邮件告知XX机房XX...最后附上本文推荐的工具介绍: https://github.com/ceph/ceph-ansible https://www.elastic.co/cn/products http://docs.celeryproject.org

    1.6K70

    万字长文细讲分布式存储系统 Ceph 实战操作

    1)添加新节点 ceph orch host add local-168-182-131 ceph orch host add local-168-182-132 #第一次部署新节点时直接用上边的命令即可...】或者使用下面命令指定使用的磁盘(推荐使用这种方式吧) # ceph orch daemon add osd **:** #例如: #从特定主机上的特定设备创建OSD...如果它被添加到 已经包含 Ceph 守护进程的现有主机,将导致 cephadm 移动 其他位置的守护程序(OSD 除外,不会自动删除)。...true 2、创建新的 OSD 有几种方法可以创建新的 OSD: 【1】告诉 Ceph 使用任何可用和未使用的存储设备: # 如果将新磁盘添加到群集,它们将自动用于 创建新的 OSD。...perf 8、详细列出集群每块磁盘的使用情况 ceph osd df 8)pool 相关操作 1、查看 ceph 集群中的 pool 数量 ceph osd lspools #或者 ceph osd

    3.2K10

    RedHat Ceph存储——《面向生产环境的Ceph 对象网关指南》

    热部署(译者注:或叫热插拨,例如不停机情况下新增加一块磁盘、启动一个OSD等)也是比较重要的一个关注点,大多数现代的服务器都支持驱动的热插拨。...然而一些(热部署的)硬件在配置方面则需要去除某些驱动或驱动替换。RedHat则建议尽量避免这种配置等的变动,因为当磁盘出现问题需要更换时,这可能会使受影响的OSD数量比预期的还要多。...对于每一种业务场景,都应当将示例文件/usr/share/Ceph-ansible/group_vars/osd.sample拷贝并更名为对应业务场景的文件。...+clean状态时,可以根据需要向集群中增加新的OSD存储节点或者对象网关节点。...对于加入到集群中的每一个OSD节点,为存储客户端数据的每个驱动器添加OSD【译者注:意味着不同的盘对应不同的OSD,新加一块盘的话要在这块盘上添加新的OSD】。更多的信息可以参考添加一个OSD章节。

    3.3K51

    ceph集群磁盘故障,更换磁盘流程

    安装新的磁盘 安装新的磁盘可以通过以下步骤来完成: (1)将新的磁盘插入到存储节点的磁盘槽中。 (2)对于机械硬盘,需要进行分区和格式化。可以使用fdisk和mkfs.ext4命令来完成。...这可以通过以下步骤来完成: (1)使用ceph-deploy命令在新的磁盘上安装OSD。 (2)使用ceph-disk命令将新的磁盘作为OSD格式化并挂载到文件系统中。...(3)使用ceph osd crush add命令将新的OSD添加到CRUSH图中,并设置适当的权重。 (4)使用ceph auth get-or-create命令生成新的OSD的认证密钥。...(5)使用ceph osd in命令将新的OSD标记为in状态。 等待数据平衡 在将新的磁盘加入Ceph集群后,集群将开始将数据平衡到新的磁盘上。...可以通过以下步骤来测试: (1)使用ceph osd tree命令检查新的OSD是否已经处于in状态。 (2)使用ceph osd df命令检查新的OSD是否已经开始接收数据。

    3.1K00

    ceph存储节点系统盘损坏集群恢复

    本文主要介绍ceph16版本集群节点系统磁盘故障后的集群恢复,虽然系统盘很多都是做了raid1,但从实际做的项目看,总是有很多未知意外发生,节点挂掉后,上面的mon和osd,mgr都会down掉,如果所在节点的...ceph集群操作,因为新添加的节点上缺少ceph集群管理的密钥环,在上面的命令中其实可以看到新加的node1是缺少一个_admin标签的,这里提一下ceph是有几个特殊的主机标签的,以_开头的属于ceph...主机的特殊标签,将_admin标签添加到这台新节点,就会导致cephadm 将配置文件ceph.conf和密钥环文件ceph.client.admin.keyring分发到新节点上,这里我们把_admin...标签添加至新节点,这样可以在新节点上执行ceph集群的操作。...显示当前设备的状态 # dmsetup status # 删除所有映射关系 # dmsetup remove_all # 格式化刚才删除的osd所在磁盘 mkfs -t ext4 /dev/vdb 重新添加

    2.1K30

    更换osd 停止集群迁移

    、删除osd及故障硬盘更换 添加或删除osd均在ceph部署节点的cent用户下的ceph目录进行。...添加osd 当前ceph集群中有如下osd,现在准备新添加osd:   (1)选择一个osd节点,添加好新的硬盘:   (2)显示osd节点中的硬盘,并重置新的osd硬盘: 列出节点磁盘: ceph-deploy...disk list rab1 擦净节点磁盘: ceph-deploy disk zap rab1 /dev/sbd(或者)ceph-deploy disk zap rab1:/dev/vdb1   (...del osd.5 updated (6)删除故障osd [root@node1 ~]# ceph osd rm 5 removed osd.5 (7)更换完新硬盘后,注意新硬盘的盘符,并创建osd...(8)在部署节点,切换为cent用户,添加新的osd [cent@deploy ceph]$ ceph-deploy osd create --data /dev/sdd node3 (9)待新osd

    86100
    领券