) luminous (stable)[root@server1 ceph-ansible]# 进入维护模式ceph osd set nooutceph osd set nobackfillceph osd...set norecoverceph osd set norebalance手动停止OSD#首先收集osd信息[root@server3 ~]# ceph osd treeID CLASS WEIGHT...@3手动剔除osd[root@server3 ~]# systemctl stop ceph-osd@3[root@server3 ~]# ceph osd out 3marked out osd.3....~]# ceph auth del osd.3updated[root@server3 ~]# ceph osd rm osd.3removed osd.3[root@server3 ~]# umount.../var/lib/ceph/osd/ceph-3[root@server3 ~]#解除维护状态ceph osd unset nooutceph osd unset nobackfillceph osd
[root@node1 ~]# ceph osd dump epoch 706 fsid 97e5619b-a208-46aa-903b-a69cfd57cdab created 2019-05-08...36 osd.0 up in weight 1 up_from 5 up_thru 702 down_at 0 last_clean_interval [0,0) 10.188.188.5:6801...20554 10.188.188.5:6803/20554 10.188.188.5:6804/20554 exists,up 30ed6a87-cfb0-41af-8b72-cd18bbba4cd7 osd...20415 10.188.188.6:6802/20415 10.188.188.6:6803/20415 exists,up 2c4e15d8-26d8-4766-9e83-97422edd7956 osd...20451 10.188.188.7:6802/20451 10.188.188.7:6803/20451 exists,up a1b2b8a2-a9ba-4420-b873-f81453ebb56e osd
添加osd 当前ceph集群中有如下osd，现在准备新添加osd： （1）选择一个osd节点，添加好新的硬盘： （2）显示osd节点中的硬盘，并重置新的osd硬盘： 列出节点磁盘： ceph-deploy...删除osd 现在要将 rab1中的 osd.4 删除： （1）把 OSD 踢出集群 ceph osd out osd.4 （2）在相应的节点，停止ceph-osd服务 systemctl stop ceph-osd...osd.4 （4）删除 OSD 认证密钥 ceph auth del osd.4 （5）删除osd.4 ceph osd rm osd.4 3. ceph osd故障硬盘更换 正常状态： down...nodeep-scrub;do ceph osd set $i;done （2）定位故障osd ceph osd tree | grep -i down （3）进入osd故障的节点，卸载osd挂载目录...del osd.5 updated （6）删除故障osd [root@node1 ~]# ceph osd rm 5 removed osd.5 （7）更换完新硬盘后，注意新硬盘的盘符，并创建osd
的osd组成的存储池上，既提高了性能，又可以减少较大数据量存储的成本。...下面我们就来演示如何利用crush来对不同数据指定不同设备的osd存储，这边我是用虚拟机演示，所以都是hdd，这边假设osd0,2,4为ssd设备，osd 1,3,5为sata设备。...编辑crushmapdump文件，并在root default配置之后添加以下部分，分别创建ssd和sata两个bucket，将osd [0,2,4]作为ssd bucket，osd[1,3,5...hash 0 item osd.1 weight 0.010 item osd.3 weight 0.010 item osd.5 weight 0.010...上，ssd的osd集合为[0 2 4]，sata的osd集合为[1,3,5]，下图与我们定义的配置完全相同
介绍 OSD全称Object Storage Device，也就是负责响应客户端请求返回具体数据的进程。一个Ceph集群一般都有很多个OSD。...卸载osd systemctl stop ceph-osd@6.service umount /var/lib/ceph/osd/ceph-6 ceph osd out osd.6 ceph osd...crush remove osd.6 ceph auth del osd.6 ceph osd rm 6 wipefs -af /dev/sda /dev/sdb /dev/sdc /dev/sdd /...dev/sde /dev/sdf dmsetup remove ceph--04bc08ca--60ac--4a8c--8e6f--2569b41b56dd-osd--block--6a5dfa77--
full osd(s) monmap e1: 1 mons at {ceph-osd-1=10.10.200.163:6789/0}, election epoch 1, quorum 0...-1 ~]# ceph health HEALTH_ERR 1 full osd(s); 2 near full osd(s) 可以看到其中一个osd磁盘已经写满，另外还有两个osd已经接近爆满...osd.0 is full at 95% osd.2 is near full at 93% osd.1 is near full at 93% 这里能看到具体是哪个磁盘接近饱和。...扩容解决 安装好ceph,配置好验证之后，进行新的osd的安装 [root@ceph-osd-1 ~]# ceph-deploy osd prepare 192.168.1.1:/osd3 [root...@ceph-osd-1 ~]# ceph-deploy osd activate 192.168.1.1:/osd3 详细的增加osd的步骤可以参考这里：[传送门] 增加之后需要确认你的新osd是否在故障的数据区域
让编号为0的osd down 掉,此时该 osd 不接受读写请求,但 osd 还是存活的 $ ceph osd down 0 marked down osd.0...让编号为0的osd up 掉,此时该 osd 接受读写请求 $ ceph osd up 0 marked up osd.0...#将一个 osd 逐出集群,即下线一个 osd,此时可以对该 osd 进行维护 $ ceph osd out 0 2.7 osd加入集群 #把一个 osd 加入集群,即上线一个 osd $ ceph...osd in 0 2.8 删除osd #在集群中删除一个 osd,可能需要先 stop 该 osd,即 stop osd.0 $ ceph osd rm 0 2.9 从crush map中删除osd #...2.11 查看最大osd个数 #查看最大osd的个数，默认最大是4个osd节点 $ ceph osd getmaxosd 2.12 设置最大osd个数 #设置最大osd的个数，当扩大osd节点的时候必须扣大这个值
map epoch map_full 接收满的OSD map map_inc 接收到增量OSD map osd_sessions osd 会话 osd_session_open 打开osd会话...osd_session_close 关闭osd会话 osd_laggy 缓慢的osd会话 omap_wr osd map读写操作 omap_rd osd map读操作 omap_del osd...osd map操作 ceph.osd.stat_bytes osd 大小 ceph.osd.stat_bytes_used osd 占用大小 ceph.osd.stat_bytes_avail osd...可以用大小 ceph.osd.osd_map_cache_hit osd map 命中缓存 ceph.osd.osd_map_cache_miss osd map 穿透缓存 ceph.osd.osd_map_cache_miss_low...osd map 穿透缓存下限 总数 ceph.osd.osd_map_bl_cache_hit osd map 缓冲区缓存命中 ceph.osd.osd_map_bl_cache_miss osd
根据object 查找对应的osd位置 $ ceph osd map test_pool rbd_data.12c074b0dc51.0000000000000092 osdmap e403 pool
Look into OSD list (ceph osd tree). Select one you want to remove. Let’s say it is an ‘osd.11’....Mark it ‘out’: ceph osd out osd.11 If you see “osd.11 is already out” — it’s ok....Mark it as ‘down’: ceph osd down osd.11 Remove it: ceph osd rm osd.11....If it says ‘Error EBUSY: osd.11 is still up; must be down before removal.’ that means OSD is not dead...(it should prevent problems with 'couldn’t add new osd with same number’): ceph auth del osd.11.
ceph增加删除osd操作教程 cep ceph 添加osd 扩容 ceph集群作为存储后端开始使用后扩osd时，每次添加完后等ceph集群恢复正常后再继续添加下一个，避免同时添加2个及以上的osd。...添加OSD # 准备磁盘（切换到my-cluster目录） ceph-deploy disk list node1 # 擦净磁盘 ceph-deploy disk zap node1:sdd # 创建...OSD ceph-deploy osd prepare node1:sdd:/dev/sdb2 ceph-deploy osd activate node1:sdb1:/dev/sdb2 删除OSD...# 列出所有的OSD ceph osd tree # 删除OSD（这里删除osd.0） ceph osd out osd.0 service ceph stop osd.0 ceph osd...crush remove osd.0 ceph auth del osd.0 ceph osd rm 0
根因跟踪 当bucket index所在的OSD omap过大的时候，一旦出现异常导致OSD进程崩溃，这个时候就需要进行现场"救火"，用最快的速度恢复OSD服务。...先确定对应OSD的OMAP大小，这个过大会导致OSD启动的时候消耗大量时间和资源去加载levelDB数据，导致OSD无法启动（超时自杀）。...参数，减少OSD自杀的概率 osd_op_thread_timeout = 90 #default is 15 osd_op_thread_suicide_timeout = 2000 #default...OSD的情况下，可以对OSD进行compact操作，推荐在ceph 0.94.6以上版本，低于这个版本有bug。...#开启noout操作 $ ceph osd set noout #停OSD服务 $ systemctl stop ceph-osd@ #在ceph.conf中对应的[osd.id
OSD 的状态通过心跳检测的方式被集群确认，即拥有心跳的 OSD 被标记为 up，心跳停止的 OSD 则被标记为 down。...Monitor 统计下线 OSD。i. Monitor 收集来自 OSD 的伙伴失效报告。j. 当错误报告指向的 OSD 失效超过一定阈值，且有足够多的 OSD 报告其失效时，将该 OSD 下线。...OSD 故障检测集群通过一下三种方式检测OSD故障（下电）：OSD自主上报状态，优雅下电，Monitor 将 OSD 标记为 down。...OSD 如何选择伙伴 OSD？...主osd没有收到副osd的写完成应答，比如某个osd处于down状态stale主osd未在规定时间内向mon报告其pg状态，或者其它osd向mon报告该主osd无法通信inconsistentPG中存在某些对象的各个副本的数据不一致
massif-visualizer rpm -ivh massif-visualizer-0.4.0-6.fc23.x86_64.rpm --nodeps 不要漏了后面的nodeps 抓取ceph osd...运行时内存数据 停掉需要监控的osd（例如我的是osd.4） [root@lab8106 ~]# systemctl stop ceph-osd@4 开始运行监控 [root@lab8106 ~]# valgrind...-f --cluster ceph --id 4 --setuser ceph --setgroup ceph ==21522== ==21522== starting osd.4 at :/0...osd_data /var/lib/ceph/osd/ceph-4 /var/lib/ceph/osd/ceph-4/journal 2017-08-10 16:36:42.395682 a14d680...-1 osd.4 522 log_to_monitors {default=true} 监控已经开始了,在top下可以看到有这个进程运行，占用cpu还是比较高的，可能是要抓取很多数据的原因 ?
前言 之前写过一篇关于查询OSD的运行的CPU的情况的分享，本篇是讲的获取内存占用的，代码包括两种输出，一种是直接的表格，一种是可以方便解析的json 代码 直接上代码，python才用不久，所以可能代码实现比较低级...={} row = PrettyTable() row.header = True memlist = ["OSD\MEM"] memchose...['RSZ']= str(int(osd_runmemrsz)/1024)+"KB" osd_list[osdname] = vm_dic...\MEM | VIRT | RES | +---------+-------+------+ | osd.0 | 825KB | 43KB | | osd.1 | 826KB | 43KB...":"826KB","RSZ":"43KB"},"osd.0":{"VSZ":"825KB","RSZ":"43KB"}}}
OSD简介 OSD，on-screen display的简称，即屏幕菜单式调节方式。...基于FPGA的OSD设计与实现 1 Xilinx OSD IP功能 支持最多8个layer 背景颜色可编程 位置，大小，颜色，透明度（alpha）可编程 支持RGB和YUV视频流 2 硬件结构框图 硬件平台是基于...IP(OSD输入输出也是AXI4-Stream接口) 最后OSD输出数据流与1080P时序同时送入到AXI4-Stream to Video Out模块，输出为HDMI接口 ?...图1 下面小编会详细介绍OSD IP的例化与使用 3 OSD PL端 如果在使用OSD IP过程中出现如下错误，请在xilinx官网上申请OSD的License，这里不再详述如何申请License。...图8 运行一下，结果如图9所示，可以看到UART会打印OSD成功信息。 ? 图9 OSD 实例 闲话不说，上面经过了OSD example，小编也作为一个PS端初学者来玩一玩。
'ceph.osd_fsid': osd_fsid, #osd 的uuid，目前官方是通过ceph osd new UUID去创建OSD ID 'ceph.osd_id': self.osd_id...'1' #是否加密 dmcrypt_secret = None osd_id = osd_lv.tags['ceph.osd_id'] #获取osd id conf.cluster...= osd_lv.tags['ceph.cluster_name'] #获取集群名称 osd_fsid = osd_lv.tags['ceph.osd_fsid'] #获取ceph集群的fsid..., osd_lv.lv_path, osd_lv.lv_uuid) else: osd_lv_path = osd_lv.lv_path db_device_path =...for osd ID: %s" % osd_id) 小结一下流程 ?
这几天在给ceph增加OSD时候遇到一个故障，分享一下处理经验。...--keyring /var/lib/ceph/bootstrap-osd/ceph.keyring -i - osd new bd07ea2f-9e65-46e2-92b0-42ce1c9796f6...== ▸ caps mon = "allow profile bootstrap-osd" node2 | SUCCESS | rc=0 >> [client.bootstrap-osd] ▸.../dev/nvme0n1p7 --osd-data /var/lib/ceph/osd/ceph-19/ --osd-uuid 12221f9e-06ae-456a-9e47-2408de97ac6f...ceph-osd.target.wants/ceph-osd@19.service → /lib/systemd/system/ceph-osd@.service.
### 问题 ceph-osd上发现内存使用很严重，特别是cache的使用，巨大的内存使用如果不及时释放，加上swap很小，在遇到大文件读写时就会引发kernel oom，进而core文件写满所有根分区
问题 ceph-osd上发现内存使用很严重，特别是cache的使用，巨大的内存使用如果不及时释放，加上swap很小，在遇到大文件读写时就会引发kernel oom，进而core文件写满所有根分区 [root
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
