Ceph Cookbook 中文版

1、ceph介绍、ceph块存储、ceph对象存储、ceph文件系统、用Calamari监控Ceph、操作和管理ceph集群、深入ceph、ceph生产计划和性能调优、ceph虚拟存储管理器、ceph扩展 2、架构： Ceph monitor：监控器 OSD:Ceph对象存储设备 MDS:Ceph元数据服务器 RADOS：负责保存存储对象 librados:为其他编程语言提供RADOS的接口 RBD：RADOS块设备 RGW:RADOS网关接口 CephFS:文件系统 解决方案：

image.png

3、提供三种形式的存储格式：块、文件系统、对象存储 4、有分层特性的镜像只支持format-2类型，而默认是format-1类型的镜像 分层特性COW，父镜像是可以删除的 5、块存储，直接挂载 6、对象存储，程序直接调用

image.png

RGW建议在负载均衡之前

image.png

7、通过S3访问对象存储，通过swift访问对象存储

8、联合ra'dosgw，多区域网关

image.png

image.png

image.png

9、ceph文件系统，cephFS通过libcephfs库直接与RADOS集群交互：MDS

访问ceph文件系统的方法：1、ceph FUSE 2、2.6以上linux内核 3、NFS Ganesha

10、window系统通过ceph-dokan来挂载ceph文件系统

11、监控Calamari

ceph -w 查看集群信息

ceph df 查看集群存储使用情况 ceph -s /status 查看集群状态 ceph auth list 获取认证信息 ceph mon stat 集群mon状态 ceph quorum_status -f json-pretty 查看集群仲裁信息 ceph osd tree 查看osd状态 ceph osd dump 查看osd详细信息 ceph osd find xx 查找 查看pg的状态 ceph pg stat ceph pg dump -f json_pretty ceph pg 2.7d query 查看特定pg的状态 11、查看MDS ceph fs ls ceph mds stat ceph mds dump 12、安装统一监控软件calamari 13、启动所有 /etc/init.d/ceph -a start /etc/init.d/ceph -a start mon /etc/init.d/ceph -a start osd /etc/init.d/ceph -a start mds /etc/init.d/ceph -a start ceph-radosgw 14、扩展节点、缩小节点、升级 15、

image.png

16、CRUSH算法：客户端根据需要计算数据被写到哪里，从哪里读数据

image.png

反编译CRUSH MAP

image.png

Device osd

bucket types

image.png

自定义bucket类型

image.png

image.png

image.png

image.png

image.png

image.png

cephx验证

image.png

image.png

image.png

image.png

image.png

image.png

image.png

image.png

image.png

ob --- pg ----osd--pool

image.png

image.png

pg的状态

image.png

image.png

image.png

~~创建存储池

一个OSD，单核或以上足够

image.png

一个OSD，2GB内存，如果物理硬盘多或大容量，增加内存 10G,20G SSD做日志盘

image.png

global----- max open files

image.png

osd pool default min size

image.png

pg数量,osd 100PG

image.png

image.png

日志

image.png

monitor----

image.png

image.png

osd---

image.png

image.png

image.png

image.png

osd日志设置

image.png

image.png

osd filestore

image.png

image.png

image.png

osd recocery

image.png

osd backfilling

image.png

osd scrubbing

image.png

image.png

client---

image.png

image.png

操作系统调优

image.png

image.png

image.png

image.png

image.png

image.png

纠删码

image.png

image.png

image.png

用VSM来管理ceph