ceph分布式存储学习指南

ceph是模块化和可扩展的，并且有容错设计。先进的分布式存储系统。 ceph凭借其高可扩展性、高可靠性、高性能的特点，逐渐成为openstack\cloudstack、opennebula等主流开源云平台后端存储的首选。可靠性、自平衡、自恢复、一致性 软件定义存储。 可以大幅降低企业存储基础设施的成本。 分布式、可大规模扩展，经济 虚拟平台KVM、VMWARE也支持ceph ceph存储介绍 ceph部署实战 ceph架构和组件 ceph内部构建 ceph部署 ceph存储配置 ceph操作及管理 监控ceph集群 ceph与openstack集成 ceph性能调优和基准测试 1、ceph是什么 ceph是一个开源项目，它提供软件定义的、统一的存储解决方案。ceph可大规模扩展、高性能并且无单点故障的分布式存储系统。容量可扩展至EB级别。1EB=1024PB

image.png

image.png

ceph以章鱼作为自己的吉祥物，表达了ceph跟章鱼一样的并行行为。 inktank公司为ceph提供专业服务和技术支持。 版本历史

image.png

image.png

image.png

块存储

image.png

cephFS

image.png

image.png

对象存储

image.png

image.png

ceph与其他工具的对比

ceph-deploy工具部署

ceph架构:ceph存储集群由几个不同的软件守护进程组成，每个守护进程负责ceph的一个独特功能并将值添加到相应的组件中。

image.png

RADOS：可靠、自动、分布式对象存储(Reliable Autonomic Distributed Object Store)，是ceph存储集群的基础。ceph中的一切都以对象的形式存储，而RADOS就负责存储这些对象，而不考虑它们的数据类型。RADOS确保数据一致性和可靠性。对于数据一致性，它执行数据复制、故障检测和恢复，还包括数据在集群节点间的迁移和再平衡。

image.png

MON监控健康状态：OSD，MON，PG，CRUSH。

image.png

librados提供接口

image.png

RBD块设备：支持快照和写时复制

image.png

RGW对象网关：支持S3和SWIFT

image.png

cephFS，MDS

image.png

自我管理，自我修复，自我计算

image.png

查看存储池：rados lspools

查看存储池的对象(metadata池的名字)：rados -p metadata ls

查看集群空间：rados df

OSD:::

image.png

文件系统

image.png

image.png

日志大小常见的是10GB，一个SSD做日志最多分给4到5个OSD

每个磁盘推荐1-2GB内存

查看单节点上的OSD：service ceph status osd

检查OSD的ID：ceph osd ls

检查OSD map和状态：ceph osd stat

ceph osd tree 树形图

ceph monitor:集群map包括monitor\osd\pg\crush\mds map

检查mon map:ceph mon dump

检查osd map:ceph osd dump

检查pg map:ceph pg dump

crush map: ceph osd crush dump

ceph mds dump

image.png

image.png

image.png

image.png

检查mon状态：service ceph status mon

ceph mon stat

ceph mon_status

ceph mon dump

librados:

一个本地的C语言库，可以直接和RADOS通信。

RBD驱动被集成到LINUX内核中

image.png

image.png

ceph与open'stack紧密集成：写时复制快照、克隆和可恢复的只读快照

image.png

cgw:是一个代理，可以将HTTP请求转换成RADOS，也可以把RADOS请求转换成HTTP，从而提供RESTful对象存储。radosgw

image.png

image.png

MDS

image.png

部署MDS：ceph-deploy mds create ceph-node2 CEPH FS

image.png

image.png

ceph构架及其核心组件、底层实现

对象：

一个对象用一个全局唯一的标识符标识，元数据和数据

image.png

ceph的池是一个用来存储对象的逻辑分区，它提供了一个有组织的存储形式。

默认存储池： rbd,如果配置了MDS，则还会创建data/metadata

列出所有池：rados lspools

列出池中的对象名称：rados -p metadata ls

CRUSH算法：Controlled Replication Under Scalable Hashing

image.png

客户端使用自己的资源来执行CRUSH查找。

一次读写操作

image.png

image.png

image.png

image.png

恢复和再平衡：

image.png

image.png

修改crush map: 提取：ceph osd getcrushmap -o crushmap.txt 反编译：crushtool -d crushmap.txt -o crushmap-decompile 打开/修改: vi crushmap-decompile 重新编译: crushtool -c crushmap-decompile -o crushmap-compiled 应用：ceph osd setcrushmap -i crushmap-compiled

ceph osd tree :查看层级结构 bucket：表示放设备的容器，可以包含多个设备或子类型的bucket device:设备，最基本的存储设备，也就是OSD，通常一个OSD对应一个磁盘存储设备 bucket类型：osd,host,chassis,rack,row,pdu,pod,room,datacenter,regin,root 11各等级 osd,主机，底盘，机架，一排机架，？，？，机房，数据中心，区域，根 修改bucket结构，例子：

image.png

PG：一组对象的逻辑集合

image.png

image.png

建议每个OSD上放置50-100各PG

PG总数计算公式 PG 总数= (OSD 总数x 100) /最大副本数 结果必须舍入到最接近2 的N 次幕的值。比如:如果C巳ph 集群有160 个OSD 且副本数是3 ，这样根据公式计算得到的PG 总数是5333.3 ，因此舍入这个值到最接近的2 的N 次幕的结果就是8192 个PG 。 我们还应该计算Ceph 集群中每一个池中的PG 总数。计算公式如下: PG 总数= ((OSD 总数x 100) /最大副本数) /池数 同样使用前面的例子: OSD 总数是160 ，副本数是3 ，池总数是3 。根据上面这个公式， 计算得到每个池的PG 总数应该是1777 . 7 ，最后舍入到2 的N 次幕得到结果为每个池2 048个PG 。

PGP 是为实现定位而设置的PG ，它的值应该与PG 的总数(即pg_num) 保持一致。 查看数量：ceph osd pool get data pg_num ceph osd pool get data pgp_num 检查池的副本数：ceph osd dump|grep -i size

规划PG数量

image.png

image.png

PG的peering、up集合和acting集合

image.png

image.png

一个池，一个CRUSH规则集

image.png

创建池： ceph osd pool create web-services 128 128 查看池列表：ceph osd lspools / rados lspools / ceph osd dump|grep -i pool 修改副本数：ceph osd pool set web-services size 3 重命名池：ceph osd pool rename web-services frontend-services 池的快照操作

image.png

删除池也会删除快照 ceph osd poo1 de1ete frontend-services frontend-services --yes-i-rea11y-rea11y-mean-it

PG数据管理

image.png

image.png

image.png

image.png

image.png

ceph monitor：单核2GB内存，硬盘可以大点存储日志，1G/S的网卡 OSD：1块物理硬盘1各OSD，1GHZCPU和2GB内存，硬盘？，独立日志盘，一个SSD做2-4各OSD日志盘

MDS需要4核或更高，更高RAM

纠删码：整个机制需要的耗OSD 节点更多的计算能力。此外，在恢复时， 解码数据块也需要大量的计算。 纠删码的概念：n=k+m

image.png

image.png

配置纠删码

image.png

image.png

image.png

image.png

image.png

image.png

ceph缓存层

image.png

image.png

部署缓存层

image.png

image.png

image.png

image.png

image.png

image.png

image.png

image.png

image.png

image.png

image.png

image.png

image.png

image.png

image.png

基准测试

image.png

image.png

image.png

image.png

image.png