社区首页 >专栏 >ceph分布式存储学习指南

ceph分布式存储学习指南

用户5760343

发布于 2022-05-14 06:57:19

7000

文章被收录于专栏：sktjsktj

ceph是模块化和可扩展的，并且有容错设计。先进的分布式存储系统。 ceph凭借其高可扩展性、高可靠性、高性能的特点，逐渐成为openstack\cloudstack、opennebula等主流开源云平台后端存储的首选。可靠性、自平衡、自恢复、一致性软件定义存储。可以大幅降低企业存储基础设施的成本。分布式、可大规模扩展，经济虚拟平台KVM、VMWARE也支持ceph ceph存储介绍 ceph部署实战 ceph架构和组件 ceph内部构建 ceph部署 ceph存储配置 ceph操作及管理监控ceph集群 ceph与openstack集成 ceph性能调优和基准测试 1、ceph是什么 ceph是一个开源项目，它提供软件定义的、统一的存储解决方案。ceph可大规模扩展、高性能并且无单点故障的分布式存储系统。容量可扩展至EB级别。1EB=1024PB

image.png

image.png

ceph以章鱼作为自己的吉祥物，表达了ceph跟章鱼一样的并行行为。 inktank公司为ceph提供专业服务和技术支持。版本历史

image.png

image.png

image.png

块存储

image.png

cephFS

image.png

image.png

对象存储

image.png

image.png

ceph与其他工具的对比

ceph-deploy工具部署

ceph架构:ceph存储集群由几个不同的软件守护进程组成，每个守护进程负责ceph的一个独特功能并将值添加到相应的组件中。

image.png

RADOS：可靠、自动、分布式对象存储(Reliable Autonomic Distributed Object Store)，是ceph存储集群的基础。ceph中的一切都以对象的形式存储，而RADOS就负责存储这些对象，而不考虑它们的数据类型。RADOS确保数据一致性和可靠性。对于数据一致性，它执行数据复制、故障检测和恢复，还包括数据在集群节点间的迁移和再平衡。

image.png

MON监控健康状态：OSD，MON，PG，CRUSH。

image.png

librados提供接口

image.png

RBD块设备：支持快照和写时复制

image.png

RGW对象网关：支持S3和SWIFT

image.png

cephFS，MDS

image.png

自我管理，自我修复，自我计算

image.png

查看存储池：rados lspools

查看存储池的对象(metadata池的名字)：rados -p metadata ls

查看集群空间：rados df

OSD:::

image.png

文件系统

image.png

image.png

日志大小常见的是10GB，一个SSD做日志最多分给4到5个OSD

每个磁盘推荐1-2GB内存

查看单节点上的OSD：service ceph status osd

检查OSD的ID：ceph osd ls

检查OSD map和状态：ceph osd stat

ceph osd tree 树形图

ceph monitor:集群map包括monitor\osd\pg\crush\mds map

检查mon map:ceph mon dump

检查osd map:ceph osd dump

检查pg map:ceph pg dump

crush map: ceph osd crush dump

ceph mds dump

image.png

image.png

image.png

image.png

检查mon状态：service ceph status mon

ceph mon stat

ceph mon_status

ceph mon dump

librados:

一个本地的C语言库，可以直接和RADOS通信。

RBD驱动被集成到LINUX内核中

image.png

image.png

ceph与open'stack紧密集成：写时复制快照、克隆和可恢复的只读快照

image.png

cgw:是一个代理，可以将HTTP请求转换成RADOS，也可以把RADOS请求转换成HTTP，从而提供RESTful对象存储。radosgw

image.png

image.png

MDS

image.png

部署MDS：ceph-deploy mds create ceph-node2 CEPH FS

image.png

image.png

ceph构架及其核心组件、底层实现

对象：

一个对象用一个全局唯一的标识符标识，元数据和数据

image.png

ceph的池是一个用来存储对象的逻辑分区，它提供了一个有组织的存储形式。

默认存储池： rbd,如果配置了MDS，则还会创建data/metadata

列出所有池：rados lspools

列出池中的对象名称：rados -p metadata ls

CRUSH算法：Controlled Replication Under Scalable Hashing

image.png

客户端使用自己的资源来执行CRUSH查找。

一次读写操作

image.png

image.png

image.png

image.png

恢复和再平衡：

image.png

image.png

修改crush map: 提取：ceph osd getcrushmap -o crushmap.txt 反编译：crushtool -d crushmap.txt -o crushmap-decompile 打开/修改: vi crushmap-decompile 重新编译: crushtool -c crushmap-decompile -o crushmap-compiled 应用：ceph osd setcrushmap -i crushmap-compiled

ceph osd tree :查看层级结构 bucket：表示放设备的容器，可以包含多个设备或子类型的bucket device:设备，最基本的存储设备，也就是OSD，通常一个OSD对应一个磁盘存储设备 bucket类型：osd,host,chassis,rack,row,pdu,pod,room,datacenter,regin,root 11各等级 osd,主机，底盘，机架，一排机架，？，？，机房，数据中心，区域，根修改bucket结构，例子：

image.png

PG：一组对象的逻辑集合

image.png

image.png

建议每个OSD上放置50-100各PG

PG总数计算公式 PG 总数= (OSD 总数x 100) /最大副本数结果必须舍入到最接近2 的N 次幕的值。比如:如果C巳ph 集群有160 个OSD 且副本数是3 ，这样根据公式计算得到的PG 总数是5333.3 ，因此舍入这个值到最接近的2 的N 次幕的结果就是8192 个PG 。我们还应该计算Ceph 集群中每一个池中的PG 总数。计算公式如下: PG 总数= ((OSD 总数x 100) /最大副本数) /池数同样使用前面的例子: OSD 总数是160 ，副本数是3 ，池总数是3 。根据上面这个公式，计算得到每个池的PG 总数应该是1777 . 7 ，最后舍入到2 的N 次幕得到结果为每个池2 048个PG 。

PGP 是为实现定位而设置的PG ，它的值应该与PG 的总数(即pg_num) 保持一致。查看数量：ceph osd pool get data pg_num ceph osd pool get data pgp_num 检查池的副本数：ceph osd dump|grep -i size

规划PG数量

image.png

image.png

PG的peering、up集合和acting集合

image.png

image.png

一个池，一个CRUSH规则集

image.png

创建池： ceph osd pool create web-services 128 128 查看池列表：ceph osd lspools / rados lspools / ceph osd dump|grep -i pool 修改副本数：ceph osd pool set web-services size 3 重命名池：ceph osd pool rename web-services frontend-services 池的快照操作