Ceph对象存储方案-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

Ceph对象存储方案

专栏成员

64

文章

154347

阅读量

87

订阅数

ProjFS新手开发总结

https 网络安全 windows c#

官方描述: Windows Projected File System (ProjFS) 允许名为“provider”的用户模式应用程序将备份数据存储中的分层数据投影到文件系统中，使其显示为文件系统中的文件和目录。例如，简单的提供程序可以将Windows注册表投影到文件系统中，使注册表项和值分别显示为文件和目录。更复杂的提供程序示例是用于虚拟化非常大的git存储库的VFS for Git。

2023-03-08

1.1K0

对象存储神器-rclone光速入门

https 网络安全

从下面的地址下载对应的二进制版本即可，之后安装在系统的/usr/local/bin目录下,或者其他用户指定的路径即可。二进制:https://rclone.org/downloads/ 源码:https://github.com/rclone/rclone

2022-05-09

2.7K0

在Windows上如何后台运行JuiceFS

windows https 网络安全 node.js c++

JuiceFS的Badger引擎改造完成以后，需要在Windows下面进行后台运行。因为现有的JuiceFS中还没有在Windows下的后台运行实现，所以需要通过其他途径解决。

2022-03-30

2.8K0

JuiceFS 集成Grafana性能监控

node.js http https github 网络安全

默认mount起来，会在客户端本地监听127.0.0.1:9567，这里修改了默认配置到127.0.0.1:9000,浏览器打开http://127.0.0.1:9000/metrics就能看到对应的数据

2022-01-24

7340

Ceph 自动化四大天王

自动化 https 网络安全分布式

每一个Ceph新手，都或多或少被文中提到的四大天(坑)王吊打过，或钢筋铁骨成为大神，或删库跑路沦为亡魂。因此有必要给大家早早普及一下这四大天王的手段，帮各位早脱苦海。本文建立在你已经基本了解Ceph的构架和基本原理，如果不熟悉的同学可以看下面内容

2021-12-04

1.3K1

JuiceFS 源码阅读-中

JuiceFS的锁实现，目前同时实现了BSD locks(对应Flock)和POSIX locks(对应Setlk)。细节上最大区别就是BSD locks只能以FD为最小控制单位(简单理解为单文件加锁,锁定的是文件描述符fd对应的文件)，而POSIX locks可以在一个文件中以文件的offset+length的方式进行加锁（按文件内容进行范围加锁）。

2021-08-12

9500

JuiceFS 源码阅读-上

数据结构对象存储存储缓存 node.js

最近研究文件系统，把近期比较火的JuiceFS代码翻出来看了一下，研究为啥其性能要比CephFS要好。

2021-07-20

2.2K0

Ceph 在 Windows平台下的支持

分布式 windows github https 虚拟化

整体构架来看还是比较简单，用户态还是基于librdb和librados，内核态通过实现WNDB.sys驱动，来实现块设备的远程映射。

2021-07-20

3K1

基于Librados的流量治理方案

分布式 rpc 网络安全

需要自己实现一套类似RGW的对象存储服务，解耦元数据存储到独立的数据库服务(如TiDB)，同时提供跨Ceph集群的数据读写能力，实现横向扩展和跨集群级别的容灾。

2021-05-13

5010

Ceph最新的EC-CLAY插件调研-下

3个机柜，每个机柜15台机器，总共45台，需要在RBD场景下，找到成本、性能、数据可靠性的三者平衡点。

2021-01-04

1.4K0

Ceph最新的EC-CLAY插件调研-上

编程算法数据迁移

Clay Codes ( Clay Codes: Moulding MDS Codes to Yield an MSR Code ) 是FAST18 上提出的一种编码方法，文章地址，Clay 码能够将一般的MDS 码（最优容错）转化为具有最优修复的编码方法，具有以下性质：

2020-12-18

1.4K0

cephfs扩容方案汇总

分布式 node.js 存储 kubernetes

建立完善的cephfs的扩容方案，满足cephfs用户数据存储空间在各种场景下的扩容需求。目前扩容只涉及到用户的数据存储，元数据部分因为空间使用率较低所以不需要考虑扩容。

2020-11-25

1.9K0

小文件合并方案分享

node.js https 网络安全存储编程算法

Facebook's Haystack design paper. https://www.usenix.org/legacy/event/osdi10/tech/full_papers/Beaver.pdf

2020-07-14

2.8K0

隔山打牛之-借助nginx解析rgw日志

nginx http html

知识tips:一般情况下每一个客户端发往RGW的HTTP请求都会在其header里面包含authorization这个字段，该字段中包含了用户的Access_key信息，但是AWS2和ASW4两种签名格式各不相同。背景:业务在访问RGW服务的时候会记录对应的log，对比nginx一类的专业产品，原生的RGW日志格式和内容都太过粗糙，如果去改动RGW代码虽然可以满足需求，但是后续格式变化又要批量更新RGW，对运维造成不便，而且从管理的角度来看这类改动收益较低。因此从充分解耦的思想出发，想借助nginx来实现日志格式的标准化管理，因此在RGW前端架设了一层nginx作为反向代理。但是原生的nginx日志是无法解析出每个HTTP请求的authorization字段的，因此有了这篇文章。

2020-02-25

1.2K0

RGW百亿级对象存储扩容方案

沿用现有的S3存储模型以及标准协议，将多个底层bucket(带权重)聚合成一个大的bigbucket，用户所有的操作都基于同一个bigbucket进行，不再需要进行bucket切换。

2019-12-26

2.4K0

ceph v12版本直升v14

一个RGW环境的更新，ceph 12.2.12升级到14.2.4流程，跳过中间的13版本。注意：升级很危险，操作需谨慎。升级没有后悔药，本人不承担任何因升级及相关操作导致的任何数据丢失风险。

2019-12-05

1.8K0

ceph admin keyring丢失fix

admin 部署服务

之前部署的环境未按标准操作，Mon服务起来了，但是未保存keyring，执行命令的时候提示keyring找不到，于是有了这篇文章。

2019-11-06

2.8K0

自建ceph yum源

yum 分布式网站

新手小白教程之如何在内网环境构建yum源准备好一台新安装好的CentOS7 机器，不要安装任何软件包。

2019-11-06

2.4K0

基于RGW的多媒体处理框架

kafka nginx http php 网站

基于RGW的多媒体处理框架背景业务需要在原有RGW的服务基础上加上对多媒体类资源的处理，比如图片resize、视频转码等。参考过多个厂家的设计，发现对方的多媒体类处理都是在URL里面加上query

2019-11-06

1.1K0

Ceph安全体系概览

http https api 网络安全安全

安全是整个存储必不可少的一环，但是很少有人能够比较全面的总结一下Ceph的安全体系，于是老司机在这里“鬼话连篇”。

2019-07-30

2.5K0

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态