腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

综合排序丨最热优先丨最新优先

Lustre分布式存储系统架构

Lustre系统架构系统组件描述系统组件联系

2023-02-26

1.3K0

标签:

分布式日志存储架构代码实践

上一篇，我们针对分布式日志存储方案设计做了一个理论上的分析与总结，文章地址[1]。本文我们将结合其中的一种方案进行实战代码的演示。架构模式通过上一篇的分析，我们大致总结出这样的一个架构设计，架构图如下： 1. 业务A、业务B、业务C和业务D表示我们实际的接口地址。当客户端发送请求时，直接的处理模块。也就是说将我们的日志存储到磁盘，以达到数据的持久化，避免数据丢失。 4. 对于系统的日志查看，我们可以直接登录MongoDB服务进行SQL查询。上面提到的是一个架构的大致流程图。下面将具体的代码演示，需要查看代码的可以通过Github仓库[3]地址获取。启动日志消费者启动日志消费者，保证一旦有日志，消费者能把日志实时存储到MongoDB中。同样的需要到logs目录下执行该命令。

2022-06-08

8470

标签:

云数据库 MongoDB

Kafka核心架构与分布式存储

二、分布式存储基石：HDFS架构深度剖析要理解现代中间件的数据分布逻辑，必须先解剖大数据存储基石HDFS的底层架构。此架构完美平衡了跨机架的网络传输开销与整个机架断电的灾备风险。三、Kafka物理架构与副本放置Kafka深度继承并改良了分布式存储的架构基因。在逻辑层，业务数据被分类为Topic主题。：主从与对等在分布式系统理论中，节点权力的架构分配存在两种截然不同的流派。 HDFS集群架构属于经典的Master-Slave模型，这种模型最大的架构级风险是什么？Kafka的Broker集群在承接外部并发流量时，体现了哪种分布式架构思想？七、解析题1解析答案：分布式事件流平台。详解：集流数据传输、存储和解耦于一体，是实时计算的核心数据枢纽。题2解析答案：页缓存（PageCache）。

2026-03-06

6000

标签:

利用YashanDB实现企业数据分布式存储架构

随着企业数据规模的爆发式增长，如何构建高效且稳定的分布式存储架构成为关键问题。传统单机数据库难以满足海量数据的存储和高并发访问需求。本文将基于YashanDB数据库系统，深入解析其分布式架构设计和核心技术，阐述如何构建高效的企业级分布式存储方案，以满足复杂业务场景的需求。 分布式部署分布式部署基于Shared-Nothing架构，增加了管理节点(MN)、协调节点(CN)和数据节点(DN)三类角色，分别负责元数据管理、SQL解析与分发以及数据持久化。结论随着企业数据规模不断扩大，实现高性能、高可用且安全的分布式存储架构成为必然趋势。未来，随着数据分析需求和实时处理能力的不断提升，基于YashanDB构建的分布式存储架构将持续发挥核心竞争力，推动企业数字化转型升级。

数据库砖家

2025-09-11

3970

标签:

微信 PaxosStore：大规模分布式存储架构

主要分享内容： PaxosStore设计；基于PaxosStore的存储案例。

2017-07-11

3.3K0

标签:

Ceph分布式存储系统架构研究综述

当时他发现元数据的查询和维护严重影响了 Lustre等分布式文件系统的性能和扩展性，因此设计了一种利用算法来确定数据与存储节点对应关系的方法 CRUSH。 Ceph存储系统的设计目标是提供高性能、高可扩展性、高可用的分布式存储服务。本文介绍Ceph 的集群架构、数据放置方法以及数据读写路径，并在此基础上分析其性能特点和瓶颈。集群架构 RADOS可提供高可靠、高性能和全分布式的对象存储服务。统一访问接口 RADOS提供了分布式对象存储能力，并在此基础上扩展了块存储和文件存储功能。RADOS中单个对象的大小根据配置文件指定（一般为４M）。LIBRADOS提供的库可以访问任意对象的内容。在分布式存储系统中，数据被分散在大量的存储服务器上，大部分分布式存储系统都直接使用本地文件系统来存储数据，如HDFS，Lustre等。

肉眼品世界

2021-07-13

1.3K0

标签:

YashanDB分布式存储架构的设计精髓解读

YashanDB 是一种分布式存储系统，设计精髓通常体现在以下几个关键方面：1. 分布式架构：YashanDB 采用分布式架构，将数据分散存储在多个节点上，增强了系统的可伸缩性和容错能力。数据一致性：在分布式环境中，保持数据一致性是一个重要挑战。YashanDB 可能采用强一致性或最终一致性的保证，确保在多副本情况下，数据的一致性和可用性。3. 数据分片：为提高存储和查询效率，YashanDB 支持数据分片，将数据划分为不同的逻辑部分，这样可以在多个节点之间平行处理请求。6. 多数据模型支持：YashanDB 可能支持多种数据模型（如键值存储、文档存储、图存储等），以适应不同应用的需求。通过上述设计精髓，YashanDB 努力在大规模分布式系统中提供高效、可靠和灵活的数据存储解决方案。对于具体的实现细节和技术特性，可以参考官方文档或相关论文以获得更深入的理解。

数据库砖家

2025-11-17

2390

标签:

深度剖析：Ceph分布式存储系统架构

一文带你彻底搞懂Ceph的架构奥秘，从小白到架构师的进阶之路！文章目录 1. Ceph简介：存储界的"多面手" 什么是Ceph？为什么选择Ceph？ 2. Ceph，这个名字听起来像是某种神秘的海洋生物（实际上确实来源于头足类动物），但它其实是一个统一的分布式存储系统。就像一个超级变形金刚，它能同时提供对象存储、块存储和文件存储三种服务。支持StatefulSet持久化容器镜像存储大数据平台 Hadoop生态： HDFS的替代方案支持MapReduce作业 Spark数据湖存储总结 Ceph作为新一代分布式存储系统，凭借其统一架构核心优势回顾： ✅ 统一存储：一套系统提供三种存储服务 ✅ 线性扩展：从TB到PB级别无缝扩展 ✅ 高可靠性：多副本机制保证数据安全 ✅ 无单点故障：分布式架构避免性能瓶颈 ✅ 开源免费：降低存储总拥有成本关键词：Ceph架构、分布式存储、CRUSH算法、高可用、性能优化、云存储

TechVision大咖圈

2025-07-15

7.1K0

标签:

分布式存储

深度剖析：Ceph分布式存储系统架构

一文带你彻底搞懂Ceph的架构奥秘，从小白到架构师的进阶之路！文章目录1. Ceph简介：存储界的”多面手”什么是Ceph？为什么选择Ceph？2. Ceph，这个名字听起来像是某种神秘的海洋生物（实际上确实来源于头足类动物），但它其实是一个统一的分布式存储系统。就像一个超级变形金刚，它能同时提供对象存储、块存储和文件存储三种服务。 - 支持StatefulSet持久化 - 容器镜像存储大数据平台Hadoop生态： - HDFS的替代方案 - 支持MapReduce作业 - Spark数据湖存储总结Ceph作为新一代分布式存储系统核心优势回顾： ✅ 统一存储：一套系统提供三种存储服务✅ 线性扩展：从TB到PB级别无缝扩展✅ 高可靠性：多副本机制保证数据安全✅ 无单点故障：分布式架构避免性能瓶颈✅ 开源免费：降低存储总拥有成本在这个数据爆炸的时代关键词：Ceph架构、分布式存储、CRUSH算法、高可用、性能优化、云存储

TechVision大咖圈

2025-07-10

2.6K1

标签:

分布式存储

分布式日志存储架构设计方案

本文是分布式日志存储系列的理论篇。也有实战篇，将会分享从0到1的整个过程，从0环境的搭建到真正的实践落地。 分布式部署(文件) 这里的分布式部署(文件)指的是，系统服务采用分布式部署时，日志存储还是采用文件存储。大致的逻辑图如下：优点这样的部署方案有什么好处，和上面提到的单节点部署一样。缺点在分布式部署中，还是同样的会遇到单节点部署所遇到的问题。不便于系统排查。当系统出现异常时，由于是分布式部署，我们不知道最终的日志存储在那一台服务器上，就需要挨个服务器的排查。 分布式部署(日志系统) 上面提到了分布式系统，使用文件存储日志的几个弊端。因此这里推出使用独立的日志系统，存储系统日志。 ELK存储 ELK是Elasticsearch+Logstash +Kibana 这种架构的简写。这是一种开源日志分析平台的架构。ELK是开源的，社区活跃，用户众多，这样的架构也得到广泛的使用。

2022-06-08

1.6K0

标签:

云数据库 MongoDB