腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

综合排序丨最热优先丨最新优先

底层存储协议介绍

在存储系统中，HDD 磁盘和早期 SSD 磁盘的传输协议一般采用AHCI（高级主机控制器接口，Advanced Host Controller Interface）。对于 HDD 这种慢速设备来说，主要瓶颈在存储设备，而非 AHCI协议。不同于 HDD 的顺序读写特点，SSD 可以同时从多个不同位置读取数据，具有高并发性。 AHCI 协议已经不能满足高性能和低延时 SSD 的需求，因此，存储系统迫切需要更快、更高效的协议和接口，NVMe（NVM Express）协议应运而生。在网络协议层，30 年来，存储网络都是以 SCSI（小型计算机系统接口，Small Computer System Interface）协议为基础框架，前端传输网络层一直以 FC（光纤通道，Fiber EqualLogic建立在虚拟化对等存储架构之上，为小型到大型组织简化和自动化数据存储。

2021-12-09

1.3K0

标签:

流计算 Oceanus

三大存储协议介绍与存储资源盘活系统

存储协议目前主流的有三种，AHCI、NVMe、SCSI。对于 HDD 这种慢速设备来说，主要瓶颈在存储设备，而非 AHCI协议。不同于 HDD 的顺序读写特点，SSD 可以同时从多个不同位置读取数据，具有高并发性。通俗点说SCSI协议就是一个存储设备与服务器之间接口通讯的一个规范。提到HBlock，一个更加普及的名字恐怕是存储资源盘活系统。存储资源盘活系统通过标准iSCSI协议提供虚拟Target和逻辑卷。它可以通过提高资源利用率，优化资源成本，助力企业用户实现绿色转型。因此，无论使用哪种存储协议，存储资源盘活系统都可以将各种服务器、空闲磁盘整合为统一高性能资源池，灵活调度、分配、使用、上云，打造无缝融入现有业务的存储系统。

2022-04-14

2K0

标签:

流计算 Oceanus

使用 HDFS 协议访问对象存储服务

腾讯云对象存储服务 COS 通过元数据加速功能，为上层计算业务提供了等效于 HDFS 协议的操作接口和操作性能。（一）什么是元数据加速器？存储桶在开启元数据加速功能后，可以广泛应用于大数据、高性能计算、机器学习、AI 等场景。有关元数据加速的详细介绍，请参考元数据加速器。（二）使用 HDFS 协议访问的优势是什么？当您使用 HDFS 协议访问时，推荐通过配置 HDFS 权限授权指定 VPC 内机器访问 COS 存储桶，以便获取和原生 HDFS 一致的权限体验。注意：fs.ofs.region 必须配置，该参数用于指定存储桶所在的 COS 地域，如ap-shanghai。 6、下载 HDFS 协议访问的客户端安装包，请确保安装包的版本在 2.7及其以上。 COS 大数据场景下，您可以参考如下步骤以 HDFS 协议访问开启元数据加速能力的存储桶： 1、在 core-stie.xml 中配置 HDFS 协议相关挂载点信息，如准备工作中所示； 2、Hive

2022-05-06

3.7K1

标签:

使用 HDFS 协议访问对象存储服务

腾讯云对象存储服务 COS 通过元数据加速功能，为上层计算业务提供了等效于 HDFS 协议的操作接口和操作性能。（一）什么是元数据加速器？（二）使用 HDFS 协议访问的优势是什么？以往基于对象存储 COS 的大数据访问主要采用 Hadoop-COS 工具来访问。如果是第一次创建元数据加速存储桶，则需要按照提示进行相应的授权操作，点击授权完成后，将自动开启 HDFS 协议，并且看到默认的 Bucket 挂载点信息，如下图所示：说明：如果提示未找到对应的 HDFS 当您使用 HDFS 协议访问时，推荐通过配置 HDFS 权限授权指定 VPC 内机器访问 COS 存储桶，以便获取和原生 HDFS 一致的权限体验。，明确文件和目录是否一致，例如：通过 HDFS 协议访问 COS 大数据场景下，您可以参考如下步骤以 HDFS 协议访问开启元数据加速能力的存储桶： 1、在 core-stie.xml 中配置 HDFS

2022-05-07

2.3K0

标签:

重新理解RocketMQ Commit Log存储协议

main/java/org/apache/rocketmq/store/CommitLog.java#L676-L722 append加锁我们看到Commit Log文件中有很多个消息，按照既定的协议存储的 Commit Log存储协议关于Commit Log存储协议，我们问了下ChatGPT，它是这么回复我的，虽然不对，但是这个回复格式和说明已经非常接近答案了。我整理后，如下图：我理解的Commit Log存储协议说明1：我整理后的消息协议编号和代码中不是一致的，代码中只是标明了顺序，真实物理文件中的存储协议会更详细。用Golang解开RocketMQ Commit Log RocketMQ是用java写的，根据上文描述的存储协议，我用Golang编写了一个工具，可以解开Commit Log和Cosumer Queue 讨论说明：由于RocketMQ一些版本可能有差异，本文在4.9.3版本下讨论，大家可以参考这个方法，解开5.0甚至其他版本，其他数据文件的存储协议格式。

腾讯云中间件团队

2023-05-19

4800

标签:

重新理解RocketMQ Commit Log存储协议

main/java/org/apache/rocketmq/store/CommitLog.java#L676-L722 append加锁我们看到Commit Log文件中有很多个消息，按照既定的协议存储的 Commit Log存储协议关于Commit Log存储协议，我们问了下ChatGPT，它是这么回复我的，虽然不对，但是这个回复格式和说明已经非常接近答案了。 rocketmq-all-4.9.3/store/src/main/java/org/apache/rocketmq/store/CommitLog.java#L1547-L1587 Commit Log存储协议我整理后，如下图；我理解的Commit Log存储协议说明1：我整理后的消息协议编号和代码中不是一致的，代码中只是标明了顺序，真实物理文件中的存储协议会更详细。用Golang解开RocketMQ Commit Log RocketMQ是用java写的，根据上文描述的存储协议，我用Golang编写了一个工具，可以解开Commit Log和Cosumer Queue

2023-10-08

5700

标签:

重新理解RocketMQ Commit Log存储协议

store/src/main/java/org/apache/rocketmq/store/CommitLog.java#L676-L722图片我们看到Commit Log文件中有很多个消息，按照既定的协议存储的 Commit Log存储协议关于Commit Log存储协议，我们问了下ChatGPT，它是这么回复我的，虽然不对，但是这个回复格式和说明已经非常接近答案了。，代码中只是标明了顺序，真实物理文件中的存储协议会更详细。用Golang解开RocketMQ Commit LogRocketMQ是用java写的，根据上文描述的存储协议，我用Golang编写了一个工具，可以解开Commit Log和Cosumer Queue 图片讨论说明：由于RocketMQ一些版本可能有差异，本文在4.9.3版本下讨论，大家可以参考这个方法，解开5.0甚至其他版本，其他数据文件的存储协议格式。

2023-04-06

5.8K1

标签:

消息队列 RocketMQ 版

分布式存储协议靠谱吗？分布式存储协议会被国家禁止吗？

分布式存储热度越来越高，吸引了许多投资者的目光，得到了广泛的关注和肯定。不少投资者想要布局分布式存储，但是对这个技术了解不够深入，不知道分布式存储协议靠谱吗？分布式存储协议会被国家禁止吗？分布式存储协议靠谱吗？ 2021年4月22日到23日华为在杭州举办《数据存储用户精英论坛-分布式存储协议分布式存储分论坛》，全面发力分布式存储协议&星际文件系统分布式存储行业。并且早在2020年，华为就开始布局分布式存储协议&星际文件系统分布式存储行业。 2021年4月23日在成都举办《2021数御未来-2021数据与存储产业峰会》，全球最大的信息技术和业务解决方案公司IBM开始布局分布式存储协议&星际文件系统分布式存储，这是继华为、阿里、联想、戴尔、浪潮等布局分布式存储协议此前，复旦大学成立分布式存储协议系统研究院&分布式存储协议课题研发小组。并且北京、上海、苏州等地方政府出台多项政策，扶持区块链产业发展，加快区块链人才培养和引进。

2021-05-06

1.5K1

标签:

去中心化存储协议是否能取代中心化云存储？

什么是去中心化存储协议去中心化存储协议是基于区块链技术，引入了通证经济模型的生态激励体系，来实现数据分布式、分片式存储在多个网络节点上。基于区块链搭建的云存储协议具备区块链去中心化、分散以及加密存储的特性，构建了一个可靠的、分散的数据存储机制。在去中心化存储协议中，所有数据块都会经过验证。四个去中心化存储协议项目的对比及数据表现去中心化存储协议都基于区块链技术建立的，支持分散的、信任最小化的、抗审查的数据存储。总体上，目前去中心化存储协议发展还相对缓慢。 Footprint Analytics: Filecoin 市值稳占去中心化存储协议第一把交椅总结去中心化存储协议，是云存储的一个有效补充。在各国政策以及市场共识不一的前提下，中心化存储协议依旧会是目前主流的存储方式。

2021-12-23

1.2K0

标签:

IPFS 分布式存储协议分析与思考

概述我们日常使用网盘或其他服务时大多都是访问文件所在的特定的服务器（IP 地址），请求文件并下载到本地，通过的是 HTTP 协议，本质上是基于位置寻址的，访问 URL 来得到一层层找到具体的文件，这种方式固然便捷试想我们把文件存储在一个分布式网络里，每个节点都可以存储文件，用户可以通过访问一个类似目录索引的方式来向最近的节点互相请求文件。这就是 IPFS 星际文件系统的解决思路，它是一个点对点的超媒体文件存储、索引、交换协议，由 Juan Benet 在 2014 年 5 月发起。如果这个文件是自己刚在本地节点通过add命令添加的话就会通过这种方式被上传到 IPFS 网络上），在swarm网络中通过DHT Routing获取到数据后，网关会自己先缓存一份，然后将数据通过 HTTP 协议发给我们总结以上就是对 IPFS 分布式存储原理的梳理，它的组件、存储流程细节、GC 机制、数据交换模块 Bitswap、网络以及实际应用场景都有很多值得深入挖掘的部分。

2023-04-11

1.5K1

标签:

分布式存储