云存储技术 - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

云存储成本自动优化技术解析

云存储优化初创公司获2000万美元种子轮融资自主云存储优化初创公司Datafy宣布完成2000万美元种子轮融资，并表示已准备好帮助企业实现大幅成本节约。本轮融资由知名投资机构领投，多家机构参与投资。...核心技术架构Datafy开发了自主存储优化引擎，声称可将企业云存储成本降低高达50%，且无需客户过多操作。该技术目前兼容某中心的云存储环境。客户只需将其连接到存储环境并选择需要优化成本的存储卷即可。...我们正在重建存储基础设施层，以全自动方式执行用户无法自行完成的操作，且不会造成任何中断或停机。”技术实现原理该平台基于零停机自动扩展引擎，结合专有传感器技术持续监控存储消耗。...未来发展计划本轮融资将帮助Datafy拓展美国市场，开发更有效的存储优化工具，并扩大其合作伙伴生态系统。投资机构代表认为，Datafy采用了“深度技术方法”，与云存储优化领域的其他公司截然不同。...“与其他仅在运营层面帮助客户节省云成本的公司不同，Datafy为最苛刻、最复杂的云存储用户开发了产品。”

1281 0

云存储硬核技术内幕——(35)

常见的Ceph RBD和腾讯云的CBS驱动就是这种工作方式，在虚拟机中可以看到存储卷/dev/vd*，就是Frondend驱动识别出来的虚拟卷设备；硬件虚拟化，让PCIe设备支持SR-IOV，虚拟化为多个设备...，这种工作方式常见于网卡(NIC)，对于存储设备很少见。...我们刚才提到，在KVM虚拟出的虚拟机中，挂载的云存储卷的设备名一般为vd*, 如vda, vdb, vdc... 而挂载在本地的硬盘设备名一般为sda, sdb......SPDK在后端通过轮询机制，读取Frontend驱动向队列中写入的SCSi命令字，并且利用零拷贝技术消除VirtIO的性能卡点。...对于分布式块存储的场景，有没有好的办法让虚拟机访问远端云盘也取得同样的加速效果呢？请看下回分解。

1.2K2 0

您找到你想要的搜索结果了吗？

是的

没有找到

【云存储前沿技术报告】-25.5

全文概览本报告旨在为云计算专业人士提供一份关于全球领先及中国主要云服务提供商在云存储领域的最新产品和技术进展的深度分析。...云存储创新的主要市场驱动力当前，云存储技术的革新浪潮受到多种宏观因素的强力驱动。...数据的爆炸式增长、人工智能（AI）与机器学习（ML）工作负载的激增、对数据管理与安全性的更高要求，以及持续存在的成本优化和性能提升需求，共同塑造了云存储技术的发展方向。...Dave's ponit 手动去阿里云的技术文档看了下，5月份围绕存储服务的技术更新确实不多，另外，惊奇的发现：阿里云的基础存储服务中，已经剔除块存储服务，从官网搜索结果来看，是将块存储融入到云服务器模块...云存储产品技术进展 Notice：Human's prompt, Datasets by Gemini-2.5 Pro-DeepResearch

7971 0

腾讯云弹性块存储技术解密

[1501466823180_1478_1501466824713.jpg] 作者介绍：Yh， 2010年加入腾讯，有12年的存储经验，在弹性块存储技术方面经验丰富，本文将其在TEG TALK上的分享内容进行整理...，干货满满，内容包含腾讯云云硬盘产品（CBS）的后台系统的演进历程、核心技术以及大道至简的方法论。...用户只需要在腾讯云上购买一台云主机，就可以方便的使用腾讯云硬盘。如何实现云硬盘（弹性块存储）系统？...它由接入系统和存储系统两个分布式集群组成；而腾讯云硬盘是个存储系统，接入是为了支撑存储的存在而存在的。...Chunk，提供3副本存储的存储引擎。 Master，总控节点，多机互备提供高可用性。两层架构的CBS3.0的技术难题？一、数据组织：数据按什么样的数据结构存在后台分布式系统中。

15.3K3 2

云存储硬核技术内幕——(10)

在前几期，我们提到了，在云计算时代，由于对存储IO及吞吐的要求迅速增加，传统SAN存储难以满足需求，基于标准x86节点的分布式存储成为了主流。开源分布式存储的代表是Ceph。...Ceph本质上是对象存储(后面会讲到)，以image的形式提供RBD块，在KVM的QEMU中安装RBD块驱动，将RBD块直接挂载给虚拟机。...出于这点考虑，工程师们在服务器上安装了两块硬盘，通过RAID卡，让来自系统的IO被复制到两块硬盘，令两块硬盘存储的内容完全一致。当一块硬盘损坏或被意外拔出时，另一块硬盘还能够读出完整的数据。...这种冗余技术叫做RAID-0。但是，RAID-0有一个致命缺陷：在用新的硬盘替换掉损坏的硬盘的时候，需要将好的那块硬盘内容完全复制一份到新的硬盘，这个过程叫重构，将持续几个小时。...因此，在分布式存储中，通常使用多副本机制，最常见的是三副本：如图，PG落到主OSD后，主OSD所在的Node会将内容复制到另外两个副本对应的OSD节点，并最终落盘。

9372 0

云存储硬核技术内幕——开篇

然而，由于大家不可能实时监测到群里所有图片，因此，大家打算众筹开发一个小程序，利用机器视觉（CV）来识别偶像和呕像，并委托方老师搞定运行小程序的云资源。...X博：“若想训练电脑识别人脸，需要多给神经网络喂素材……” 原来，CV训练的过程，需要GPU集群做以下的事情：读取海量的图片素材；将训练的模型持久化存储；回到1，迭代模型；最后，将识别出的江疏影和方方的结果存放在结构化的数据库中...显而易见地，在云上运行这个应用，需要云提供以下的存储资源： 1、可高效访问海量的图片的存储； 2、可快速迭代的神经网络权重模型的持久化存储； 3、高性能随机读写的数据库存储；那么，用什么样的存储技术...让我们开启新的专题——云存储硬核技术内幕。

6531 0

云存储硬核技术内幕——(21)

上回说到，勤劳勇敢的中国人民，受到《康熙字典》中古老的智慧启发，在对象存储中引入了索引，帮助“觅影”产品快速地从对象存储中筛选出了带有covid-19和Sternum这两个标签的影像用于深度学习。...我们在上期提到，对象存储的metadata，实际上就是key-value的键值对形式的数据。让我们举一个栗子。 Johnny同学搞到了一本《金瓶梅》，打算把它保存在对象存储里面。...实际上，绝大部分IaaS云服务提供商实现的对象存储，都包括了类似的查询与索引功能。...以腾讯云的COS (Cloud Object Storage)为例，可以设定用户自定义的x-cos-meta-[自定义后缀]，来存储用户自行设定的metadata，并可以通过sql等方式查询metadata...当然，如果我们想把对象存储用于生产业务，仅仅提供基于http的RestAPI、一致性哈希、查询与存储功能，还是不够的。请看下回分解。

1.8K4 0

HarmonyOS5云服务技术分享--云存储指南

今天咱们来聊一聊HarmonyOS云存储的实战玩法，手把手教你实现文件上传、下载、元数据操作等核心功能。无需官方文档的严肃感，咱们用最接地气的方式搞懂这些API怎么用！...（文末附完整代码示例）一、云存储功能速览HarmonyOS云存储就像个随身U盘，能帮咱们把应用数据安全存到云端。特别适合处理用户头像、游戏存档、音视频文件等场景。...创建云存储实例const storage = new Storage();// 3....、文件元数据高级玩法云存储支持给文件添加"身份证信息"：设置元数据（比如设置缓存策略）：await storage.setMetaData({ cloudPath: "user_uploads...如果在实际开发中遇到问题，欢迎到华为开发者社区发帖讨论（记得带上#HarmonyOS云存储#标签），也可以直接@我交流哦！祝各位开发顺利，咱们下期再见！

4301 0

腾讯云对象存储试用方案技术指南

摘要本文旨在为技术架构师提供一个关于腾讯云对象存储（COS）的试用方案的技术指南，包括技术解析、操作指南和增强方案。...通过此指南，读者可以快速理解对象存储的核心、价值实施挑战，并掌握使用腾讯云对象存储的具体步骤，以及如何通过腾讯云产品特性优化性能和成本。 1....技术解析核心价值与典型场景：腾讯云对象存储（COS）是一种无服务器、高性能、高可靠性的存储服务，适用于大数据处理、移动应用、网站托管等多种场景。...步骤4：性能优化原理说明：通过选择合适的存储类型和数据冗余策略，可以优化性能和成本。操作示例：使用腾讯云COS的智能分层存储，根据访问频率自动调整数据存储层级，以优化性能和成本。...通过本文的技术指南，技术架构师可以快速掌握腾讯云对象存储的试用方案，并利用腾讯云产品特性优化性能和成本。

4191 0

云存储硬核技术内幕——小结(中)

先回答在《云存储硬核技术内幕——小结(上)》最后留下的三个问题： Q1、对于大量的小文件的存储，使用什么样的方案合适？ A1、可以利用对象存储的热数据存储解决，使用三副本甚至五副本保证性能。...在这段时间里，我们小结了云存储的基本知识、块存储和对象存储的基本实现，以及如何让块存储和对象存储为云计算的基本单位——虚拟机，提供存储服务。...在云计算时代，由于需要访问存储的计算节点迅速增加，传统的FC网络扩展性能有限，同时，集中式存储控制器也难以应对无限扩展的计算节点的IO请求，因此，需要构建分布式的存储系统，利用分布式的存储节点扛住海量的并发存储请求...因此，各大云运营商在借鉴Ceph的基础上，都自行开发了分布式存储引擎，如腾讯云的CBS等，通过控制集群规模及引入云原生仲裁等手段实现高可靠的块存储集群。...云对象存储(Cloud Object Storage)就是完美适应这一场景的存储服务产品。对象存储的访问方式是HTTP。

6572 0

云存储硬核技术内幕——小结(下)

在这段时间里，我们小结了云存储的基本知识、块存储和对象存储的基本实现，以及如何让块存储和对象存储为云计算的基本单位——虚拟机，提供存储服务。...因此，各大云运营商在借鉴Ceph的基础上，都自行开发了分布式存储引擎，如腾讯云的CBS等，通过控制集群规模及引入云原生仲裁等手段实现高可靠的块存储集群。...云对象存储(Cloud Object Storage)就是完美适应这一场景的存储服务产品。对象存储的访问方式是HTTP。...操作需要从用户态切换到内核态，造成昂贵的CPU时间用在等待中，Intel发布了SPDK (Storage Performance Develop Kit)，以类似DPDK的机制，提供用户态驱动，轮询机制，内存零拷贝技术等机制...而在远端的分布式存储上，工程师们又利用NVMe Over Fabric技术，特别是NVMe Over RoCE的实现，将NVMe盘的性能发挥到极致。

8732 0

云存储硬核技术内幕——小结(上)

在前段时间，我们介绍了云存储的基本知识和Ceph的实现，在这里做一个小结：在云计算时代，由于需要访问存储的计算节点迅速增加，传统的FC网络扩展性能有限，同时，集中式存储控制器也难以应对无限扩展的计算节点的...最常见的分布式存储系统是Ceph。Ceph可以提供块存储、文件存储和对象存储三种服务方式。传统的块存储，客户端(initiator)与服务器端(target)通过TCP协议通讯。...前期链接在这里：云存储硬核技术内幕——开篇云存储硬核技术内幕——(1) 马克思主义存储社会发展极简史 (上) 云存储硬核技术内幕——(2) 马克思主义存储社会发展极简史 (中) 云存储硬核技术内幕...——(3) 马克思主义存储社会发展极简史 (下) 云存储硬核技术内幕——(4) 记忆的行囊云存储硬核技术内幕——(5) 七月上，不负勇往云存储硬核技术内幕——(6) 面壁十年邃密群科云存储硬核技术内幕...——(7) 正趣果上果云存储硬核技术内幕——(8) 只缘身在此山中云存储硬核技术内幕——(9) 相见时难别亦难云存储硬核技术内幕——(10) 大叔的迷惑行为云存储硬核技术内幕——(11) 女子会所的秘密

1.2K1 0

云存储技术首次全景展现，7大技术趋势解读

首先，本书立体地展示了云存储的技术、产品和业务，既详实地阐述了存储关键技术和关键组件，也介绍了多种类型的云存储产品，以及云存储的典型行业和场景应用的解决方案。...专家亲笔书评本书系统地讲解了与存储相关的技术体系和技术细节，以及阿里云存储的关键技术与组件，还对云存储的未来进行了展望。...——孙凝晖中国工程院院士，中国科学院计算技术研究所研究员本书并不是一本仅讲述阿里云存储技术细节的书，它还对云存储技术的发展有着总体把握和深刻思考。...其中对数字经济底层范式和云存储技术脉络的梳理，对数据“引力效应”的描述，对数据价值的分析，以及对云存储技术未来走向的分析等内容，都会给读者带来启发和思考。...希望此书能帮助读者更好地了解和把握云存储的发展历程和未来趋势，同时感知阿里云存储技术发展背后蕴藏的重大意义。

8712 0

腾讯云对象存储服务价格对比技术指南

摘要本文旨在解析对象存储技术的核心价值，并提供基于腾讯云对象存储服务的操作指南。...通过对比通用方案与腾讯云方案，展示其在价格、性能及可靠性方面的优势，并通过场景化案例进一步说明腾讯云对象存储服务的实际应用。 1....技术解析核心价值与典型场景：对象存储是一种无限制、可扩展的存储解决方案，适用于存储非结构化数据，如图片、视频、日志等。其核心价值在于高可靠性、弹性扩展和成本效益。...腾讯云存储服务提供高I/O性能和低延迟可靠性较低高腾讯云提供99.99999999%的数据持久性保证场景化案例：来源：IDC报告案例：某电商企业在大促期间使用腾讯云对象存储服务...通过本文的技术指南，用户可以深入了解对象存储技术，并利用腾讯云产品实现高效、低成本的数据存储解决方案。

3470 0

腾讯云对象存储技术指南与增强方案

摘要：本文旨在为资深技术架构师提供关于腾讯云对象存储（COS）的技术解析、操作指南和增强方案。...通过本文，读者将了解对象存储的核心价值、实施中的挑战、详细实施步骤，并对比通用方案与腾讯云方案的差异，以及腾讯云方案的优势。 1....技术解析核心价值与典型场景：对象存储是一种高度可扩展的存储解决方案，适用于存储和管理大量非结构化数据，如图片、视频、日志文件等。它的核心价值在于其高可靠性、低成本和易于管理。...产品特性：腾讯云COS集成了云监控服务，方便实时监控存储状态。 3....通过本文的技术指南，架构师可以深入了解对象存储的实施细节，并利用腾讯云产品的特性来优化和增强存储解决方案。

3051 0

利用腾讯云对象存储免费申请技术指南

摘要：本文将深入解析腾讯云对象存储（COS）的核心价值、典型应用场景、实施挑战及操作指南。同时，将对比通用对象存储方案与腾讯云方案，展示腾讯云产品在性能、成本等方面的优势，并提供场景化案例。...技术解析核心价值与典型场景腾讯云对象存储（COS）是一种高可靠、低成本、大容量的存储服务。它支持静态网站托管、大数据分析、即时数据备份等场景，特别适用于需要海量数据存储和高并发访问的应用。...数据迁移成本：从传统存储迁移到云存储可能会遇到数据迁移工具选择和迁移时间的问题。操作指南实施流程注册腾讯云账号：访问腾讯云官网，注册并完成实名认证。...创建存储桶：原理说明：存储桶是用于存储数据的容器，每个存储桶都有一个唯一的名称。操作示例：登录腾讯云控制台，选择“存储与CDN”下的“对象存储”，点击“创建存储桶”。...以上指南提供了腾讯云对象存储免费申请的详细步骤和优势分析，帮助用户更好地利用腾讯云产品，实现数据存储和优化。

2710 0

腾讯云对象存储技术指南：活动与实践

摘要：本文旨在解析腾讯云对象存储（COS）的核心价值，并提供详细的操作指南，以帮助用户有效利用COS进行数据存储和管理。...技术解析核心价值与典型场景：腾讯云对象存储（COS）是一种无服务器存储服务，提供高可靠、高可用、低成本的数据存储能力。...创建存储桶（Bucket）：原理说明：存储桶是COS中用于存储对象（文件）的容器。创建存储桶是使用COS的第一步。操作示例：使用腾讯云控制台或CLI创建存储桶。...监控与日志：原理说明： COS集成了腾讯云监控服务，可以实时监控存储桶的访问和性能数据。操作示例：使用腾讯云监控服务查看存储桶的访问日志。...，降低存储成本场景化案例：据IDC 2024报告，采用腾讯云COS后，某大型视频平台的存储成本降低了40%，同时提升了数据访问速度50%。

4191 0

腾讯云对象存储（COS）免费申请技术指南

摘要本文旨在为用户详细介绍如何免费申请腾讯云对象存储服务，包括技术解析、操作指南和增强方案。通过本指南，用户将了解到对象存储的核心价值、实施中的挑战，并掌握如何利用腾讯云产品特性优化存储解决方案。...技术解析腾讯云对象存储（COS）是一种高可靠、高可用、低成本的云端存储服务。它的核心价值在于提供无限扩展的存储空间，支持数据的全球分发和访问，以及数据的持久性保证。...操作指南以下是申请和使用腾讯云对象存储的详细步骤：步骤1：注册腾讯云账号访问腾讯云官网，注册并验证账号。这一步骤是使用任何腾讯云服务的前提。...步骤2：申请免费存储资源登录腾讯云控制台，找到对象存储服务（COS）。根据指引完成实名认证，即可申请免费存储资源。原理说明：腾讯云为新用户提供一定量的免费存储空间，以降低用户尝试服务的门槛。...通过本指南，用户可以快速上手腾讯云对象存储服务，并利用其产品特性优化存储解决方案。

1.1K1 0

私有云存储的四种技术分析

私有云项目中，将面临选择存储方案，在业内常见有四种方案，也相应针对四种不同的应用场景。我们从简单到复杂，为大家再次介绍一下。...一、本地磁盘（DAS存储）我们直接在云服务器（物理机中）通过PCI-E、SATA、SAS等本地接口挂上一块高速、大容量硬盘，为本地磁盘。在接口中，以SCSI存储协议为主要的通信协议。...在云环境中，本地磁盘主要有两个用途：1、为云宿主机安装linux宿主机操作系统及云管软件（Xen、Kvm等）。2、为要求高性能的应用提供底层存储，如oracle。...四、ServerSAN ServerSAN也叫分布式存储，将若干个存储服务器形成集群，对外提供SAN服务。 ServerSAN在目前的公有云环境中，有得特别多。...目前在公有云环境中，块存储实际就是采用该存储方案。如果用户在原私有云采用挂SAN的LUN方式进行存储，到公有云后仍建议客户采用块存储方式解决存储需求。 ?

7.7K2 1

如何基于Swift开源技术构建云存储集群

随着云计算、移动通信、IoT的发展，传统的块设备和文件系统的方式访问面临着越来越多的局限，对象存储应运而生。对象存储使得应用或端设备直接通过web或http访问数据成为可能。...其次，由于对象存储的分布式存储的特点，天然地适合于大规模非结构化数据的存储的应用场景，如备份、归档、文件共享等。...本文介绍如何基于开源的Swift对象存储技术设计并构建一套海量、安全、高可靠、低成本的云存储集群。构建之前在进行正式的设计和构建之前，一定要清楚存储系统的使用场景并且明晰存储的需求。...目前云存储主要适用于以下场景：提供企业内部使用的云盘及文件共享等服务；备份和归档作为公有云厂商提供云存储服务作为私有云的一部分，提供存储针对具体的场景，我们可以从以下两个方面考虑具体的需求：...1）服务器选型一个典型的Swift存储集群中，至少包含两种节点：存储节点和代理节点。选择服务器无非考虑硬盘、CPU、内存及网卡。

1.2K2 0

点击加载更多

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭