面对信息化程度不断提高带来的PB级海量数据存储需求，传统的存储系统在容量和性能的扩展上存在瓶颈。云存储以其扩展性强、性价比高、容错性好等优势得到了业界的广泛认同。分布式文件系统和分布式块存储作为云存储中重要的技术，成为奠定云存储发展的重要基石。
说到分布式存储，我们可能都会联想到软件定义存储（Software Defined Storage，即SDS）。代表全球存储厂商的权威协会SNIA（全球网络存储工业协会）对SDS定义：软件定义存储包括管理面的标准接口和自动化，以及数据面Scale-out的块、文件和对象存储服务。 业界很多分析师和厂商都认为“SDS”应该和硬件解耦，可以部署在容器、虚拟机、标准裸金属服务器上。 但在上述SNIA发布的SDS白皮书中，SNIA并不认同这种观点，而是更关心SDS实现管理面的自动化和数据面的弹性。 分布式存储“软
在这段时间里，我们小结了云存储的基本知识、块存储和对象存储的基本实现，以及如何让块存储和对象存储为云计算的基本单位——虚拟机，提供存储服务。
在上期说到，虽然Ceph作为分布式存储系统，应用于生产环境会出现很多问题，但其他开源分布式存储系统更不适用于云计算的生产环境。
据IDC预测，未来五年软件定义存储市场的复合增长率将达到23.4%，到2025年分布式存储的市场空间将达到325亿美元。
在上期，我们提到了，以NFS，CIFS(SAMBA)为代表的资本主义时代的存储技术，虽然实现了远端主机跨越互联网访问共享的数据，极大地提升了生产力，但集中式存储主控(俗称机头)的处理能力成为了IO和吞吐能力的瓶颈，正如资本主义生产关系下，生产资料私有制约束了生产力的进步。
近几年，新兴存储架构逐渐布满了市场，给由传统SAN架构占据的市场带来了大量的烟火气。不妨列举一下名词：分布式存储，ServerSAN，云存储，对象存储，超融合，一体机。实际上，这堆名词里，除了对象存储描述的是前端访问协议之外，其它的基本上都是基于分布式存储构建的。
对象存储（Cloud Object Storage，COS）是由腾讯云推出的无目录层次结构、无数据格式限制，可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。您可通过新手入门全面的了解COS，学习产品的基础知识，掌握控制台、API、SDK、工具等操作，助力高效便捷地管理您的业务。
在数据库的世界里，我们经常面对的一个现实就是：分久必合，合久必分。大多数企业都在这样一个轮回中不断革新。比如国内的银行，早期多数是按省市分布式布局，随着技术发展进步，慢慢建立了区域中心、全国中心，将数
因此，业界也出现了一系列其他分布式存储系统，最常见的是HDFS、GlusterFS和Openstack Swift。
PaxosStore是微信设计的一套分布式存储系统，并已对核心业务存储做了架构改造。内存云是微信PaxosStore存储体系的组成部分，本文将分享内存云的Paxos改造过程。
可靠性:是存储系统的基石，一款存储系统至少需要提供99.99%的数据可靠性，数据丢失或者错乱对于存储系统是致命的，对大数据、云存储这样大规模的分布式集群
3月16日，由腾讯云云+社区主办的腾讯云自研数据库 CynosDB 交流会在北京圆满落幕，本次交流会全方位解读了CynosDB，揭秘技术内幕，解读兼容两大主流开源数据库的一主多读架构、高可用架构及快速恢复实现、可计算智能存储和分布式存储。
第一次知道数据库，是在大学时的数据库课程，那个时候的数据库特指关系型数据库。到后面工作后，才知道除了MySQL，Oralce这类关系数据库之外，还有NoSQL。 印象中，当时NoSQL由于优秀的性能和扩展性，发展迅速。但技术并非一成不变，二者可以相互借鉴。 待NoSQL潮水褪去，NewSQL出现，就像是是NoSQL和SQL在易用性和可扩展性上的平衡。
要我说，中国本土的存储厂商当下最强悍的主力军，应该是Inspur了。这不，浪潮这次又登顶SPC-1了。
所谓的块存储，就是挂载到操作系统上，在操作系统看来，它是一个独立的磁盘，操作系统可以自建文件系统，或者以RAW Volume的方式提供给一些数据库软件(如万恶的Oracle)使用，有着和本地硬盘差不多的延迟，以及极高的可用性和数据持久性。
[1502177262557_639_1502177262854.png] 作者介绍：gavinliao(廖晶贵)，腾讯云研发工程师，隶属于腾讯TEG-基础架构部-CBS云存储研发团队，主要负责分布
一、虚拟机如果通过iSCSI方式挂载块存储(云盘)，由于所有的iSCSI操作需要涉及虚拟机的虚拟网卡，以及宿主机上的vSwitch，这种操作方式会对宿主机造成较大的压力；
存储资源盘活系统(HBlock)通过提高资源利用率，优化资源成本，助力企业用户实现绿色转型。它是纯软件的存储控制器，能够安装在任意Linux服务器上，可以把各服务器中分散的磁盘整合成高性能的存储资源池，通过分布式双控制器架构保证了低延迟、高可用、易拓展的特性；通过完善的控制台、命令行与API来统一调度管理所有存储资源；通过强大的兼容性和独特的硬件异构特性充分利用全部存储资源。
近日，Gartner发布了2019年全球分布式文件存储关键能力报告（Critical Capabilities for Distributed File Systems），Dell EMC、IBM、浪潮、华为、Qumulo、Pure Storage、Red Hat共7家全球主流厂商入围测评。
很多刚刚进入存储行业或者想要转行到分布式存储行业的工程师，经常有困惑，就是“一名分布式存储工程师的技能树是怎样的？”
Hadoop 是一个提供分布式存储和计算的开源软件框架，它具有无共享、高可用（HA）、弹性可扩展的特点，非常适合处理海量数量。
作者介绍：2012年进入腾讯，负责腾讯云数据库平台（CDB）和腾讯云分布式存储平台（CBS）的运维工作，对数据库高可用、数据库调优、分布式存储运维等领域有丰富的经验。 记CBS一次动人心魄的数据保卫战 接触分布式存储已经有一年多的时间了，首次遇到存储侧三份数据都有异常的情况，三份数据异常意味着客户数据的丢失，这个对云存储来讲是致命的打击。为了保证数据的安全，CBS运维和开发的同学进行了持续两天一夜的数据保卫战，最终做到数据0丢失，那么CBS运维和开发的同学是如何通过紧密合作来扭转乾坤的？且听我慢慢道来：
3月16日，由腾讯云云+社区主办的腾讯云自研数据库 CynosDB 交流会在北京圆满落幕，本次交流会全方位解读了CynosDB，揭秘技术内幕，解读兼容两大主流开源数据库的一主多读架构、高可用架构及快速恢复实现、可计算智能存储和分布式存储。 关注腾讯云数据库官方微信，回复“0316”，即可下载本次交流会的全部PPT。 本文为腾讯云数据库高级工程师樊伟分享的《CynosDB可计算智能存储揭秘》现场实录。活动其他4位嘉宾分享内容将持续推送，请保持关注腾讯云数据库官方微信。现关注立得10元腾讯云无门槛代金券，体验
然而，随着非结构化数据在生产业务中的广泛应用，各行各业正在经历数据量的爆炸式增长。虽然分布式存储在大众认知内具有高性价比和高扩展性，却未被赋予高性能的标签。
从去年11月份到今年春节前后，华为存储研发骨干曹长斌几乎每天都夜不能寐，因为他参与的FusionStorage 8.0 研发项目遇到各种棘手难题。那段时间，曹长斌甚至连吃饭、跑步都会想着如何解决研发面临的问题。
在进行数据存储的时候，最担心的莫过于数据丢失了，而数据丢失可以从很多层面来进行保障，但是最终数据都是存储在磁盘当中。
在了解什么是分布式存储之前，我们先来简单了解一下存储几十年来的大概历程。
将磁盘使用scsi或sata母线直接与主板相连给系统提供存储的一种方式，如我们的笔记本默认就是这种方式。
分布式文件存储。支持 POSIX 语义或者裁剪 POSIX。可以作为存储和计算分离的存储基座，也可以直接为应用所用，比如说深度学习的一些训练，大数据处理的一些中间存储。常见产品有盘古文件系统、Polarfs、JuiceFS 等。
以及后续的分布式软件、虚拟化软件、桌面云软件的升级软件（FusionCube版本中，不需要升级FusionCompute和分布式存储的版本）。
本文介绍了目前云原生环境下，支持有状态应用的几种典型存储方案的特点，并对市场主流的云原生存储产品实际测试性能进行对比。
引 言 作者是国内研究超融合相当早的专家，有非常强的理论基础和实战经验。上几篇分析文章，对nutanix/VSAN/深信服/H3C/EMC等厂家的深入分析，引起了业界很大的反响。 专家不辞辛苦，坚持高质量输出，被专家的专业和敬业精神感动。为专家点赞！ “以梦为马，不负韶华”，送给在技术道路上坚持的同学。也希望喜欢的同学多多转发和点赞！ 以下是超融合分析系列前面几篇，已经阅读过的同学可以跳过。 超融合概述 超融合产品分析系列（1）：nutanix方案 超融合方案分析系列（2）：VSAN的超融合方案分析 超融
点击上方蓝字关注每天学习数据库 作者简介：许中清，腾讯云自研云原生数据库CynosDB的分布式存储CynosStore负责人，负责数据库内核开发、数据库产品架构、规划和落地。 腾讯云数据库CynosStore负责人许中清 ---- 3月16日，由腾讯云云+社区主办的腾讯云自研数据库 CynosDB 交流会在北京圆满落幕，本次交流会全方位解读了CynosDB，揭秘技术内幕，解读兼容两大主流开源数据库的一主多读架构、高可用架构及快速恢复实现、可计算智能存储和分布式存储。 关注腾讯云数据库官方微信，回复“0
在云计算时代，Kubernetes 已经成为容器编排的首选平台。随着越来越多的企业在 Kubernetes 上运行数据库和中间件，与 Kubernetes 兼容的持久化存储解决方案的需求也在上升。
数据存储容灾建设主要从数据可靠性和业务稳定性两个维度阐述。这两者有哪些区别呢？举个例子，业务数据存储在COS，如果该地域出现地震等极端灾难，COS所在机房被外力摧毁导致业务数据全部丢失，属于数据可靠性范畴；同样如果COS机房网络出现波动或者机器出现负载，导致客户端请求数据出现延时高或者中断，属于业务稳定性范畴；从而两者区别是数据是否丢失。
存储产业正在发生颠覆性的变化，主要有两大推手：一个是新一代存储介质SSD；另一个是分布式存储的演进，以SDS（软件定义存储）为代表。
3月16日在北京举行的腾讯云自研数据库CynosDB交流会圆满落下帷幕。现将技术团队分享的内容整理如下。
12月16日，以“引领分布式云变革 助力湾区数字经济”为主题的全球分布式云大会在深圳隆重召开，腾讯云存储凭借车载斗量的存储规模及用户量，在一众企业中脱颖而出，荣获“分布式存储运营领袖奖”。 因此，在2021 GDCC 全球分布式云大会现场中，由主办方发起了分布式奖项评选，通过初步遴选和网络投票以及业内最权威技术专家组最终评估，对腾讯云存储进行全方位的评定，最终评定腾讯云存储荣获“分布式存储运营领袖奖”，并在现场进行了奖项颁发。 获奖理由 腾讯云存储全球加速节点数覆盖五大洲50多个国家地区，中国第一家带宽峰
12月16日，以“引领分布式云变革 助力湾区数字经济”为主题的全球分布式云大会在深圳隆重召开，腾讯云存储凭借车载斗量的存储规模及用户量，在一众企业中脱颖而出，荣获“分布式存储运营领袖奖”。
自诞生以来，分布式存储就被视为存储的未来，被万众期待。然而分布式存储起步于寒门，最早应用于互联网日志、企业备份归档、开发测试等场景，追求极致成本，性能和可靠性却不敢恭维。但它还算争气，凭借多年的打怪练级，越来越多地开始承载自动驾驶研发、超高清编辑、运营商5G网络云等企业的关键业务，走上变成高富帅、赢取白富美的道路。
目前，您可以使用 Longhorn UI 操作 Longhorn。同时，您可以使用 Python 访问 Longhorn API，如下所示。
超融合并非新的概念，它的背后是长期以来，数据中心资源高效利用和低成本运营的驱动。数据中心的传统建设方式是计算、存储、网络、基础软件分层建设，这种方式的优势是各层互相解耦，独立扩展，独立采购方便，存在的问题是规划复杂，在建设之初，就要规划后未来3~5年的业务需求，设计好存算网的配比；运维复杂，需要多支专业的运维队伍（计算、存储、网络、软件）；问题定界复杂，一旦出现问题，就涉及跨层的问题定界，异厂商互相推诿。 大约十年前， CI即融合基础设施架构被提出，CI架构主要解决的是融合管理的问题，通过预制的一柜式方案
5月25日，云+社区技术沙龙-互联网架构成功举办。本期沙龙特邀请腾讯的技术专家分享关于技术架构、落地实践案例、无服务器云函数架构、海量存储系统架构等话题，从技术角度看架构发展，为开发者们带来丰富的实践经验内容，深度揭秘技术架构。下面是朱建平老师关于如何架构海量存储系统的分享。
我们已经多次关注亚马逊S3、阿里云oss这类对象存储的安全性问题，比如Bucket的权限管理，上传文件的xss问题、AK\SK的保护。如果说对象存储Object Storage Service像云盘，而本文所说的块存储Block Storage是类似于机械硬盘、固态硬盘的“云硬盘”。亚马逊方面在Elastic Compute Cloud (EC2)的实例的持久块存储称为Elastic Block Storage。阿里云EBS是指为ECS云服务器提供的块设备，高性能、低时延，满足随机读写，可以像使用物理硬盘一样格式化、创建文件系统，可用于云硬盘、快照、模板。在底层所承载的分布式存储系统是盘古系统，技术实现类似于HDFS，分为Master、Client、Chunk Server，基本的产品矩阵如下：
继青云科技（QingCloud）上市以来，旗下分布式存储品牌QingStor近日也官宣了新的品牌征程：
公元前300多年，古希腊数学家欧几里得开启了研究2p－1这类素数的先河，随后也吸引了众多欧洲数学家们的研究兴趣。其中有一位叫马林·梅森的法国人，因其最早系统而深入的研究2p－1（其中指数p是素数），人们为了纪念他，将这类数统称为“梅森数”。此后的2300多年截止至今，人类也只发现了51个梅森素数，由此可见梅森素数的探寻之艰难。
早期硬盘每个扇区以512字节为标准。新一代硬盘扇区容量为4096个字节，也就是所说的4k扇区。 硬盘标准更新，但操作系统一直使用的是512字节扇区的标准，所以硬盘厂商为了保证兼容性，把4k扇区模拟成512字节扇区。 通常文件系统的块（簇）是512字节的倍数，新的系统基本上都设成了4k的倍数。比如Linux的簇一般也是4k。 簇到扇区的映射关系变成了 簇（4k）->512B扇区->4k扇区，这就可能造成簇到扇区映射错位。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
