据IDC预测，未来五年软件定义存储市场的复合增长率将达到23.4%，到2025年分布式存储的市场空间将达到325亿美元。
计算机制造技术发展至今，虽然技术形态发生了巨大变化，但冯·诺依曼体系结构仍然沿用至今。在冯·诺依曼体系结构五要素中，计算、存储、网络更为重中之重。
继青云科技（QingCloud）上市以来，旗下分布式存储品牌QingStor近日也官宣了新的品牌征程：
本文主要对杨传辉（日照）《大规模分布式存储系统原理解析与架构实战》、大话存储、网络资源(具体参考文末链接)及个人理解进行整理，意在构建出存储发展基本轨迹和一些基本常识，让更多像我一样的初入者有个宏观上的认知。
随着IT互联网信息技术的飞速发展和进步。目前大数据行业也越来越火爆，从而导致国内大数据人才也极度缺乏，下面介绍一下关于Hadoop环境中管理大数据存储技巧。
架构师在做架构设计时一定绕不开存储的设计，本文我们一起来了解一下存储的相关知识。主要内容包括存储使用方式、常见协议、链接方式以及分布式存储架构中的典型架构案例。
本文介绍了目前云原生环境下，支持有状态应用的几种典型存储方案的特点，并对市场主流的云原生存储产品实际测试性能进行对比。
我一直试图在传统集中式存储和分布式存储应用之间找到一条界线，尽管有交叉和重叠，但还是应该有一条界线：哪些适合集中式存储，哪些适合分布式存储。但是这条界线我一直也没有找到，因为既不能按性能划分，也不能按照容量划分，如果按照业务稳态、敏态类型划分也不合适，总之没有一条清晰界线。
近年来，云计算、大数据、人工智能、物联网等信息技术与产业快速发展，信息技术与传统产业的融合也不断加深，快速发展的数字经济已经成为我国产业转型升级和经济高质量发展的重要驱动因素。数据是数字经济的重要基础组成，信息技术也围绕数据的生产、加工、应用而展开。当前，企业和用户无时无刻都在产生大量的数据，数据中心等信息基础设施也在实时地存储和计算各类数据，网上购物、电子支付、工业互联网等数据应用场景更是随处可见。据IDC 预测，到 2025 年全球数据量将达到 163ZB，相当于 2016 年 16.1ZB 数据量的十倍。当前，数据的快速、高效、安全存储已经成为业界关注的焦点。
在云计算时代，Kubernetes 已经成为容器编排的首选平台。随着越来越多的企业在 Kubernetes 上运行数据库和中间件，与 Kubernetes 兼容的持久化存储解决方案的需求也在上升。
1、扩展性 传统的是纵向扩展（服务器数量不变，每个的配置越来越高） 大数据是横向扩展（每个的配置不变，但服务器数量越来越多） 2、分布式 传统的是集中式存储，集中式计算 大数据是分布式存储，分布式计算 3、可用性 传统的是单份数据（存储数据的磁盘少） 大数据是多份数据（存储数据的磁盘多） 4、模型 传统的是移动数据到程序端 大数据是移动程序到数据端（减少了大量的IO开销和网络开销，利用并行计算，并行存储）
“当你不创造东西时，你只会根据自己的感觉而不是能力去看待问题。” – WhyTheLuckyStiff
大家普遍对分布式系统的印象是难设计，难理解，难操作，而集中式系统相对更加简洁易懂。那么，为什么我们需要分布式系统呢？
传统化集中式存储存在已有一段时间。但大数据并非真的适合集中式存储架构。Hadoop设计用于将计算更接近数据节点，同时采用了HDFS文件系统的大规模横向扩展功能。
在上期，我们提到了，以NFS，CIFS(SAMBA)为代表的资本主义时代的存储技术，虽然实现了远端主机跨越互联网访问共享的数据，极大地提升了生产力，但集中式存储主控(俗称机头)的处理能力成为了IO和吞吐能力的瓶颈，正如资本主义生产关系下，生产资料私有制约束了生产力的进步。
在1990年，每一台应用服务器都倾向拥有直连式系统(DAS)。SAN的构建则是为了更大的规模和更高的效率提供共享的池存储。Hadoop已经逆转了这一趋势回归DAS。每一个Hadoop集群都拥有自身的—
数据本地化是为了确保大数据集存储在计算节点附近便于分析。对于Hadoop，这意味着管理数据节点，向MapReduce提供存储以便充分执行分析。它实用有效但也出现了大数据存储集群的独立操作问题。以下十项是Hadoop环境中管理大数据存储技巧。
在数据库的世界里，我们经常面对的一个现实就是：分久必合，合久必分。大多数企业都在这样一个轮回中不断革新。比如国内的银行，早期多数是按省市分布式布局，随着技术发展进步，慢慢建立了区域中心、全国中心，将数
[ 亿欧导读 ]本文分析了传统集中式数据中心和分布式架构数据中心的主要区别，探索了未来数据中心架构发展的趋势。
随着计算机系统规模变得越来越大，将所有业务单元集中部署在一个或者若干个大型机上的体系结构物，已经越来越不能满足当今计算机系统，尤其是大型互联网系统的快速发展，各种灵活多变的系统架构模型层出不穷。同时，随着微型计算机的出现，越来越多廉价的PC机成为了各大IT企业架构的首选，分布式的处理方式越来越受到业界的青睐----计算机系统正在经历一场前所未有的从集中式到分布式架构的变革。
“数据科学家=统计学家+程序员+讲故事的人+艺术家。“ – Shlomo Aragmo。博主总结了一些在大数据学习工作过程中容易出现的一些问题，希望能给各位带来帮助，愿各位都能在2019年更上一层楼！
引 言 作者是国内研究超融合相当早的专家，有非常强的理论基础和实战经验。上几篇分析文章，对nutanix/VSAN/深信服/H3C/EMC等厂家的深入分析，引起了业界很大的反响。 专家不辞辛苦，坚持高质量输出，被专家的专业和敬业精神感动。为专家点赞！ “以梦为马，不负韶华”，送给在技术道路上坚持的同学。也希望喜欢的同学多多转发和点赞！ 以下是超融合分析系列前面几篇，已经阅读过的同学可以跳过。 超融合概述 超融合产品分析系列（1）：nutanix方案 超融合方案分析系列（2）：VSAN的超融合方案分析 超融
为了更系统、深入的梳理数据库的发展脉络和最新进展，数据猿采访了多位业界专家，包括星环科技联合创始人刘汪根、PingCAP 创始人兼 CEO 刘奇、达梦数据技术服务中心副总经理胡俊、南大通用GBase 8s产品线总经理崔志伟、酷克数据首席科学家杨胜文等，来共同探寻数据库的价值和未来。
自诞生以来，分布式存储就被视为存储的未来，被万众期待。然而分布式存储起步于寒门，最早应用于互联网日志、企业备份归档、开发测试等场景，追求极致成本，性能和可靠性却不敢恭维。但它还算争气，凭借多年的打怪练级，越来越多地开始承载自动驾驶研发、超高清编辑、运营商5G网络云等企业的关键业务，走上变成高富帅、赢取白富美的道路。
回顾IT产业发展史，自通用计算机诞生至今，算力和处理的分布表现出了在集中式架构和分布式架构之间交替循环的特征，技术进步推动性能提升、成本降低，上一代计算模式普及驱动数据量和计算需求增加，打破既有的成本与效益平衡，进而进入新一轮的周期。每个周期大概是二十年左右的时间：1960-1980——通用计算机诞生伊始，采用基于大型计算机的集中式计算模式，通过分时技术服务于多终端，架构趋向于集中；1980-2000——集成电路技术推动计算机体积缩小、性能提升，PC普及，客户机通过局域网与服务器相连，架构趋向于分散；2000-2020——基于虚拟化、分布式计算等技术，云计算实现随时随地、按需从资源共享池中获取所需资源，架构趋向于集中；如今，5G叠加物联网，终端量和数据量增长，集中式云计算表现出瓶颈，算力开始向边缘侧迁移，因此可以合理地推测，2020年到2030年将会是边缘云计算从兴起到繁荣的关键十年。
在了解什么是分布式存储之前，我们先来简单了解一下存储几十年来的大概历程。
近年来，以阿里为代表的互联网企业提出的“去IOE”，在业界引起了广泛的讨论。“去IOE”直接含义是不使用传统IT巨头的产品，这些厂商产品虽然好，但基本处于市场垄断地位，用户议价能力较弱，成本高昂，技术受制于人，供应链风险较大。“去IOE”更深层次的含义是采用分布式的架构替代集中式的架构，构建高可用、易扩展、低成本的分布式架构。 随着国家安全可控政策的实施，移动互联网的兴起，业务量的迅速提升，以及利率市场化所带来的成本约束日益显现，银行业信息系统采用分布式架构是大势所趋。近年来，农业银行在分布式架构方面进行了
一般可以将架构分为两类，一类是以垂直扩展（Scale up）为主的架构，如通过增加单机配置，或者将中低端设备升级成为高端设备，用以提升系统的处理能力，称之为集中式架构，早期的哑终端主机架构是典型代表。
现有的存储系统经过长期发展，种类及其繁多，架构也各不相同，仅靠一文不可能讲得完全详尽。笔者试图在各个存储系统中，按照从底层到上层的思路，抽象出某些共性，也就是：物理层、协议层、架构层、连接层四个层次。这种层次划分不一定对所有存储系统通用，但可以帮助初学者对市面上主流的存储技术架构建立一个大体的认识，接下来我们由下往上详细分析。
Hadoop作为大数据主流的基础架构选择，至今仍然占据着重要的地位，而基于Hadoop的分布式文件系统HDFS，也在大数据存储环节发挥着重要的支撑作用。今天的大数据入门分享，我们就主要来讲讲HDFS分布式文件管理系统。
在这个数据爆炸的时代，产生的数据量不断地在攀升，从GB,TB,PB,ZB.挖掘其中数据的价值也是企业在不断地追求的终极目标。但是要想对海量的数据进行挖掘，首先要考虑的就是海量数据的存储问题，比如Tb量级的数据。
动态应用，是相对于网站静态内容而言，是指以c/c++、php、Java、perl、.net等服务器端语言开发的网络应用软件，比如论坛、网络相册、交友、BLOG等常见应用。动态应用系统通常与数据库系统、缓存系统、分布式存储系统等密不可分。 大型动态应用系统平台主要是针对于大流量、高并发网站建立的底层系统架构。大型网站的运行需要一个可靠、安全、可扩展、易维护的应用系统平台做为支撑，以保证网站应用的平稳运行。 大型动态应用系统又可分为几个子系统： 1）Web前端系统 2）负载均衡系统 3）数据库集群系统 4）缓存
物联网（Internet of Things，简称IoT）是指通过各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器等各种装置与技术，实时采集任何需要监控、 连接、互动的物体或过程，采集其声、光、热、电、力学、化学、生物、位置等各种需要的信息，通过各类可能的网络接入，实现物与物、物与人的泛在连接，实现对物品和过程的智能化感知、识别和管理。物联网是一个基于互联网、传统电信网等的信息承载体，它让所有能够被独立寻址的普通物理对象形成互联互通的网络
在之前的博客《什么是大数据?看这一篇就足够了!》中,小菌为大家较为详细的介绍了一些关于大数据的知识。其中提到了大数据的四个特点,即海量化,多样化,快速化和高价值。本篇博客,小菌决定就以快速化这个特点展
之前在进行对接存储项目的时候，对公司内部使用的文件系统进行了梳理，当前公司内部使用的文件系统有GlusterFS,FastDFS等，由于文件系统在海量小文件和高并发之下性能急剧下降，性能遭遇瓶颈，因此打算建设分布式对象存储平台。下面对市面上比较流行的非结构化文件存储产品进行相关整理和比较。
作者 CDA 数据分析师 大数据抽取转换及加载过程（ETL）是大数据的一个重要处理环节，Extract 即是从业务数据库中抽取数据，Transform 即是根据业务逻辑规则对数据进行加工的过程，
要我说，中国本土的存储厂商当下最强悍的主力军，应该是Inspur了。这不，浪潮这次又登顶SPC-1了。
一提起“分布式系统”，大家的第一感觉就是好高大上啊，深不可测，看各类大牛关于分布式系统的演讲或者书籍，也大多是一脸懵逼。本文期望用浅显易懂的大白话来就什么是分布式系统、分布式系统有哪些优势、分布式系统
如果说闪存是近年来IT基础设施领域变革的主要诱因，那么超融合则是IT基础设施变革的最直接结果之一。超融合不仅深刻改变着用户IT基础设施的使用习惯和模式，更对整个IT基础设施市场格局有着长远的影响。
近日，权威调研机构Gartner公布2021年二季度全球存储市场报告。报告显示，二季度全球存储市场出现复苏迹象，销售额达到331.5亿元，同比小幅增长3.5%；出货量为8.5万套，同比下降5.7%。
在看似稳定的市场格局中，浪潮存储近年来却强势崛起，用亮眼的成绩证明了破局依然可行。今年上半年，浪潮存储更是交出一份靓丽的成绩单：其高端全闪存、分布式存储就在SPC-1测试中接连夺魁，上半年整体出货量位居全球前五，分布式存储更是杀进第二存储市场全球前三，中国存储市场份额第二……
超融合基础架构（Hyper-Converged Infrastructure，或简称“HCI”）也被称为超融合架构，是指在同一套单元设备（x86服务器）中不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术，而且还包括缓存加速、重复数据删除、在线数据压缩、备份软件、快照技术等元素，而多节点可以通过网络聚合起来，实现模块化的无缝横向扩展（scale-out），形成统一的资源池。超融合架构（Hyperconvergence Infrastructure, HCI）将虚拟化计算和存储整合到同一个系统平台。简单的说就是物理服务器上运行虚拟化软件（Hpyervisor），通过在虚拟化软件上运行分布式存储服务供虚拟机使用。分布式存储可以运行在虚拟化软件上的虚拟机里也可以是与虚拟化软件整合的模块。广义上，除了虚拟化计算和存储，超融合架构还可以整合网络以及其它更多的平台和服务。当前业界普遍的共识是：软件定义的分布式存储层和虚拟化计算是超融合架构的最小集。
在这段时间里，我们小结了云存储的基本知识、块存储和对象存储的基本实现，以及如何让块存储和对象存储为云计算的基本单位——虚拟机，提供存储服务。
那么2023年数据管理和存储领域，有哪些新趋势呢？经分析，浪潮信息从产品技术、算法、场景三个维度出发，筛选出十个年度关键词：全闪存储、分布式存储、SSD、计算型存储、分布式数据库、智能运维、东数西算、数字孪生、AIGC以及元宇宙。
疫情肆虐之下的2020年带来了很多变数，让所有人体会到了“难”。之前数据库领域有人也谈起了去“O”（Oracle数据库）之难，国内提了十多年的去“IOE”，感觉现在对于去“O”依然是蜀道之难，难于上青天。 Oracle数据库往往承载着企业关键业务系统，去留要看企业发展情况和战略规划，所谓难更多是一种谨慎。“因为’O‘不仅仅是去数据库，还涉及到很多应用，如果过于绝对可能对客户现有的系统产生比较大的影响。”PG中文社区副主席唐成在接受IT168采访时曾说。 即将到来的5G时代数据井喷，海量数据对数据库提出
原创文章，转载请注明：转载自Keegan小钢并标明原文链接：http://keeganlee.me/post/blockchain/20180313微信订阅号：keeganlee_me写于2018-03-13
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
