早期的计算机技术的发明都是服务于军事化用途的。最早发展于美国。数据库的发展主要分为三个阶。
对于没有采用磁带存储的组织来说实施云备份要容易得多。在基于云计算的系统中，启用重复数据删除和压缩后，数据存储就不再是一个难题。
磁带首次用于数据存储是在1951年。从90年代IT技术开始普及，出现了更多的磁带技术。但是到2000年，很多磁带技术逐步地淡出市场，LTO成为磁带存储行业的主流，并占据了99%以上的市场。
二级存储旨在通过更经济、更安全的存储介质长期保留相对不关键和不活跃的数据，这些数据不需要像主存储中的数据那样频繁访问。
对于运维来说，数据读取、安全与存储，也是至关重要的一点，数据存储的技术点也是相当的多，面比较广，今天，民工哥来给各位小伙伴聊一聊有关于数据存储的“那些事儿”
网络本来是数据中心里最为稳定的一部分，技术几十年下来并未发生根本性的变化。然而，随着互联网的普及、云计算和大数据等新技术的兴起，网络成为了最大的一块阻碍数据中心发展的绊脚石，对网络进行改造势在必行。
微观上来说，它就是指的数据存储、计算机存储、硬盘存储。而宏观上呢，所有物品、信息的保管和保存，皆可称为存储。
随着更新、更好、更快的存储介质的到来，一个字节的数据能够以多种不同的方式进行存储。字节是数字信息的单位，通常指八位，比特位是一个信息单位，可以表示为0或1，表示逻辑状态。让我们跟随时光的脚步简单地走一走，先了解一下比特和字节的起源。
传统的考古学家和历史学家认为，楔形文字起源于美索不达米亚特殊的渔猎生活方式。这是较为通行的看法，西方的各种百科全书大都持这一观点。约在公元前3400年左右，楔形文字雏形产生，多为图像。到公元前 500 年左右， 这种文字甚至成了西亚大部分地区通用的商业交往媒介。楔形文字一直被使用到公元元年前后，使用情景如同现今的拉丁文。
直接附加存储（Directed Attached Storage，DAS）作为一种最简单的外接存储方式，通过数据线直接连接在各种服务器或客户端扩展接口上。它本身是硬件的堆叠，不带有任何存储操作系统，因而也不能独立于服务器对外提供存储服务。DAS常见的形式是外置磁盘阵列，通常的配置就是RAID控制器+一堆磁盘。DAS安装方便、成本较低的特性使其特别适合于对存储容量要求不高、服务器数量较少的中小型数据中心。
我们当前生活在一个数据化的时代，几乎每时每刻人们都在制造数据、分享数据、应用数据。我们在淘宝、京东、亚马逊、当当等购物网站上购买产品的时候，通过微信、微博进行实时交流互动，利用百度、谷歌等搜索引擎来查询搜集各类信息，使用各种地图和导航软件来进行汽车行驶导航时，其实都在产生数据，分享数据和使用数据。
按照特定的数据结构来组织、存储和管理数据的仓库叫做数据库，MySQL是一种关系型数据库。数据库最重要的功能就是存储数据，而数据存储是需要依赖具体的介质的，它就是磁盘。
时光如白驹过隙，坐在时代的列车里，我们一路向前；近三十年来，无数事物在车窗前掠影而过，一度流行，又一度黯淡。磁带，就是一个时代的符号。彼时，磁带因其低廉、可靠及易用等特性，一度成为音乐最主流的载体，将流行音乐传遍大街小巷。后来，随着 CD 和 MP3走进大众视野，磁带逐步退出历史舞台。如今，磁带作为音乐载体早被时代淘汰.....但磁带作为存储载体，近几十年却从未过时：在冷数据场景，磁带存储凭借其极低的成本和极长的寿命，在企业存储市场始终占有一席之地。今天的故事就此展开，来聊聊腾讯的深度归档存储与磁带的那些事。欢迎阅读~
外存储器（External Storage or Secondary Storage）指的是除了计算机的主存储器（通常是RAM）之外用于存储数据和程序的设备。与主存相比，外存储器提供了更大的存储容量和持久存储能力，但访问速度较慢。外存储器主要用于保存不需要立即访问的数据，以及在系统关闭后仍需要保留的信息。
计算机存储技术是指用于存储数据和指令的各种技术。这些技术可以分为两大类：主存储技术和辅助存储技术。主存储技术通常指的是随机存取存储器（RAM）和只读存储器（ROM），而辅助存储技术包括硬盘驱动器（HDD）、固态驱动器（SSD）、光盘驱动器和磁带等。
一、概述 数据一致性是指关联数据之间的逻辑关系是否正确和完整。问题可以理解为应用程序自己认为的数据状态与最终写入到磁盘中的数据状态是否一致。比如一个事务操作，实际发出了五个写操作，当系统把前面三个写操作的数据成功写入磁盘以后，系统突然故障，导致后面两个写操作没有写入磁盘中。此时应用程序和磁盘对数据状态的理解就不一致。当系统恢复以后，数据库程序重新从磁盘中读出数据时，就会发现数据再逻辑上存在问题，数据不可用。 二、Cache引起的数据一致性问题 引起数据一致性问题的一个主要原因是位于数据I/O路径上的各种Cache或Buffer（包括数据库Cache、文件系统Cache、存储控制器 Cache、磁盘Cache等）。由于不同系统模块处理数据IO的速度是存在差异的，所以就需要添加Cache来缓存IO操作，适配不同模块的处理速度。这些Cache在提高系统处理性能的同时，也可能会“滞留”IO操作，带来一些负面影响。如果在系统发生故障时，仍有部分IO“滞留”在IO操作中，真正写到磁盘中的数据就会少于应用程序实际写出的数据，造成数据的不一致。当系统恢复时，直接从硬盘中读出的数据可能存在逻辑错误，导致应用无法启动。尽管一些数据库系统（如Oracle、DB2）可以根据redo日志重新生成数据，修复逻辑错误，但这个过程是非常耗时的，而且也不一定每次都能成功。对于一些功能相对较弱的数据库（如SQL Server），这个问题就更加严重了。 解决此类文件的方法有两个，关闭Cache或创建快照（Snapshot）。尽管关闭Cache会导致系统处理性能的下降，但在有些应用中，这却是唯一的选择。比如一些高等级的容灾方案中（RPO为0），都是利用同步镜像技术在生产中心和灾备中心之间实时同步复制数据。由于数据是实时复制的，所以就必须要关闭Cache。 快照的目的是为数据卷创建一个在特定时间点的状态视图，通过这个视图只可以看到数据卷在创建时刻的数据，在此时间点之后源数据卷的更新（有新的数据写入），不会反映在快照视图中。利用这个快照视图，就可以做数据的备份或复制。那么快照视图的数据一致性是如何保证的呢？这涉及到多个实体（存储控制器和安装在主机上的快照代理）和一系列的动作。典型的操作流程是：存储控制器要为某个数据卷创建快照时，通知快照代理；快照代理收到通知后，通知应用程序暂停IO操作（进入 backup模式），并flush数据库和文件系统中的Cache，之后给存储控制器返回消息，指示已可以创建快照；存储控制器收到快照代理返回的指示消息后，立即创建快照视图，并通知快照代理快照创建完毕；快照代理通知应用程序正常运行。由于应用程序暂停了IO操作，并且flush了主机中的 Cache，所以也就保证了数据的一致性。 创建快照是对应用性能是有一定的影响的（以Oracle数据库为例，进入Backup模式大约需要2分钟，退出Backup模式需要1分钟，再加上通信所需时间，一次快照需要约4分钟的时间），所以快照的创建不能太频繁。 三、时间不同步引起的数据一致性问题 引起数据不一致性的另外一个主要原因是对相关联的多个数据卷进行操作（如备份、复制）时，在时间上不同步。比如一个Oracle数据库的数据库文件、 Redo日志文件、归档日志文件分别存储在不同的卷上，如果在备份或复制的时候未考虑几个卷之间的关联，分别对一个个卷进行操作，那么备份或复制生成的卷就一定存在数据不一致问题。 此类问题的解决方法就是建立“卷组（Volume Group）”，把多个关联数据卷组成一个组，在创建快照时同时为组内多个卷建立快照，保证这些快照在时间上的同步。之后再利用卷的快照视图进行复制或备份等操作，由此产生的数据副本就严格保证了数据的一致性。 四、文件共享中的数据一致性问题 通常所采用的双机或集群方式实现同构和异构服务器、工作站与存储设备间的数据共享，主要应用在非线性编辑等需要多台主机同时对一个磁盘分区进行读写。
云计算似乎是归档存储数据的理想场所。它提供了按需付费的增长模式，并使组织能够缩减其内部存储空间。但问题是，三大供应商(亚马逊AWS，微软Azure和谷歌计算)并没有提供交钥匙归档的服务体验。用户很难获得数据。在某种程度上，这是应该的。这些服务的重点是提供基础架构即服务，而不是解决方案即服务。问题是用户IT部门需要一个解决方案。 内部部署的归档问题 归档存储市场中的每个供应商都可以创建一个投资回报方案，显示其实施后数月的归档支付情况。问题是所有这些供应商都有些犯了模糊数学的错误。典型的投资回报率情况是
灾难恢复没有银弹。一旦发生停机，企业高管们会条件反射地以最快地速度采取各种灾难恢复手段。 虽然大多数IT主管和数据管理专家承认没有万全的安全解决方案来保护和恢复数据，但他们一致认为，组织应该采取一些必要的步骤。 那么，在重要文件和应用程序发生灾难时，企业应该采取哪些必要的预防措施呢？这里盘点了十二个由数据存储、数据管理和灾难恢复专家们提出的意见。 1. 进行数据评估 进行数据评估，可以帮助你了解企业中的高价值数据资产——你的客户信息和其他敏感数据，哪些文件被大量使用，以及谁在使用它们，与
传统的文件系统，是直接访问存储数据的硬件介质的。介质不关心也无法去关心这些数据的组织方式以及结构，因此用的是最简单粗暴的组织方式：所有数据按照固定的大小分块，每一块赋予一个用于寻址的编号。
遥想我在 2007 年读高中的时候，省吃俭用花了百来块钱买了一个不知名品牌的MP3播放器，容量只有256M。
几年前，甚至研究人员也不愿使用DNA来存储数据，因为这看起来过于科幻，并没有任何实用价值。今天，我们可以使用正确的软件和生物化学模块扩展PostgreSQL，并在DNA上运行SQL。
现有的存储系统经过长期发展，种类及其繁多，架构也各不相同，仅靠一文不可能讲得完全详尽。笔者试图在各个存储系统中，按照从底层到上层的思路，抽象出某些共性，也就是：物理层、协议层、架构层、连接层四个层次。这种层次划分不一定对所有存储系统通用，但可以帮助初学者对市面上主流的存储技术架构建立一个大体的认识，接下来我们由下往上详细分析。
在之前我写过一篇关于linux的虚拟文件系统的博客，不过那篇主要是介绍打开的文件是如何在linux系统中被管理和存储的，那么这篇进阶版文件系统就要介绍一下，当文件没有被打开的时候，它在linux系统中是如何被管理和存储的。
输入（Input）/输出（Output）设备，即I/O设备。 显示器这所谓的输出设备。 鼠标和键盘所谓的输入设备。 硬盘，数据持久化。
在2017年，云计算的投资将持续火爆，但是随着企业需求变化， 2017年云市场将出现如下五大趋势。 多重云将成为新常态 随着许多公司投资公有云和私有云服务，2017年将会有更多的企业同时向多个云提供商
如今，灾难恢复即服务很快成为企业利用云计算解决灾难恢复挑战的理想方式。 灾难恢复仍然是存储专业人员面临的持续挑战。因为，与IT的许多其他领域不同，围绕灾难恢复的情况变得更加复杂，并且难以在近年来得到处理。 首先，“灾难”的定义已扩大到几乎包括任何服务中断。第二，发生灾难的原因很多。人们都听到了自然灾害（地震，洪水，飓风），还有人为灾难，如网络攻击，勒索软件，意外的用户错误或企业破坏。第三，在灾难发生时，人们必须考虑的数据量已经呈指数增长。第四，用户对快速恢复的期望已经大大增加。如今，用户期望他们的关键
现有的存储系统经过长期发展，种类及其繁多，架构也各不相同，按照从底层到上层的思路，大致可以分为：物理层、协议层、架构层、连接层四个层次。接下来我们由下往上详细分析。
近日，在全球分布式云大会上，昆腾中国资深解决方案架构师赵丙涛深入地分析了企业数据存储的痛点，并给出解决之道。
我们身处一个海量数据时代，企业的数据量爆炸式增长，历史数据对企业的重要性，在于以史明鉴。磁带库存储目前在企业领域中一直在对企业的历史数据进行存储，并且发挥着重要的作用。
http://tech.sina.com.cn/other/2003-12-29/1323275543.shtml
如今，大多数数据保护解决方案使用公共云平台，以降低本地数据保护基础设施的成本。而为了节省成本，供应商通常将备份数据集存储在低成本对象存储中。
目前，在对象存储领有很多的使用场景。通常来说，支持AWS的S3协议，就可以把它归类于对象存储。对象存储还有一些特征，比如没有目录数的结构，所以理论上可以存储无限量的对象或者是文件，而且性能不会有太大的降低。
从本篇起，我们就开始对『数据库』相关概念内容的介绍，除了介绍基本的名词概念以及他们的使用情况外，我们还会深入到源码层面去探究一些底层实现，例如索引、视图、触发器等技术在数据库引擎层是如何支持的。
这大约等同于12万张DVD存储量，放256GB的SD存储卡上，能装满2320张。该数字一举刷新了磁带存储密度的世界纪录，且相关研究已发表于《IEEE磁学汇刊》。
Dell EMC 和 ATTO 提供了业界唯一的商用解决方案，可将高速以太网连接添加 到标准 SAS LTO 磁带驱动器。ATTO XstreamCORE® ET 8200 智能网桥允许您使用 iSCSI 和 iSER 协议通过标准以太网远程连接到 SAS 磁带驱动器。当与采用最新LTO技术的 Dell EMC PowerVault ML3 可扩展磁带库结合使用时，用户将拥有一个解决方案，为开放式计算、基于云的和超大规模环境提供以太网连接的 LTO磁带。
计算机是处理数据的机器，而数据就需要有地方存放。在计算机中，可供数据存放的地方并不太多，除了内存之外，最主要的存储数据的媒介就是磁盘。对于大多数计算机领域的人来说，磁盘通常被看做是一种外部设备。可是，对于现代操作系统来说，磁盘是不可或缺的。虽然早期的操作系统可以基于磁带，但由于操作系统复杂性和性能的不断提升，用磁带作为操作系统的载体已经不合时宜，取而代之的是磁盘。由于操作系统需要存放在磁盘上，且操作系统内的文件系统也是基于磁盘，所以，从某种程度来说，磁盘是操作系统不可分割的一部分，理解磁盘将对理解操作系统的原理具有重要的意义。
5月25日，云+社区技术沙龙-互联网架构成功举办。本期沙龙特邀请腾讯的技术专家分享关于技术架构、落地实践案例、无服务器云函数架构、海量存储系统架构等话题，从技术角度看架构发展，为开发者们带来丰富的实践经验内容，深度揭秘技术架构。下面是朱建平老师关于如何架构海量存储系统的分享。
本文出自《SRE：Google运维解密》，由Google资深SRE 孙宇聪 担任译者，首次深度剖析Google SRE。 Google Music——2012 年 3 月 :一次意外删除事故的检测过程 此事故特殊点在于，海量数据存储所带来的后勤方面的挑战：去哪里存放5000盘磁带，以及如何能够迅速地(甚至是可行的)从离线媒介中读出数据—— 而这一切还要发生在一个合理的时间范围内。 1. 发现问题：灾难来临 一个 Google Music 用户汇报某些之前播放正常的歌曲现在无法播放了。Google Mus
对存储技术进行了大量的研究，到 1951 年，Eckert 和 Mauchly 创立了自己的公司，设计了一台叫 UNIVAC 的新电脑，最早进行商业销售的电脑之一。它推出了一种新存储：磁带。磁带是纤薄柔软的一长条磁性带子 卷在轴上，磁带可以在"磁带驱动器"内前后移动，里面有一个"写头"绕了电线，电流通过产生磁场，导致磁带的一小部分被磁化。电流方向决定了极性，代表 1 和 0，还有一个"读头"，可以非破坏性地检测极性。
在数字化转型浪潮中，如何存储和利用好数据，是企业面临的首要问题。相比于传统互联网全面拥抱云，产业互联网在数字化转型过程中，通常第一步是利用云存储来归档数据。
本文作者：赖守锋，2001年毕业于湖北工业大学，从事多年智能控制器和存储服务器的硬件和驱动开发。在腾讯主要负责存储机型及存储部件的规划，应用咨询及故障处理相关工作。 前言 2016中国大数据产业峰会上，pony以腾讯的天津数据中心的事例，讲述了数据中心的存储和安全，考虑备灾中心的建设问题。公司从战略高度关注数据中心的数据安全性。 数据中心的数据安全性是一个多方面的问题，从IDC的风，火，水，电的建设，再到从小到一个存储bit，再到一个sector，一个硬盘，一台存储服务器，一个存储服务器集群再到一
现如今，灾难恢复即服务已然正在迅速成为企业利用云服务来解决灾难恢复挑战的一种理想的方式。 对于存储专业人员来说，灾难恢复仍然是一项持续性的挑战。因为与许多其他IT领域不同，近年来，灾难恢复的环境正在变
社会学家按照收入，把所有美国的职业分成100个等级。收入最高的职业为100分，收入最低的职业为1分。在这个体系里面，医生是93分，空姐是53分，擦鞋工是9分。
“数据就是新石油”，这句话似乎已是陈词滥调，但至少证明它所陈述的是一种事实。尽管数据不会像石油一样燃烧，却总是可以从中挖掘出巨大的价值。
在昆腾展台的现场演示中，影视制作软件、素材管理软件以及媒体基础架构等软、硬件系统完美协同，包括昆腾旗下赫赫有名的StorNext文件系统、NVMe全闪存存储、Scalar系列LTO智能磁带库等。
如今，企业需要确保快照和云计算出现勒索软件，此外对备份存储执行严格的控制，以增加应对攻击的安全性。 如果勒索软件没有让IT人员夜不能寐，那么他很幸运。而如果一个黑客盗取你的数据，并且实现勒索软件恢复的唯一方法是支付解密密钥的费用。 在勒索软件情况下通常发生情况的是，粗心的员工加载了某种特洛伊木马，然后加密驱动器上或指向对象的文件系统中的数据。没有公司支付正确的解密密钥，数据被丢失。如果你的数据已经加密，则无关紧要;黑客被认为是一种超级密码，已经凌驾于已经存在的法律之上。在目前的灾难列表中，勒索软件攻击是
CPU (Central Processing Unit) 中央处理器 。 简单来说， CPU是一个超级精细的印刷电路版。
“传统的IT存储厂商，‘存’是其核心关注点；而互联网企业，不仅要做好‘存’，还要做强‘用’。”
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
