近期实验室项目需对2GB/s的高速数字图像数据实时存储，后续数据带宽将提升至30GB/s。经调研，SATA协议的固态硬盘理论存储有效带宽为600MB/s，NVMe协议的固态硬盘理论带宽随PCIe协议而不同。NVMe协议的固态硬盘在PCIe Gen2、Gen3条件下，理论有效带宽分别为2GB/s、3.938GB/s。目前，NVMe SSD最高搭载PCIe Gen4通路，其理论有效带宽为7.877GB/s。
硬盘是大家都很熟悉的设备，一路走来，从HDD到SSD，从SATA到NVMe，作为NVMe SSD的前端接口，PCIe再次进入我们的视野。作为x86体系关键的一环，PCIe标准历经PCI，PCI-X和PCIe，走过近30年时光。其中Host发现与查找设备的方式却一脉沿袭，今天我们先来聊一聊PCIe设备在一个系统中是如何发现与访问的。
子虚将全书阅读了三遍以后，顿悟了一个道理：大革命的爆发，其根本原因是因为生产关系无法适应生产力的攀升，从而不得不通过革命这种激烈的方式，来重构原本构建在传统硬件上的落后的基础软件。
http://www.searchdoc.cn/rdbms/mysql/dev.mysql.com/doc/refman/5.7/en/index.com.coder114.cn.html
硬件设备，是任何一名深度学习er不可或缺的核心装备。各位初级调参魔法师们，你们有没有感到缺少那一根命中注定的魔杖？
上周末参加了冬瓜哥的存储和服务器底层原理架构培训课程，又重拾了存储和服务器的部分知识。个人言论不代表冬瓜哥及所在公司观点。
通知：《大话计算机》一书初审、终审完毕，已经进入终稿落地修改意见阶段，一切顺利的话，2月底印刷入库，底3月中下旬就会上市！
作为《大话存储 终极版》以及《大话存储后传》的作者，我有幸经历了国内存储行业发展的启蒙和鼎盛时代。在2005年到2013年这8年间，存储市场基本就是SAN的市场，谈存储必暗指SAN。但是从2014年往后，存储行业突然发生巨大变化，分布式系统和固态存储介质开始爆发式增长。今天，谈存储如果不谈一谈配以固态硬盘的分布式系统，就仿佛是上个时代的人了。
固态驱动器（Solid State Drive），俗称固态硬盘，固态硬盘是用固态电子存储芯片阵列而制成的硬盘，因为台湾英语里把固体电容称之为Solid而得名。SSD由控制单元和存储单元（FLASH芯片、DRAM芯片）组成。固态硬盘在接口的规范和定义、功能及使用方法上与普通硬盘的完全相同，在产品外形和尺寸上也完全与普通硬盘一致。被广泛应用于军事、车载、工控、视频监控、网络监控、网络终端、电力、医疗、航空、导航设备等诸多领域。
更早提出闪存概念的是1967年，贝尔实验室江大原（Dawon Kahng，韩裔）和施敏博士（Simon Sze）共同发明了浮栅MOSFET，即所有闪存的基础。
深度学习是非常消耗计算资源的，毫无疑问这就需要多核高速的CPU。但买一个更快的CPU有没有必要？在构建深度学习系统时，最糟糕的事情之一就是把钱浪费在不必要的硬件上。本文中我将一步一步教你如何使用低价的硬件构建一个高性能的系统。
提起存储都是血泪史，不知道丢了多少数据，脑子首先想到的就是《你说啥》洗脑神曲，我就像那个大妈一样，千万个问号？？？？？？？？？？？？？.........
示波器卡上一般会有512M-2G左右的缓存，可以存储采集的信号，但当采集数据超过2G时，普通的PCI/PXI总线接口带宽只有133M，难以承担实时传输的任务。
NVMe在协议栈中处于应用层或者命令层，它是指挥官，军师，在三国的话，就是诸葛亮的角色。”运筹帷幄之中，决胜千里之外”。军师设计好计谋，就交由手下五虎大将去执行。NVMe的手下大将就是PCIe，它所制定的任何命令，都交由虎将PCIe去完成。虽然NVMe的命令可能可以由别的接口协议完成，但NVMe与PCIe合作形成的战斗力无疑是最强的。
概述：NVM Express（NVMe），或称非易失性内存主机控制器接口规范（英语：Non Volatile Memory Host Controller Interface Specification，缩写：NVMHCIS），是一个逻辑设备接口规范。它是与AHCI类似的、基于设备逻辑接口的总线传输协议规范（相当于通讯协议中的应用层），用于访问通过PCI Express（PCIe）总线附加的非易失性存储器介质（例如采用闪存的固态硬盘驱动器），虽然理论上不一定要求 PCIe 总线协议。
基于广州星嵌电子科技有限公司TMS320C6657+ZYNQ7035/45评估板的PL端实现标准NVMe 1.3协议的Host端，即纯逻辑实现NVMe Host IP。
在上期，我们提到，子虚将SPDK的轮询机制，与JFZ女士的日本游记中的画面进行了联系，虽然觉得自己在隐秘地开车，但还是留下了证据。
犹记得当年Windows7系统体验指数中，那5.9分磁盘分数，在其余四项的7.9分面前，似乎已经告诉我们机械硬盘注定被时代淘汰。势如破竹的SSD固态硬盘，彻底打破了温彻斯特结构的机械硬盘多年来在电脑硬件领域的统治。SSD数倍于HDD机械硬盘的传输性能，让普通用户和发烧玩家的体验均成倍提升。如今，经历多年来的发展，以金士顿和HyperX为代表的SSD品牌，已完全主导硬盘存储市场。
为了让初学者花最少的钱办性价比最高的事情，我构造了这样一套DIY装机配置，在最大化利用显卡资源的同时，极力压缩无关配置。这个配置的主要特性是去掉了扩展性的可能，从而大幅降低了成本。
AI科技评论按：对于那些一直想进行深度学习研究的同学来说，如何选择合适的配置一直是个比较纠结的问题，既要考虑到使用的场景，又要考虑到价格等各方面因素。 日前，medium上的一篇文章为我们详细描述了该如何为个人的深度学习机器选择配置，主要该进行哪些方面的考虑。 AI科技评论编译整理如下： 作为一名业余爱好者，在探索和解决深度学习问题时，亚马逊 EC2 实例的运行成本太高了。 在一开始，我采用的是 Reserved 实例收费模式，因为我对云生态系统不是很懂。 后来，在运行结构良好的实验时，Spot 实例也成了
对于那些一直想进行深度学习研究的同学来说，如何选择合适的配置一直是个比较纠结的问题，既要考虑到使用的场景，又要考虑到价格等各方面因素。日前，medium上的一篇文章（http://t.cn/RYLYxXP）为我们详细描述了该如何为个人的深度学习机器选择配置，主要该进行哪些方面的考虑。以下是AI研习社的翻译： 作为一名业余爱好者，在探索和解决深度学习问题时，亚马逊 EC2 实例的运行成本太高了。在一开始，我采用的是 Reserved 实例收费模式，因为我对云生态系统不是很懂。后来，在运行结构良好的实验时，Sp
在上期，我们提到了，以NFS，CIFS(SAMBA)为代表的资本主义时代的存储技术，虽然实现了远端主机跨越互联网访问共享的数据，极大地提升了生产力，但集中式存储主控(俗称机头)的处理能力成为了IO和吞吐能力的瓶颈，正如资本主义生产关系下，生产资料私有制约束了生产力的进步。
4U飞腾FT-1500A存储服务器，24个2.5” SAS盘位，支持领存特制军工固态硬盘，具备一键物理自毁和一键逻辑自毁双重自毁功能，具备领存SSD与存储阵列绑定功能，当SSD被非法拔出在其他电脑上读取数据时，SSD会自动启动销毁程序，将SSD进行逻辑自毁或者物理自毁，确保数据安全，同时，此款阵列具备强劲的计算性能和扩展能力。
过去，网络只要升级至 10Gb、40Gb 和 100Gb 以太网，就足以满足存储系统的联网需求了。但现如今，随着超快固态硬盘 (SSD) 和高速非易失性内存 (Non-Volatile Memory Express, NVMe) 的问世，网络存储已经发生了翻天覆地的变化。 什么是 NVMe？ 传统的存储系统的基础是硬盘驱动器 (HDD) 旋转介质，这项技术历经 60 余年沉淀发展而成。随着设备尺寸越来越小且速度越来越快，驱动器技术不断演进，固态驱动器 (SSD) 的问世给存储世界注入了新的血液。 突然之间
之前写了一篇文章分析了Datapump迁移数据的一些准备总结，反响还不错。Datapump数据迁移前的准备工作，最近碰到一个场景，根据评估还是使用Datapump比较好。主要的原因如下： 1.原来的环境在Solaris下，硬件资源老旧，需要迁移到Linux下，跨平台迁移使用逻辑迁移优先 2.原来的环境使用10gR2,现在需要顺带迁移到11gR2，充分解决备库“不中用”的情况 3.迁移的数据量不算大，在几百G以内，可以充分利用带宽和I/O吞吐量来达到预期的时间窗口。 而在这个方案之外，考虑到提高性能，我们采用
当NVMe在10年前以硬盘接口协议的身份出现时，谁也不会料想到，它会在基础设施领域，获得今天的荣光。
4）Firmware相当于OS(通常说的升级固件，相当于我们PC的重做系统；板子上有一块可可擦写的存储区域)
数据分层存储技术主要应用在混闪存储系统设计，可根据数据冷、热、温的特点，合理调度使用SSD、HDD等不同介质类型的存储资源，降低存储系统的初始购买成本。
NVM Express ( NVMe ) 或 Non-Volatile Memory Host Controller Interface Specification( NVMHCIS ) 是一种开放式逻辑设备接口规范，用于访问通过PCI Express总线连接的计算机非易失性存储介质。NVM 的缩写代表非易失性存储器，通常是 NAND 闪存，具有多种物理外形，包括固态驱动器(SSD)、PCIe 附加卡和M.2（ mSATA的后继者 ）。
作者曾在 2015 年写过一版深度学习硬件推荐的文章，但如今计算机硬件的迭代速度非常快，因此作者在近期将原来的文章进行了大幅改动，写出了第二版深度学习硬件推荐。
在两年之A前的帖子《FPGA实现高带宽NVMe SSD读写》中，我们实现了一个基于PS和PL端的高速NVMe SSD IP。这个IP在我们自己的系统中使用正常，但是由于该IP使用了PS端资源，在与其他应用系统集成时遇到了麻烦。为了保护自有的设计，需要独占PS端的一个ARM处理器，这使得该IP在与其他项目集成时，使用很不方便。除此以外，原方案IP写SSD硬盘的最大速度约为2.8GB/s，而PCIe Gen3条件下理论有效带宽为3.938GB/s，基于x86的PC测速一般为3.6GB/S，FPGA的实现方式与理论速度以及x86平台的速度存在一定的差距，因此希望进一步提高IP的硬盘的读写速率。
新基建背景下，企业IT支出重点快速向数字化创新和跨界跨业协作转变，企业需要越来越智能的企业数据中心。
为了更好的浏览体验，欢迎光顾勤奋的凯尔森同学个人博客http://nas.hepcloud.top:7000
最近，某著名CSP(Cloud Service Provider)推出了一款DBFS(Data Base File System)产品。
随着社会数字化程度的不断提高，人类生活中越来越多的信息变成了数据，人类也产生了更多对于数据的需求。从移动支付到自动驾驶，数据量暴增不仅带来数据存储的压力，也同样对于数据处理提出了更高的要求：在待处理数据量剧增的情况下，数据传输的时延还必须不断缩短。 在这一背景下，数据中心必须不断发展演进，方可应对未来的挑战。数据中心虽涉及多类软硬件设备，业界关心最多、影响最大、技术栈最深的依然是存储侧基础设施。随着存储闪存化转型升级的深入，业界越发意识到，SSD等介质革命固然带来了IO的巨幅提升，但NVMe协议才是发挥性
NVMe（非易失性存储器Express）是一种用于访问高速存储介质的新协议，与传统协议相比具有许多优势。大规模数据的性能，经济性和耐久性至关重要。NVMe对企业及其如何处理数据产生了巨大影响，特别是用于实时分析和新兴技术的快速数据。业内已经出现基于该协议的高密度视频转码方案，我们来一探究竟。
接触深度学习已经快两年了，之前一直使用Google Colab和Kaggle Kernel提供的免费GPU（Tesla K80）训练模型（最近Google将Colab的GPU升级为Tesla T4，计算速度又提升了一个档次），不过由于内地网络的原因，Google和Kaggle连接十分不稳定，经常断线重连，一直是很令人头痛的问题，而且二者均有很多限制，例如Google Colab一个脚本运行的最长时间为12h，Kaggle的为6h，数据集上传也存在问题，需要使用一些Trick才能达成目的，模型的保存、下载等都会耗费很多精力，总之体验不是很好，不过免费的羊毛让大家撸，肯定会有一些限制，也是可以理解的。
这本手册是《Intel 64 and IA-32 Architectures Software Developer's Manual》，全书共4卷，学习之后可以对x86计算机的工作机制有庖丁解牛一般的深入理解。
Host如果想往SSD上写入用户数据，需要告诉SSD写入什么数据，写入多少数据，以及数据源在内存中的什么位置，这些信息包含在Host向SSD发送的Write命令中。每笔用户数据对应着一个叫做LBA（Logical Block Address）的东西，Write命令通过指定LBA来告诉SSD写入的是什么数据。对NVMe/PCIe来说，SSD收到Write命令后，通过PCIe去Host的内存数据所在位置读取数据，然后把这些数据写入到闪存中，同时得到LBA与闪存位置的映射关系。
最近，给当台式服务器一样使用了两年的 ThinkPad 做了存储升级和数据迁移，对硬盘也做了额外的散热处理。
OP=(SSD裸容量 - 用户容量)/用户容量
IDO-SOM3908-V1 是基于 RK3399 系列 CPU 开发设计的一款高性能核心板，双 Cortex-A72 大核+四 Cortex-A53 小核，六核 64 位 CPU，搭载 Android7.1/LINUX 系统，主频高达 2.0 GHz，采用 Mali-T864 GPU，支持 4K、H.265 硬解码。核心板内置 EDP、MIPI-DSI、HDMI、DP 显示接 口。并且还带有 2 路 MIPI-CSI 以及千兆 RGMII 等。其接口丰富，性能更强，速度更快。
说到NVMe，“快”是人们对它的第一印象。因为NVMe的出现，硬盘的性能得到了极大的提升。那到底什么是NVMe呢？
人类自诞生之日起，就常常因为一些事情经常这样或那样做而形成一种惯例，我们称这种惯例为习惯。CPU就是这么一种产物，什么都可以做，灵活，好用。但随着定制化芯片的不断发展，是否真的需要CPU逐渐成为一种值得考虑的问题。尤其在定制计算领域，CPU的计算能耗比过高已经成为事实，甚至有几个数量级的差别。如本公众号之前曾发布的唤醒芯片的介绍"小爱同学"之类语音唤醒芯片相关技术介绍，都是不带CPU的超低功耗芯片。那么，在常常以功耗过大被诟病的数据中心应用日益频繁的DPU芯片，是否也可以不带CPU呢？本文介绍一篇2022年5月19日发布在https://arxiv.org/pdf/2205.08882.pdf网站上的一篇文章。
新手要在NVIDIA Jetson上进行开发，必须先学会刷机。NVIDIA Jetson刷机是指为NVIDIA Jetson系列嵌入式开发板刷写（或更新）其操作系统和相关软件的过程。Jetson系列开发板是NVIDIA推出的专为AI计算设计的平台，广泛应用于机器学习、计算机视觉、机器人等领域。刷机是这些开发板使用过程中常见的操作，主要用于安装或更新操作系统、CUDA、cuDNN、TensorRT等关键软件，以满足不同的开发需求。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
