文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

微软：AI存储，SSD or HDD ?

存储层次结构：系统采用了多层存储架构，包括缓存、Blob存储（对象存储引擎）、SSD和HDD，以平衡性能和容量需求。 2....性能优化： • 低延迟访问：利用SSD存储最近的检查点数据。 • 高吞吐量：通过从Blob存储层并行访问来支持GPU扩展。...核心要点：GPU从Blob存储层同时访问会驱动高吞吐量 Fig-6 从AI系统存储带宽需求，看HDD和SSD发展现况和机遇： • 当前系统使用SSD能满足训练和Checkpoint的性能读取（但成本较高...总结 作为运营主要AI训练资源云厂商，”巨硬“对AI应用层系统实践，应该说是富有经验的，从这篇分享中可以总结以下几点： • 和新兴存储厂商（WEKA/VAST/Infidant）等普遍拥抱闪存基础设施&...数据IO栈相比，MicroSoft 基于自己过去云资源实践，从投资角度来看，并没有完全转向QLC-SSD，仍是基于HDD来构建温数据层，减少存储硬件投资； • 在温数据层基于Blob对象存储引擎，和业界现在普遍热议的并行文件系统不同

1.3K10

NVMe SSD存储SR-IOV进展

存储 SR-IOV 介绍 图右是云化环境存储路径，虚拟化管理层（绿底）IO路径，效率不高；NVMe SSD 基于 SR-IOV能简化IO路径，提升效率。...面临的挑战 云化基础设施中多租户普遍应用，有限SR-IOV 路径限制了租户数量。 1....技术突破：相比SR-IOV，Intel可扩展IOV允许单个SSD在一个根端口下虚拟化约1000个（254 x 4）独立存储设备。 2....• 使用PCIe交换机连接主机和存储设备。 • SIOV SSD包含物理功能（PF）和多个设备资源（DR）。 突破PCIe虚拟功能（VFs）数量限制的策略。 关键点： 1....效果展示：图示中展示了一个SSD SR-IOV设备，通过这种方法实现了4个端点，每个端点254个VFs，总计1016个VFs。 未来展望 存储虚拟化技术的下一波改进方向。 关键改进领域： 1.

1.3K10
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    Micron：AI PC存储，SSD如何成为“准内存”？

    阅读收获 深入理解AI PC边缘推理对存储的革命性需求，认识到高速NVMe SSD在AI工作负载中的“准内存”角色。...AI PC 对存储的性能需求 在 AI PC 上本地运行大型 AI 模型（如 LLM/VLM）将极大地改变内存和存储之间的关系，使得高速、大容量的存储（SSD）成为 AI 运算流程中不可或缺的“准内存...对存储的革命性要求： 这种机制的成功严重依赖于存储（SSD）的性能。...SLC 性能优势的实证： 通过具体的实验数据证明，利用 SSD 内部的 SLC 高速缓存区域 来存储和加载 AI 模型，其速度远快于使用标准的 QLC 存储区域。...AI PC 的高性能存储方案不仅仅依赖于硬件（SSD 本身），更依赖于操作系统 (OS) 和 SSD 固件 (Firmware) 之间的深度协同优化。

    89910

    Solidigm：NVMe SSD 在AI存储中的价值

    全文概览 文章探讨人工智能和机器学习（AI/ML）数据管道中的存储解决方案，强调了固态硬盘（SSD）尤其是NVMe SSD在不同阶段的应用价值。...接着，详细比较了FIO基于工作负载下，不同类型的存储设备（如HDD与NVMe SSD）在数据读写上的性能差异，显示NVMe SSD在AI和ML应用中展现出更好的性能和适应性。...值得留意的是HDD的存储性能数据，考虑到云化环境下80%的数据是存储在HDDs上的，企业对基础设施的投入成本敏感，短时间内很难贸然大批量更换。...On-Prem（本地）： 右图 GPU 服务器与全 QLC 对象存储层在本地部署中，GPU 服务器通过 SSD 存储与全 QLC（四层单元）对象存储层进行数据交互。...Solidigm 存储产品族 图展示了在不同 AI 数据存储阶段（如数据导入、准备、训练等）所需的存储性能要求，并根据每个阶段的具体需求推荐了不同的 Solidigm SSD 产品。

    2.8K00

    IBM计算存储：SSD如何加速十亿级向量搜索？

    通过内存缓存压缩索引 + SSD 存储全量数据的混合模式，企业可以使用低成本的闪存存储来承载海量 AI 知识库。...基于量化 DiskANN (重点关注) SSD/内存混合：DRAM 存压缩导航图，SSD 存全量高精度向量和邻居表。 分层存储：利用 SSD 的大容量替代昂贵的 DRAM。打破了“内存容量墙”。...网络安全与异常检测（Anomaly Detection） 金融机构或云厂商分析海量日志流，检测异常流量或欺诈行为。...架构的云原生化演进： 在数据保护层面，从传统的 RAID 转向Replication（多副本）。...然而，这种高度定制化的计算型存储方案，在通用性、生态兼容性以及与现有云原生存储架构的融合方面，可能面临哪些挑战？ 文章指出现有存储接口抽象层级过高，无法发挥计算型存储的物理优化潜力。

    44410

    KIOXIA：当SSD开始思考——存储架构的算力升级

    获得评估下一代存储架构时所需的关键技术视角 全文概览 在高性能存储系统中，一个关键矛盾正在浮现：网络带宽正从400Gbps向1.6Tbps跃迁，SSD单盘性能已突破32GB/s，但承载数据处理任务的xPU...本文将介绍一种突破性的解决思路——将算力从xPU下沉至SSD本身。通过在SSD控制器中集成专用硬件引擎，实现"买容量送算力"的线性扩展模式，使存储系统彻底突破IO Wall的限制。...隐含推论：为了解决“加盘不加算力”的问题，必须将计算能力打散，下沉到每个SSD上（即计算存储），实现算力随容量线性扩展。...采用DPU并将负载卸载至SSD的存储系统 架构变革（Headless/Disaggregated）： 展示了存储架构从“传统双控”向 “分布式无机头架构” 的演进。...在海量数据时代，这种架构避免了为了增加存储容量而被迫过度采购计算资源的浪费，是构建大规模云存储基础设施的理想选择。

    37910

    【存储100问】如何理解SSD设计中的全局FTL？

    与此同时，对象存储作为一种灵活、可扩展的数据管理方式，在云服务、大数据和AI等领域扮演着越来越重要的角色。然而，将海量、多变的对象数据高效地存储在SSD上，并非易事。...它在云计算、大数据分析、人工智能（AI）以及大规模归档等领域的重要性日益凸显 4。...数据库与云服务：这些环境I/O密集，且对性能的稳定性和成本效益有较高要求。全局FTL有助于提供一致的性能并降低总体拥有成本 5。...字节跳动：ZNS-SSD云存储实践 主要内容：文章探讨了基于ZNS SSD的高性能存储系统的设计和结果，强调了ZNS技术在云存储中的应用。...通过硬件与软件协同设计，ZNS SSD能够显著提高存储系统的性能和稳定性，适用于云原生数据库和弹性块存储系统。

    1.3K21

    SMI：QLC SSD与FDP：人工智能时代的存储命题

    本文通过案例研究，深入探讨了FDP在QLC SSD中的实际应用效果，以及如何结合多租户QoS管理技术进一步提升存储系统的性能。...人工智能推动高容量存储增长 AI驱动的存储市场预计到2033年将达到2000亿美元以上，年复合增长率（CAGR）超过20%。 企业领域和SSD将成为AI存储市场的主导力量。...人工智能推动高容量存储增长 预计到2033年，人工智能驱动的存储市场将达到2000亿美元以上，年复合增长率（CAGR）为20%以上。 企业领域和固态硬盘（SSD）预计将主导人工智能驱动的存储市场。...技术的报道可阅读以下历史文章： SiliconMotion：多租户SSD的PerformaShape™算法 主要内容 介绍了云存储SSD中多用户性能问题的挑战，特别是如何保障租户应用程序的服务质量（QoS...人工智能革命通过对高容量SSD的需求改变了存储行业 QLC SSD最适合高容量应用，但也存在局限性 FDP（灵活数据放置）有助于QLC SSD的推广 通过减少写放大因子（WAF）和垃圾回收（GC）来延长

    1.2K10

    云存储：云计算储存

    以下是对云存储的全面详细讲解：云存储的基本概念云存储（Cloud storage）是一种网络在线存储模式，用户将数据存放在通常由第三方托管的多台虚拟服务器上，而非专属的服务器。...云存储的技术原理云存储作为云计算的一个核心组成部分，承担着数据存储与信息收集的任务。...云存储的市场趋势云存储市场规模预计将持续增长，2023年全球云存储市场规模为1440.5亿美元，预计到2031年将达到6552亿美元。...云存储的行业应用云存储技术广泛应用于金融、电信、政务和制造业等行业，这些行业对云存储的营收贡献超过70%。这些行业在数据管理、业务连续性和技术创新方面对云存储的深层依赖及其对策略重要性的认知。...云存储的技术发展未来，云存储将呈现出以下发展趋势：智能化与自动化：随着AI技术的发展，云存储将实现更加智能化和自动化的管理。

    12.5K10

    大话云存储

    1、云存储的官方定义 云存储是一个以数据存储和管理为核心的云计算系统 即是指通过集群应用、网格技术或分布式文机房集中监控系统件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，...云存储设备横向扩展的方式让存储系统具有了无限扩展的能力，能够实现控制器与硬盘的同时扩展，即性能与容量可以同时实现线性扩展，云存储一般可以分为私有云存储、公有云存储。...，云存储领域也必须正面和直视这个问题！...3、云存储与云计算的关系 当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统...，小存量文件也可以存储到自己的邮箱内 5、企业用户云存储云计算技术如何保障数据安全 云存储的一大优势在于其弹性，其实更准确说最初云存储产品的安全性是产品的附加属性。

    14K60

    Meta：关于SSD，云服务商到底关心啥？

    Note：留意表格内主要是西方头部互联网企业和2家系统集成商，为什么真正存储厂商（如Samsung/SK/Micron/WD等）却没有加入？...认证挑战 每个超大规模云提供商都使用专有的测试和工具！...挑战： • 资源密集型 • 耗时，影响上市时间（TTM） • 测试覆盖存在漏洞 • 超大规模云提供商之间不共享 SSD 修复 • 每个供应商使用多个工具，各自有不同的缺陷 图片描述了在 NVMe 测试和认证过程中面临的挑战...总结 回应标题提出的问题：云服务商作为大型IT基础设施运维主体，其对IT硬件的需求往往一定程度能影响硬件厂商选型。Meta在OCP生态的投入是其企业转型一部分（从互联网企业转向硬件基础设施）。...存储基础设施正随业务场景驱动，经历从HDD向SSD迁移、升级的历史阶段，存储软硬件厂商在趋势中要抓住主要矛盾，才能立足并长期发展。

    1.4K00

    漫谈云存储

    这篇文章也是，谈谈云存储的时候，再来聊聊其他的一些想法。 云计算 云计算已经遍地开花，各种层面的运维已经漫地都是。。。IAAS层的运维，PAAS层的运维，SAAS层的运维。。。...而当使用所谓的申请虚拟机的时候，是否需要持久化存储，是否需要云存储？数据存储在哪里？分布式存储。。。 云上。。。。最重要的莫过于云存储！！！...云存储 心到处流浪，无处安放总是不好的，所以总要找一个人，寻一座城，进行持久化存储。。。这就是云存储的由来。。。 为啥需要云存储？...云存储的好处太多，但是在底层基本都是分布式存储，其实云存储也就是分布式存储，只不过进行了一层封装，这就是为什么那么多人需要打扮的花枝招展，不然怎么招蜂引蝶。。。...需要存储哪些数据？ 大数据。。。存储在云存储中。 虚拟机VM的快照备份信息。。。存储在云存储中。 数据库的备份binlog信息。。。存储在云存储中。

    13K60

    腾讯云存储网关提供混合云存储服务，实现数据分层存储！

    ​存储网关（Cloud Storage Gateway，CSG）是腾讯云提供的混合云存储服务。...05 海量存储 CSG 能够配合公有云对象存储 COS 提供海量的数据存储，单个文件系统最大支持1PB。...通过在腾讯云上部署创建存储网关CSG，您无需关心本地应用与云存储的兼容性，CSG可以在无感知的状态下实现协议转化，将数据以原始格式上传COS。...02 数据扩容 拓展本地 NAS 和 SAN 存储阵列需要耗费硬件成本和人力部署成本，您只需要在本地部署存储网关 CSG 将公有云存储接入到本地存储系统架构，即可享受安全稳定、海量、低成本的公有云服务。...写在最后 腾讯云存储网关通过本地存储空间缓存了热点数据，保证了前端应用的本地访问性能，同时又可以利用云上海量的存储空间。

    27.5K30

    腾讯云存储网关提供混合云存储服务，实现数据分层存储！

    存储网关（Cloud Storage Gateway，CSG）是腾讯云提供的混合云存储服务。...05 海量存储 CSG 能够配合公有云对象存储 COS 提供海量的数据存储，单个文件系统最大支持1PB。...通过在腾讯云上部署创建存储网关CSG，您无需关心本地应用与云存储的兼容性，CSG可以在无感知的状态下实现协议转化，将数据以原始格式上传COS。...02 数据扩容 拓展本地 NAS 和 SAN 存储阵列需要耗费硬件成本和人力部署成本，您只需要在本地部署存储网关 CSG 将公有云存储接入到本地存储系统架构，即可享受安全稳定、海量、低成本的公有云服务。...写 在 最 后 腾讯云存储网关通过本地存储空间缓存了热点数据，保证了前端应用的本地访问性能，同时又可以利用云上海量的存储空间。

    29.6K30

    可计算存储: 透明压缩，数据库IO模型和SSD寿命

    我们很难逐一列举所有的关键变化，但在存储领域也遵循这个预测。...比如最近一直提到的华为天才少年，张霁研究磁盘和数据库相关的智能优化，姚婷研究新型存储介质和键值存储系统，左鹏飞研究非易失性内存系统，都与存储领域有直接关系，似乎也说明存储领域的变化还在不断发生。...存储领域也不例外，纵观Flash的历史： ? SSD持续在企业关键应用落地并大规模部署。从MLC，TLC再到QLC，容量逐渐增大成本逐渐降低，但基于SSD技术的实现原理，寿命问题也愈发突出。...当然业界也在提高SSD存储颗粒的擦写次数、GC算法方面持续发力，同时，结合可计算存储的透明压缩，也为SSD寿命及稳定性的提升带来了新的方向。...要考虑压缩带来的寿命收益，首先以不影响业务（参见：可计算存储: 数据压缩和数据库计算下推）为前提。决定写入寿命的相关因素很多，比如存储颗粒的品质，数据模型，温度，湿度，可能还涉及玄学。

    1.4K20

    【AI 进阶笔记】SSD 改进：Rainbow-SSD

    然而，江湖险恶，SSD 也有其软肋，尤其在检测小目标时，常常力不从心。...为了解决这一问题，武林高手们提出了各种改进版本，其中就包括我们今天的主角——Rainbow SSD（Rainbow-SSD，简称 R-SSD）。 2....R-SSD 的独门秘籍 2.1 彩虹连接 传统的 SSD 在不同尺度的特征层上独立进行检测，彼此之间缺乏联系。这就像是各门派各自为战，缺乏协同。...PyTorch 实现 R-SSD 接下来，我们将通过 PyTorch 实现一个简化版的 R-SSD，帮助大家更直观地理解其内部机制。...R-SSD 在数据集上的表现 实验表明，R-SSD 在 COCO 和 PASCAL VOC 数据集上的表现优于传统 SSD： 小目标检测性能提升，mAP 提高 2~4 个百分点。

    96100

    可计算存储: 透明压缩，数据库IO模型和SSD寿命

    我们很难逐一列举所有的关键变化，但在存储领域也遵循这个预测。...比如最近一直提到的华为天才少年，张霁研究磁盘和数据库相关的智能优化，姚婷研究新型存储介质和键值存储系统，左鹏飞研究非易失性内存系统，都与存储领域有直接关系，似乎也说明存储领域的变化还在不断发生。...存储领域也不例外，纵观Flash的历史： ? SSD持续在企业关键应用落地并大规模部署。从MLC，TLC再到QLC，容量逐渐增大成本逐渐降低，但基于SSD技术的实现原理，寿命问题也愈发突出。...当然业界也在提高SSD存储颗粒的擦写次数、GC算法方面持续发力，同时，结合可计算存储的透明压缩，也为SSD寿命及稳定性的提升带来了新的方向。...要考虑压缩带来的寿命收益，首先以不影响业务（参见：可计算存储: 数据压缩和数据库计算下推）为前提。决定写入寿命的相关因素很多，比如存储颗粒的品质，数据模型，温度，湿度，可能还涉及玄学。

    2K20
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券