首页
学习
活动
专区
圈层
工具
发布

存强则算强!移动云持续迭代云存储服务,筑牢AI时代存力底座

信息时代,数据已成为与土地、劳动力、技术并列的重要生产要素,据IDC报告显示,全球2024年生成163ZB数据,到2028年将增长一倍以上,达到393.9ZB,其中我国数据量也将以25.7%的年复合增长率从2024年的39.5ZB增长至97.1ZB。尤其在AI大模型规模化应用后,用户更是从“质”“量”两方面对数据存储、管理提出“进阶”要求,因此发展高效、智能、安全的新型数据基础设施,已成为经济社会发展的必然需求。

作为云计算“国家队”,移动云近年来始终坚持推动算网基础设施建设,并基于技术创新夯实算网服务体系。针对千行百业持续提升的存力需求,移动云不仅自主研发了新一代全闪存储引擎,构建出先进、可控的存力底座能力,同时还针对不同用户、不同业务场景在智算时代的多元化数据存储需求,打造出一系列创新云存储产品及服务,旨在通过更加高效、可靠的数据存储、管理、流通能力,助力用户加速步入智能化升级之路。

智算时代,为何移动云异军突起?

进入智算时代,以AI大模型为代表的前沿技术需要“算、存、网”高度耦合,数据不能只是“存下来”,更要“读得快、流得动、用得好”,传统存储系统面对EB级容量、毫秒级延迟、多协议并发等需求时,逐渐暴露出容量扩展难、性能瓶颈大、协议割裂严重、管理复杂度高等痛点,显得力不从心。因此新型存储服务应具备但不限于以下特点:

第一:采用分布式存储架构,将数据存储任务分散到多个独立节点,通过网络协同工作,实现数据的高可靠、可扩展和高性能。

第二:应用多协议支撑技术,使存储系统能够同时支持多种不同类型的数据访问协议,大幅提升数据处理灵活性与效率。

第三:应用高速介质及多集群智能化管理技术,突破存储系统性能瓶颈。

移动云新一代全闪存储引擎正是在这样的背景下应运而生。该引擎面向多协议、百万级IOPS、EB级容量设计,采用统一分布式架构,同时移动云还在业内率先实践RDMA+全用户态技术栈,数据从网络收发到NVMe落盘全链路零拷贝,单路时延低至150微秒,端到端吞吐突破4GB/s。基于该引擎,移动云可提供“高性能、高扩展、高可靠、易运维”的云存储服务,从容应对智算时代下用户的极致存力需求。

打造对象存储EOS-HDFS,革新数据管理效能

在大数据分析、AI训推场景频发的当下,传统HDFS架构的局限性日益凸显,其存算一体架构下资源无法独立扩展,导致用户硬件投入和运维成本持续攀升;同时三副本数据冗余机制造成服务实际可用存储容量仅为三分之一——使成本进一步增加;此外该服务跨地域数据容灾难度较大,用户业务连续性也难以保证。为此,移动云以对象存储为底座,打造出EOS-HDFS服务,以满足大数据和AI等领域中数据湖计算场景下的使用需求。

具体而言,该服务不仅天然具备海量存储、无限扩展的核心优势,能够解决传统HDFS存储“存不下、扩容贵”痛点;同时其兼容HDFS标准接口,不仅可与主流大数据平台对接,还可适配各种开源大数据组件,便于用户在不同的存储系统中管理和流转数据;此外该服务内置企业级安全管控能力,能够充分保障用户数据安全不泄露。基于此,该服务能够满足离线数据分析、AI训推、流式计算、数据湖加速等场景下的海量数据存储和分析需求,用户无需更改现有代码即可将本地HDFS无缝迁移至具备高可用性、高扩展性、低成本、可靠和安全的EOS-HDFS上,从而通过存算分离实现数据处理效能革新。

上线智算文件存储产品,为大模型提供存储“动能”

在AI大模型规模化落地之际,模型训练对文件存储提出了“三高”需求:高带宽、高IOPS、高并发。以千亿参数通用大模型训练任务为例,其训练任务要求存储系统必须保障数百张GPU同时访问,任何延迟都会拉低整体算效,使GPU处于“空等”状态。为此,移动云针对AI智算场景对存储系统的高性能需求,推出了智算文件存储服务。

该云存储服务最大支持百GB/s带宽吞吐、百万级IOPS,时延<1ms,能够实现大模型训练快照秒级加载;同时凭借数据链接技术,其能够高效实现与对象存储之间的数据流通;此外,该服务还支持客户端缓存能力,可实现多轮epoch训练数据加载性能提升5倍。基于此,移动云智算文件存储能够以大容量、高吞吐、低时延、多协议访问能力的存力服务为大模型提供强劲“动能”,有效支撑AI训练、自动驾驶、大规模AI训练等智算场景。

存强则算强,AI时代数据要素的价值释放,离不开先进存力基础设施的鼎力支撑,而移动云基于“为国建云”理念,不断打造新型存储引擎,并通过深入实际应用场景,开发出EOS-HDFS、智算文件存储等创新产品,从而在满足用户存储服务需求上,进一步实现效能、成本优化。未来,移动云将持续夯实面向智算时代的存力底座,加速完善高性能、高可靠、低成本的云存储服务,从而加速数据要素流通,推进千行百业数智化转型升级!

声明:以上内容仅代表作者本人观点,与账号主体无关,如有侵权请联系删除。‍‍

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OnKqn1nOOPdG0TTnzop1OOlQ0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。
领券