面对数据爆炸时代,你有哪些应对的策略?
早在多年前,著名分析机构IDC就预测到2025年,全球数据的总量将增长到175ZB,这是2018年33ZB的五倍多。按照这样的增长方式,我们将面对的是一个数据爆炸的时代,而面对这些数据,我们如果希望高效加以利用,数据存储和分析是最重要的基础步骤,而这也正需要海量存储的支撑。
从左至右分别为:E 企研究院创始人张广彬、中国计算机行业协会信息存储与安全专委会秘书长阳小珊、武汉光电国家研究中心吴非、中科曙光存储事业部副总经理张新凤
日前,“数字中国万里行-西部(重庆)科学城先进数据中心暨曙光存储一体化存力方案发布”活动启动,数字中国万里行活动旨在带领行业专家、用户及媒体探访算力中心,深入了解新型算力基础设施对“数字中国”建设的推进作用。在本次发布会上,中科曙光存储事业部副总经理张新凤进行了题为“构筑存力一张网”的主题演讲,并发布了曙光存储一体化存力相关解决方案。
东数西算、大模型等场景带来存力应用新需求
其实这并不是曙光存储第一次谈到存力一体化的概念。随着东数西算从战略到应用的不断落地,如今越来越多的数据被放在了西部地区,也从而衍生出了“东数西存”、“东数西渲”和“东数西训”等概念。虽然看起来各不相同,但本质上他们都强调了数据价值的挖掘,无论是存储、渲染还是AI训练,都要对数据进行加工利用,这其中也自然离不开存储设备的支撑。
正如中科曙光存储事业部副总经理张新凤在主题演讲中谈到的:“ 东数西算这种存算协同的建设模式其实也进一步丰富了数据的应用场景,激发了对存力平台的更高要求。我们以前对于存力平台比较关注规模和成本,到今天我们还要关注性能,还要关注数据的跨区域流动以及数据全生命周期管理等问题”。
同样对存力产生热切需求的还有AIGC大模型。从今年年初开始,大模型就成为了IT产业的“关键词”,同时也引起了行业新一轮的变革——无论是互联网公司、传统IT公司甚至科研院所都参与到了这场大模型的“大乱斗”当中,时至今日还有企业在不断发布自家的大模型,就是希望能够在AIGC时代站稳脚跟。
从目前的应用场景来看,文字与图片应用依然是大模型的“主战场”,各种对话机器人、绘画机器人层出不穷,而这背后都需要针对海量数据的采集、管理和训练,需要强大的算力处理能力和配套的海量数据存储能力,这同样引发了业内对于算力和存力均衡发展的诉求。
由此看来,不同于之前我们常说的“大数据”概念,如今我们对数据应用的需求变得更为具体,除了以往大家就很关注的容量、性能、安全等因素之外,全新的场景需要更好的数据应用适配,需要海量数据的流通与管理,更需要绿色低碳的基础设施支撑。一句话,未来的存力挑战包括了性能、场景、节能多维度的比拼,好的存力提供商更应该成为全能的“六边形战士”。
六大技术支撑,曙光存储一体化存力方案发布
正是看到的当下数据应用的行业痛点,曙光存储了一体化存力的概念,一方面支持海量数据存储、多场景应用,另一方面还能够实现数据的跨区域流动、业务访问无感知,再结合AI管理和绿色低碳的节能技术,让存力智能管理体验融入实施规划、运维管理、应用指导的全流程。具体说来,本次发布的“存储一体化存力”解决方案,就融合了上述“六个一”特性,真正实现了存力一张网,为数据应用提供了新选择。
首先实现的就是多场景的智能适配融合。刚刚我们提到,海量数据应用的场景五花八门,而存储协议也包括了文件、对象、块等多种协议,这就让许多用户在选择的时候“挑花了眼”。而这一次,曙光通过一体化存力方案,实现了场景融合一体化,既提供了EB级存储的扩展能力,又支持多协议统一管理,兼顾了容量和性能,打造了强大的数据底座。
接下来要实现的就是跨区域的数据自由调度,也是分布式存储应用的最大优势。相比传统的集中式存储来说,曙光存储通过多集群的统一访问,不但实现了数据共享和协同调度,还能够实现数据的自由迁移,无论是热数据、冷数据还是温数据都可以实现在多个数据中心之间智能流动,让数据的利用效率最大化。
第三个则是多维度的智能服务一体化,即基于一体化存力平台提供了AI技术与南北向访问接口。其中,AI技术让前端业务模型具备了自动化学习能力,并可以基于学习结果对存储系统的应用给出专业化建议,从而提升对于存储利用效率。而丰富的北向API和南向多种访问协议的加入,无论是对云还是容器的平台,都可以进行紧密融合,进而对存储资源进行更加细腻化的管理和调度服务,真正实现一站式管理,再无繁琐的运维操作。
既然谈到数据,安全自然也是重中之重。在“数据安全一体化”层面,曙光存储不仅关注到了硬件层面的平台安全和软件安全,同时也关注了基层架构的存储技术安全和应用层面的生态安全。其中,技术安全层面曙光存储凭借多年来存储行业的技术积累实现了自主创新,而在生态层面则瞄准产、学、研、用四大维度完善存储产业生态,实现人才储备、产业上下游的健康持续发展。
除了安全,可靠性也是存储架构的关注重点,在这一点上曙光实现了四级机制——从部件及到节点级、从系统级到方案级,逐层递进、梯次布局,保障了数据的可靠性;结合当下热门的绿色低碳、节能减排要求,曙光存储也发布了业界首款液冷存储系统,并提供了面向传统数据中心的风液混合解决方案、软硬协同等技术支持,帮助客户打造数据绿色一体化的数据中心。在谈到液冷问题的时候,中国计算机行业协会信息存储与安全专委会秘书长阳小珊也是赞不绝口:“节能降耗是曙光的特色亮点,液冷确实是很好的一个方向,尤其是行业协会也在了解这方面的数据”。
就像张新凤在演讲结束的时候说的,“我们希望能够协助健全整个存储的产业生态,能够实现存储从人才的储备,到上下游的健康持续的发展”。正因为切中了数据应用的痛点,曙光一体化存力方案得到了行业内众多用户的支持,也打造出了属于自己的存力平台。
以本次数字中国万里行探访的西部(重庆)科学城先进数据中心为例,这里不少存储设备都来自于曙光自研软硬件平台,也是国家“东数西算”工程成渝枢纽重庆集群示范项目。
值得一提的是,通过曙光特色的浸没式液冷技术,该数据中心可以节能30%以上,不仅达到了低碳绿色的国家要求,更成为了实现云计算、大数据一体化的新型算力网络节点,对于促进重庆及西部地区科学研究和经济发展,最大化发挥数字基础设施的公共效益。
除此之外,曙光存储的一体化存力方案也被应用于通信、互联网、自动驾驶等多个领域,比如中国移动就在移动云资源池使用了该方案,支撑资源池的BOM域等核心业务;比如某AI公司基于曙光存储打造的大模型训练平台, 450GB/s+带宽和500万+IOPS,为大模型应用提供加速;再比如曙光存储还为新势力车企提供100PB+的存储资源池,帮助他们实现自动驾驶训练效率的提升……
时至今日,数据应用变得越来越重要,我们对存储设备的要求也越来越高。伴随着东数西算、AIGC大模型等应用的开展,算力、存力、运力的协同均衡发展已经成为“全国一盘棋”,更是支撑数字技术的关键基础。正如华中科技大学武汉光电国家研究中心吴非教授所说:“东数西算的枢纽也好、集群也好,在集群内部混合数据调度、计算功能能够做得很好,把利用率提升,就能够带动整个西部发展”。
如此看来,要想释放海量数据的活力,深度挖据数据的潜在价值,而这一次曙光存储发布的一体化存力方案已经可以实现数据的高效流动、快速处理与安全、绿色应用,也进一步为推动中国数字化应用的提供了新选择、新动能。
领取专属 10元无门槛券
私享最新 技术干货