本公众号往期文章中介绍了对象存储在航天和医疗领域的应用,今天浅谈一下对象存储在银行的应用。
随着国内各银行科技进程的不断推进,各家银行的双录系统、影像平台、后督系统、手机银行等应用系统快速发展,影像、视频等各类非结构化数据迅速增长,各类应用对存储的容量、吞吐、并发和业务隔离、QoS保障的要求越来越高。以往用NAS存储票据影像等非结构化数据的方案逐渐捉襟见肘,“双活”和灾备能力也遇到挑战。越来越多的银行开始采用对象存储。
银行应用对象存储的数据种类
为了能够集中统一存储银行的非结构化数据,同时降低存储和后期维护成本,灵活应对现在与未来的存储挑战,一个容量为数PB到数十PB,对象数量数十亿至百亿级的对象存储系统,为银行的多个系统的非结构化数据提供一个统一的存储平台已经是时代的必然选择。
银行业数据存储遇到的问题与挑战
在数据急剧增长的过程中, 银行业的存储遇到以下一些挑战:
传统存储的可扩展性无法满足数据量不断增长的需求。随着数据量不断增长,如在现有传统存储架构的基础上扩容,成本较高,并且同一业务的数据可能被分割到多个存储空间,存放到多台设备中,不利于数据的统一管理和使用。
存储设备与业务间的挂接关系复杂,难以维护。在传统方案中,银行的票据影像等非结构化数据主要是存放在NAS中,一个业务系统,可能挂好几个NAS文件系统,一个NAS也有可能要支持多个业务,导致存储挂接就如个蜘蛛网一样,越来越复杂,难以维护。
海量数据场景下,金融数据存储要实现“两地三中心”,达到“双活”甚至“多活”要求的挑战,尤其是同城两个数据中心RPO、RTO都要接近于0。传统存储和数据复制方案,通过调用存储系统的接口,比对、读写数据,以实现两个数据中心的数据同步,在海量数据场景下,基于传统方案进行数据比对和复制的效率难以满足要求,给银行数据安全带来很大的风险。
随着数据量的积累和数据中心云化,传统存储方案实际能够支持的文件数量和并发数量逐渐难以满足应用需求。NAS存储在文件数量增长到一定程度后,会出现明显的性能衰减。一个省分行,一年的非结构化数据量就会达到PB级,伴随着互联网业务和数据中心云化带来的动态高并发访问,传统存储方案难以满足需求。
跨两地三中心对象存储方案示意图
一个理想的,能应对现有及将来挑战的银行非结构化数据存储系统应该有这些特点:
对象存储的底层技术跟传统文件系统有本质区别,突破限制,容量可近乎无限扩展,彻底解决数据量不断增长下的存储扩容问题。
无忧“双活”与容灾,在对象存储底层分布式地实现跨区域复制,化解海量数据“双活”与跨地域容灾的瓶颈。
多租户云存储技术,可以将多个业务的数据放到一个大存储池中,互相之间安全隔离,并且可为不同业务设置容量配额和QoS,不用再为不同的业务购买多个存储。
能够平滑扩容,在上层业务无感知的情况下完成扩容,包括数据中心内的扩容和跨数据中心、跨地域的扩容。也能够平滑淘汰旧设备,彻底解决硬件过保后的数据迁移等难题。
病毒免疫,服务化的存储接口,避免了通过NAS共享目录传播病毒的风险,内外网隔离,stub网络模式防止穿透。
上层支持主流云计算平台、大数据分析系统、人工智能框架。
银行对象存储系统案例
以下为某银行的对象存储应用案例:
该银行需要建设非结构化存储平台,主要用于保存
1. 影像平台、信贷系统、后督系统产生的图片;
2.双录系统产生的视频、音频;
3. 核心支付系统产生的交易对账并账数据,以及企业三证等等。
除了可扩展性、性能等要求外,银行的业务对存储的可用性的要求很高,需要保证存储系统不会因为硬件扩容、硬件故障等原因而停机。要保证上层业务对数据的访问随时可用,性能不会因数据量增加而衰减,亦不能因为数据中心级别的故障而导致数据不可访问。
奥思数据OStorage对象存储系统采用全对等分布式架构,避免因硬件故障而影响整个系统运转的同时,使系统具备极高的可扩展性,能够跨数据中心部署。对于数据写入,可选择在两个或多个数据中心同步写入和异步复制两种存储策略,并支持就近读取。经严格测试,满足银行“同城双活,异地灾备”要求。
在实施过程中,由于OStorage对象存储100%兼容事实标准Swift API,对该银行已有的内容管理平台FileNet进行简单配置,即无缝对接OStorage对象存储。并实现了已有NAS存储和新部署的对象存储并存,两套存储同时工作,新数据、新业务使用对象存储,老设备不淘汰,保护了客户的IT基础设施投资。
银行“双活”对象存储应用案例架构图
关于作者:
奥思数据,是专业的对象存储系统及服务提供商,中国开源云联盟成员单位,中国国际科技促进会成员单位。公司创始人李明宇及技术团队的水平在国内外同行中被广泛认可,曾多次赴日本和美国高规格技术会议发表演讲。产品经过严格的测试,在银行、航天、电信等行业生产系统中得到实际应用,以零故障和极高的稳定性获得用户好评。
- 责任编辑:王鹏-
- END -
领取专属 10元无门槛券
私享最新 技术干货