海量数据在线并发迁移模式创新与实践（七）-验证与效益

好不好用，看疗效！

5.试点验证与效益情况

5.1 试点效果阐述

课题试点的成功实施，取得了较好的应用效果。一是存储空间大幅释放，共释放空间3.5T，降低硬件扩容开销；二是各类数据库表条目大幅缩减，内部户交易明细、存款明细共减少近36亿条；三是系统重要指标大幅提升，联机处理效率提升了30%，夜间批量效率提升了50%，夜间追账效率提升了100%，数据库效率提升了50%；四是数据清理效率大幅提升，采用分区表机制每日自动清理仅需1分钟；五是核心数据库备份效率大幅提升，时间缩短8.5小时，效率提高30%；六是具有极强的行业适用性和可推广性，实施方案及技术创新不依赖特定的应用系统和数据库产品，适用于全行业。

表 6、与传统方法对比结果

5.2效益情况展示

5.2.1经济效益情况

图 14、课题收益展示

1、通过采用独创的银行海量数据在线并发迁移方法论，利用“基于完整事务性的在线式数据迁移方法”、“基于哈希算法的多进程数据迁移方法”、“常态化数据清理方法”三个原创专利技术，实现了一次性数据迁移及清理，无需后续不断投入。以较小的成本实现了传统方法需投入大量人力、时间、物力等才能完成的工作。

2、可清理历史数据，减少存储耗费。以湖北我行社课题为例，课题的成功实施共释放存储空间3.5TB，内部户交易明细表GECT记录数由原21亿条降至1.4亿条，最大存款明细表记录由之前的26.7亿条降至12.2亿条，提高数据库运行效率50%。初步测算每年节省扩容采购费用约为600万元，节约了新购存储设备投入和机房空间、能源等整体使用成本。

3、自动化清理机制的建立与成功实施可为银行节省在数据管理方面的人力投入。以本课题为例，初步测算成本每年可节约维护费用200万。

5.2.2社会效益情况

本课题为银行数据迁移和清理开创一种新的方法，为后续开展大数据的应用奠定了基础。经过我行从理论到实践的大胆探索，有效完成了海量数据的在线迁移和清理，应用影响小、停机窗口短，在可实践性、可推广性方面有很高的价值。本课题相关技术方法已在某行、某城商行推广并实施成功。

1、解决了海量数据迁移中的迁移窗口长、效率低效等难题，确保银行重要信息迁移过程中的安全。本课题采用基于“完整事物性的在线数据迁移方法”的专利技术能够满足银行数据量庞大、维护窗口有限的特点。

2、清理模式适应性强，适用于各类行业、各类技术架构。数据迁移及清理过滤要求可自主定制，算法对操作系统和数据库没有依赖，可适用于其他金融机构进行类似的数据迁移及清理工作，甚至可以应用到以后的数据灾备等其它可以借鉴的课题中。

3、数据自动运维机制的建立，极大的降低了银行数据运维操作风险。传统数据清理多采用手工迁移方式，工作量极大且误操作概率较高。通过本课题的实践，实现了数据自动化清理，避免人工干预，大大降低了风险。

4、通过在线数据分离技术，减少了对生产系统运行的性能压力。传统数据加工方法对生产系统造成较大的性能影响，通过本课题原创的在线数据分离技术将在线数据加工工作转化为离线加工，大大降低了数据加工对生产系统的影响，提高了数据加工效率。同时将加工后的海量数据装入数据仓库，提升大数据利用效率。