海量数据在线并发迁移模式创新与实践（八）-课题结论

连载8期的课题报告总算告一段落了。。谢谢你们的陪伴，后期还有两个彩蛋送给大家，尽请期待。

6课题结论

近来，随着业务的不断拓展，业务的多样化和数据量快速增长，且呈现逐渐加快的趋势。在此背景之下，一方面数据库的各方面性能出现开始降低的趋势（数据库备份时间长、增删改查效率低下、数据库重组时间长等）；另一方面需要不断的进行存储设备扩容或新购来满足数据库增长的需求，存储设备扩容压力较大。并且随着数据量的增长，会导致系统运行效率变低的问题。

在此背景之下，本课题组于2015年10月开始启动海量数据在线迁移及自动化清理模式的创新及研究。旨在克服传统海量数据清理可行性低、风险高等困难，在不中断系统运行的前提下，在极短的窗口时间内完成海量数据的在线清理迁移，建立数据常态优化清理机制，消除数据库性能“天花板”效应，达到数据增长稳定的目标，为金融行业海量数据优化工作开创一种全新、高效的实施方法论。

本课题主要解决以下难点问题并实现了相应的技术实践突破：

1、传统数据库历史数据清理方法的创新，有效地解决了海量数据清理问题。

面对比部分全国性股份制银行还要大的海量数据困境，我行联社的数据清理工作，仅仅只用了9个月时间，历经论证、测试及实施等多个阶段，最终圆满完成了以往认为是不可能实现的任务，行业内实属少见。究其原因是我们采用了创新思路，一是依赖优良的应用架构体系，通过应用层的双写技术，将应用层的逻辑和底层数据库操作分开；二是依靠自我创新，实现哈希数据分区并行多进程插入；三是将分区表技术与自动化运维结合在一起，实现了历史数据的自动化清理。这些理论加实践的创新，助力我们取得成功的关键。

2、在线并行与自动化清理相结合，解决了一直困扰银行业内历史数据安全迁移的担心。

一直以来，银行核心历史数据的安全清理都是困扰相关从业技术人员的难题，费时费力，风险性高，且可能面临多次重复劳动的问题。在吸取以往经验教训后，本次建立了在线并行清理和常态化自动清理机制，这样一劳永逸的解决了重复性劳动给相关管理员带来的挫败感。

3、存储资源大量释放，应用性能大幅提升。

一是通过清理最大6张数据库表数据，共清理了3521GB数据空间，释放了大量存储资源，实现未来3年的发展需要；自动化定时清理，使数据的年度增长量大幅度缩减，又再节省未来1-2年的存储需要，也就是说现在在不增加存储空间的情况下，可以满足未来5年的需要。二是通过清理，大量历史数据从现有生产环境中得以剥离，使生产应用性能得到了大幅提升。

4、没有对现有系统硬件物理架构做任何调整。

所有的改动都在应用层和数据库层，没有设计新的硬件架构的变更，也不用采购新的硬件设备，成本低，性价比高。

5、具有重大的推广价值，可为友行提供借鉴参考意义。

数据常态化清理及大数据迁移是银行业内广泛面临的难题，建立一套长期有效的常态化清理机制以及切实有效的大数据迁移方法不但减轻了数据运维的压力，也大大降低了银行运维风险，在银行业内具有广泛的推广价值。