延锋安道拓(原延锋江森)为中国主要汽车制造商服务,是中国汽车座椅行业的领军企业,目前国内份额排名第一.。公司目前拥有64个分子公司,1个海外制造基地,公司不断打造涵盖整椅、金属骨架及机械装置、发泡、面套和头枕在内的创新座椅系统,提供灵活、经济高效的顶饰解决方案。2017年实现销售额320亿元,其中出口12.8亿美元。2018年提出七大战略,其中“聚焦卓越运营,数据引领,效率优先”作为单独一项将数据安全和实时分析作为IT部门今年的重点工作内容。
系统架构与现状
数据库现状
目前工厂产线主要系统分别为:MES系统与WMS系统,两系统皆采用MSSQL数据库,考虑到数据库高可用,公司采用MSSQL故障转移集群架构,从而保证当发生数据库服务器宕机时,另一台节点服务器接管生产。目前单个工厂两系统的数据库大约有600GB~1TB。
具体架构图如下:
痛点
由于生产数据量的日益增大,以及业务系统上线前没有考虑数据库历史数据归档迁移的原因,导致目前大量的历史数据无法归档,从而影响数据库相关性能,部分工厂已出现产线卡顿现象。除此之外,每天的数据库备份也将花费更长的时间,对备份效率以及备份归档实施都造成了很大的影响
需求
解决目前生产数据库历史数据迁移的痛点问题,未来需要将生产数据库中的某几张表的历史数据迁移归档到备库中去,从而清理压缩主库的数据库
目前公司上线大数据业务,需要实现异构数据库中的数据同步迁移
针对目前的需求,公司提出,需要寻找一款能够支持各类型数据库同步迁移数据的软件,该软件必须满足以下几个条件
针对需求1
不能对目前生产数据库的架构,配置造成任何的变更与影响,即无缝实施
考虑到产线7×24小时,因此生产停线窗口时间少又短,因此整体项目实施必须便捷,高效,牵涉的资源越少越好。
主备库整个迁移过程对网络以及业务系统的性能没有任何的影响与风险
该软件必须配置简单,未来运维及管理简单
该架构需要具有推广性,即能够对所有工厂全面推广实施该架构
生产数据库将会定期清除历史数据, 但备库需要保留长期历史数据,所以软件需要能够区别业务上的删除操作和历史数据清除的操作;
针对需求2
需要该软件支持ORACLE数据库同步到MSSQL,MSSQL数据库同步至MYSQL
方案筛选
延峰在方案选型过程中,评估调研了以下三个方案:
SQLSERVER镜像
SQLSERVER已有软件功能,无需购买软件(但需要多购买SQLSERVERLICENCE)
缺点:
a. 不支持异构数据库迁移;
b. 不满足1.1: 需要对现有的MSSQL数据库故障转移集群架构推倒,重新构建新的架构;
c. 不满足1.2:需要调配大量的资源实施配置,实施时间长,涉及资源面广(网络人员,应用人员等),且具有潜在未知风险;
d. 不满足1.4:镜像功能配置运维复杂,只有专业知识的人才能够管理与运维,效率低;
e. 不满足1.5:标准化推广难度大
2. HVR软件
优点:满足所有需求1与需求2的所有条件
3.数据库开发主备同步迁移功能
优点:满足需求1
缺点:
a. 不满足需求2
b. 未来扩展性差,伴随着新的同步需求,未来会有其他开发成本
经过以上总结与评估,延峰选择HVR软件作为本次公司级数据迁移同步的首选方案
实施过程与经验
实施过程:
实施的条件与基础
1. 软硬件准备
准备一台数据库服务器,与主数据库服务器配置一致(包括:硬件配置,数据库版本,存储空间)
2. 数据库准备步骤
2.1检查所有数据库表是否都已建立主键(同步表,需要已建立主键)
2.2迁移数据库全库备份,并还原至备份数据库,保证主备数据库数据一致性
2.3主备库中创建同步账户USER1,最好具有SYSADMIN权限
2.4创建清理历史数据账户USER2,即此账户在主库做的所有操作,都不会同步到历史库中(作用:清理主库数据,备库数据依然保留)
3. HVR配置与开启
3.1主备服务器安装HVR软件
3.2 HVR配置所要同步的表
3.3初始化数据同步
3.4实时同步开启
实施总结:
实施时间:8小时
具体架构图如下
本案实施效果
本项目实施完成之后,随即使用清理用户USER2将在生产环境中的历史数据清理,并压缩数据库,使得600GB的数据库压缩至200GB,释放空间60%以上,数据库备份所需时间大幅缩短,生产环境中的数据写入生产数据库后,实时同步至同步服务器中,同步效果优秀,在之后的生产过程中,未再发生产线卡顿。
用户反馈
通过本次HVR项目的实施,不仅提升了产线的系统性能,协助提高了工厂的生产效率,且用最短的时间,最低的成本,最便捷的方法实施完成本次项目,效果突出。
在之后的使用过程中,根据业务需求,又增添了几张表的同步,操作配置非常的方便,且具有在线配置,无风险,运维管理的难度低等优势,皆于本次项目的成功实施,未来将计划制定为公司标准,从而进行推广。
领取专属 10元无门槛券
私享最新 技术干货