目前我省大数据平台的MPP数据库承载地市集市、客户标签库、位置类运营等应用数据,为多个部门提供数据资源的访问和处理能力。随着业务范围的逐渐扩大,集群访问次数和压力日益增大,面临着如下2方面问题:
1.集群资源紧张,无法满足用户应用需要。主要表现在集群的运算和内存资源不足,存在部分SQL脚本运行时间过长的情况;
2.用户编写脚本的能力较弱,不具备优化能力,占用很高系统资源,造成部分结点资源耗尽,进而影响集群的稳定性。
为此,在今年的大数据平台架构改造项目中,增加MPP集群规模,并对MPP版本进行升级。在本月20日由架构室牵头、大数据室配合,完成新版本升级和部分应用的迁移工作。新版本一方面完善数据库管理功能,包括提升数据传输稳定性、支持Active SQL历史作业分析功能等;另一方面新增租户资源管理能力,可以实现对集群的CPU、内存、存储方面的资源隔离,保证租户间的操作互不影响,提升MPP集群健壮性和稳定性。
领取专属 10元无门槛券
私享最新 技术干货