由于Aurora不支持RDS空闲层(它不支持微实例),所以我使用的是MySQL服务器。
我有一个脚本,它生成数据(目前是XML),可以导入到MySQL中,然后将其写入S3桶。我看过AWS数据管道,但它似乎很难维护,因为据我所知,它只支持CSV,而且每当数据库的结构发生变化时,我都必须编辑SQL查询来手动导入行。AWS MySQL (不是Aurora)支持从S3导入吗?或者我是否必须生成XML,将其写在本地和桶中,然后在本地文件上使用LOAD XML LOCAL INFILE?
我正在使用一个大型数据库(一些表500000000+行)。每天使用LOAD DATA INFILE替换3-1000万行,每次导入大约100万行(因此使用CRON一天3-10次)。问题是,在进行如此大的文件导入时,MySQL消耗了80%的CPU,所有来自网站的常见查询都变得非常慢或网站性能下降。该网站运行在亚马逊的EC2 Windows2008服务器上。有谁知道如何在一个EC2实例中解决这个问题(不拆分数据库),谢谢。