目录
一、背景
二、解决
hive insert overwrite table结果发现不会覆盖原文件,而是新增一个文件
本来只有一个文件
insert overwrite table之后变成2个文件了
之后用datax同步该文件路径下数据会翻倍😭
不知道怎么解决,为了快速实现功能我尝试了用impala执行,结果因数据量太大,报了行太大超出默认值,可以去看我上一篇博文的解决方案。。。
无奈,用了最简单粗暴的方法。
先drop table 再create table 然后再insert overwrite table最后datax同步。
虽然好傻,但是问题解决了。。。
本文分享自 作者个人站点/博客 前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!