首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >问答首页 >Google BigQuery -单一职务重复导入

Google BigQuery -单一职务重复导入
EN

Stack Overflow用户
提问于 2012-12-26 12:11:40
回答 2查看 422关注 0票数 0

BigQuery中是否存在单一作业导致重复导入的已知问题?我们看到了这个问题,需要帮助解决在BigQuery中发生的问题。

我们的进程每15分钟运行一次,将CSV导入到BigQuery。我已经调查过我们的日志和处理了两次的作业显示了下面的问题。处理两次的CSV文件中有36101行。

  1. 我们的上传过程成功地将单个作业发布到BigQuery。上传的CSV文件有36101行,大小为2846673。
  2. 我们的过程检查作业的状态。当检查作业状态时,请注意"outputRows“。与预期相同(36101)。 “状态”:{“状态”:“运行”},“统计”:{ "startTime":"1356528625599",“加载”:{ "inputFiles":"1","inputFileBytes":"2846673","outputRows":"36101","outputBytes":"13651590“}
  3. 请注意,在完成上述作业后,流程显示记录的两倍。见outputRows (72202) “状态”:{“状态”:“已完成”},“统计”:{ "startTime":"1356528625599","endTime":"1356528665201",“加载”:{ "inputFiles":"1","inputFileBytes":"2846673","outputRows":"72202","outputBytes":“27303180}
EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2012-12-27 12:57:24

我们已经确认并修复了窃听器。如果你遇到更多的问题,请告诉我们。

票数 1
EN

Stack Overflow用户

发布于 2012-12-31 10:47:57

不管它的价值如何,在过去五天里,我们曾两次看到同样的问题。我们每10分钟加载一次,并将其改为每小时一次,以使这个问题更易于处理。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/14045704

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文