我在C#中使用BIGQUERY，并尝试通过insert命令将查询保存到临时表中。我添加了sleep(5000)，以确保作业已经完成，但这是一个确定性的解决方案。destTempTable,
浏览 8提问于2017-01-10得票数 0
回答已采纳
BigQuery中是否存在单一作业导致重复导入的已知问题？我们看到了这个问题，需要帮助解决在BigQuery中发生的问题。
我们的上传过程成功地将单个作业发布到BigQuery。我们的过程检查作业的状态。当检查作业<em
浏览 5提问于2012-12-26得票数 0
回答已采纳
当我们处理查询/加载作业时，有时会遇到SocketReadTimeOut，这是推荐的...job.setConfiguration(config);
job.setId("job_wRGTy7WaCKKcTdlE-nDWGDTZVI4");
浏览 3提问于2014-09-18得票数 2
回答已采纳
使用Google app engine的python脚本将CSV data上传到Bigquery中。使用Eclipse on Windows 7的PyDev透视图编码。insert是成功的，但在BigQuery中，数据有时会立即插入，有时需要几个小时才能反映出来。j={'jobReference': {'projectId': '#######'},
&#
浏览 1提问于2014-10-21得票数 0
我希望使用数据流将数据加载到使用的BigQuery表中，而不是流式处理(对于我们的用例，流式处理的成本太高)。以下是一些问题：2)如果我需要自己滚动，有哪些好的方法？如果我必须自己滚动，使用Google Cloud Storage执行BQ加载作业是一个多步骤的过程-将文件写入GCS，通过BQ API提交加载作业，并(可选)检查状态，直到作业</e
浏览 0提问于2015-06-17得票数 3
我有一个上传avro文件到bigquery的管道，配置的模式似乎没问题，但BigQuery将其理解为整数值，而不是日期字段。在这种情况下我能做什么？import gcloudfrom google.cloud import bigquery
bigquery_client = bigquery</
浏览 0提问于2019-11-28得票数 1
我想等待BigQuery插入作业的完成。在这个用例中，我正在对我在Google中的CSV文件进行插入，这些文件可能相当大。var res = BigQuery.Jobs.insert(job, projectId, data);
如果我有查询结果，我可以对jobComplete属性进行投票，但在insert属性上没有。例如，作业状态状态似乎就是“运行”。因此，如何在这里等待或轮询插入以确保完成？job = BigQuery.Jobs.
浏览 0提问于2020-04-07得票数 0
在创建客户端bigquery.Client() >>插入查询作业请求client.query(sql)之后，我将发出以下命令以检查作业是否已完成：当我检查API资源管理器时：我可以看到一个叫做bigquery.jobs.get的方法正在制作--到目前为止，还不错..我相信这就是刷新作业状态的API调用！
(令人惊讶的是，此附加调用仅在通过响应代码或凭据
浏览 1提问于2018-06-29得票数 0
回答已采纳
我使用以下Python代码从BigQuery中的一个表中删除了所有数据，当我在运行代码几秒钟后检查该表时，我发现该表现在是空的，因此删除肯定成功了。但是，作业状态仍然显示它处于运行状态。from google.cloud import bigqueryjob_config = bigquery.QueryJobConfig()
job_conf
浏览 3提问于2018-08-10得票数 1
回答已采纳
我目前正在尝试运行2个作业和一个查询通过一个脚本使用谷歌BigQuery应用程序接口。这两项工作涉及从Google Cloud Storage将两个CSV(压缩为BigQuery )加载到GZIP，并创建两个表。然后，我们运行查询以使用另外两个表创建第三个表。为了同步执行此操作，我检查作业响应的状态字段，当状态为完成时，我进行查询。
不幸的是，即使状态被标记为完成，作业仍然在运行，表还没有创建，看起来所做的只是从GCS加载到B
浏览 0提问于2014-08-20得票数 1
目标是定期从BigQuery查询数据，并为每个记录在任务队列中创建一个任务，以便在后台处理记录。状态下的指令用于等待这样的任务：Job queryJob = bigquery.create(JobInfo.newBuilder查询是在后台处理的，在结果可用之前可能需要一段时间，所以我可能无法在同一个端点调用</e
浏览 1提问于2018-02-01得票数 2
回答已采纳
Job execute = bigquery.jobs().insert(PROJECT_ID, runJob).execute();
while(status.equalsIgnoreCase
浏览 7提问于2014-01-11得票数 1
回答已采纳
1回答
我有一个要求加载100的表从谷歌云存储到BigQuery (全球通信系统->临时表->主表)。我已经创建了一个python进程来将数据加载到BigQuery中，并在AppEngine中进行调度。我已经在异步模式下提交了作业，并在稍后的时间点检查作业状态。由于我有100个表，需要创建一个监控系统来检查作业加载的状态。操作过程并不
浏览 1提问于2016-10-03得票数 0
我已经创建了一个python脚本，通过应用程序引擎将数据从谷歌云存储加载到BigQuery。由于app engine有60秒的超时窗口，因此希望以异步模式提交这些作业，并希望将作业ID存储在其中一个bigquery表中。另一个脚本将保留作业的状态，如果作业已“完成”，则提取结果并将该表中的作业状态更新为已完成。这样下一次我就不会检查同一作业作业状态。我尝试了不同的
浏览 1提问于2017-06-22得票数 0
回答已采纳
我们看到了BigQuery在第一次尝试调用getQueryResults (例如，没有分页令牌)时引发的查询错误的零星情况(今天是4倍)。错误是：get()调用上的作业状态返回‘完成’。这是bq等待失败作业的输出：工作作业执行过程中遇
浏览 1提问于2015-05-24得票数 1
回答已采纳
我正在提交一个数据流作业，该作业从BigQuery数据集和表中读取并写入。Dataflow作业似乎工作正常。在执行Dataflow作业期间，Dataflow UI告诉我，我可以通过使用BigQuery工具运行命令来检查bq导出作业的状态。当我运行该命令时，我会收到一条消息，表示我无权查看该状态。这与提交Dataflow作业的经过身份验证的帐户相同。BigQuery er
浏览 1提问于2017-04-25得票数 0
回答已采纳
自从开启自动伸缩以来，我们的一些云数据流作业已经开始失败。我在失败的作业中收到以下错误：这是此错误的作业id : 2016-01-26_12_02_19-127372689340916618772016-01-27_12_02_52-11776322710903149175
编辑:我关闭了自动缩放，今天早上运行的作业仍然运行得很慢。作业id为: 2016-01-28_12_03_39-5692230370814846330
浏览 2提问于2016-01-28得票数 1
有没有办法用预编译的sql创建一个作业，然后通过java api (bigquery)多次运行它？没有重新运行作业的单一调用方法；如果要重新运行特定作业，请执行以下操作：
调用jobs.get以检索要重新运行的作业的资源，删除id、jobId、status和statistics字段。使用修改后的资源调用jobs.<
浏览 1提问于2012-08-16得票数 1
回答已采纳
基本上，我想要做的是提交一个作业到BigQuery (异步)，检查作业状态之后，并打印出相应的状态信息或错误信息。我创建了一个框架如下。但我需要帮助
当"BigQueryService.Jobs.Get(jobReference.ProjectId，jobReference.JobId).Execute()“被调用时，GoogleApiException:找不到作业异常。第一步:创建一个作业(将CSV文件上传到B
浏览 10提问于2015-04-13得票数 3
云服务器
ICP备案
对象存储
即时通信 IM
云直播
腾讯云开发者
