1回答
我们需要以固定的时间间隔(每小时/每天/任何时间)将数据从Hive table (Hadoop)移动到GCP (Google Cloud Platform) BigQuery。
浏览 11提问于2019-01-26得票数 0
回答已采纳
我需要将70TB数据(2400个表)从本地配置单元迁移到BigQuery。最初的计划是将ORC文件从Hive加载到云存储，然后加载到BigQuery表。通过自动化或任何其他GCP服务实现这一点的更好方法是什么？
浏览 17提问于2021-04-23得票数 0
2回答
我在单元测试以下代码块时遇到了问题：from google.oauth2 import service_account
credentials = client = bigquery.Client(g
浏览 2提问于2018-12-10得票数 6
回答已采纳
1回答
我在测试对bigquery寄予厚望的yaml时遇到了麻烦。我遵循了正式的文档，并获得了以下代码import great_expectations as ge
name: my_bigquery_datasourceclass_name: Datasource class_name: SqlAlchemyExecutionEngine
connection_string: bigquery:
浏览 10提问于2022-02-01得票数 0
我已经在bigquery中创建了一个模式和一个表，同时在GCP VM中配置jupyter notebook中访问该表的sql结果时，得到了"Request had authentication scopesimport pandas as pdclient = bigquery.Client()
sql = """ SELECT *FROM odsdata.food_data "&q
浏览 11提问于2020-01-29得票数 0
来自RDS的表需要尽可能快地出现在BQ上，并且主数据库和be副本之间的同步延迟很低。
我想要创建一个触发器，当RDS上的数据库被更新时，它将自动更新BQ数据库。
浏览 3提问于2021-12-24得票数 0
回答已采纳
我试图使用JDBC到BigQuery Dataflow 将数据从Postgres数据库复制到BigQuery。at org.apache.beam.sdk.io.gcp.bigquery.BigQueryHelpers$PendingJob.runJob ( org/apache.beam.sdk.io.gcp.bigquery/BigQueryHelpers.java:200 )
at org.apache.beam.sdk.io
浏览 11提问于2022-11-19得票数 2
回答已采纳
2回答
我正在使用云数据流将数据从发布/订阅消息导入到BigQuery表中。我使用DynamicDestinations，因为这些消息可以放入不同的表中。我最近注意到，该进程开始消耗所有资源，并显示以下消息：
Processing stuck in step Write Avros to BigQuery Table/StreamingInserts/StreamingWriteTables$DatasetServiceImpl.insertAll(BigQueryServicesImpl.java:
浏览 4提问于2019-02-16得票数 4
1回答
我正在尝试将GA4链接到bigquery项目。我已经将通用分析数据导出到bigquery项目中。我还可以将GA4链接到同一个bigquery项目吗？斯里拉姆
浏览 9提问于2022-04-14得票数 0
我知道Python可以将数据从GCP BigQuery导入到朱庇特笔记本。我正在寻找从GCP (无论是Cloud还是BigQuery)直接导入数据到R的方法。谢谢你的建议。
浏览 2提问于2020-04-20得票数 0
回答已采纳
我正在寻找使用Azure DevOps为GCP BigQuery创建CI/CD管道的最佳方法。我需要Azure Devops中的存储库，并在GCP中自动将CI和CD添加到我们的开发/QA和生产环境中。另外，如何在Azure DevOps中为GCP主分支代码设置自动构建？有没有办法集成BigQuery和Azure Devops存储库？我们必须使用Azure DevOps进行项目、存储库和管道管理。所以尝试从Azure Devops构建和部署到GCP <
浏览 17提问于2021-06-23得票数 0
我需要在GCP BigQuery和GCP CloudSql之间执行定期数据清除和数据加载操作。这涉及到在GCP BigQuery和GCP cloud SQL中以预定的顺序运行多个查询，并在后续查询中使用早期查询的查询结果。我正在考虑以下几个选项
Option1 :使用使用“联合查询”()的BigQuery“计划查询”。选项2:我正在考虑的另一个选项是使用gcp计算linux引擎VM作为我的控制器，以执行跨gcp cl
浏览 2提问于2021-03-02得票数 0
我有个问题：{'word':'string'，'table':'string'}tobq = (input
| 'write names to BigQuery '>> beam.io.gcp.bigquery.Writ
浏览 12提问于2021-03-08得票数 1
我们在不同的GCP项目中有不同的GKE集群，我们希望获得每个标签的详细成本。我们有一个帐单帐户，跨越所有的GCP项目。如何协调这一点，为所有项目拥有一个计费帐户，但需要将其导出到每个项目中的数据集？
浏览 6提问于2022-09-08得票数 1
回答已采纳
我创建了一个google流作业，从PubSub读取并插入到BigQuery中。我使用JSON将STREAMING_INSERT数据插入到BiqQuery表中。来自worker的错误消息: java.lang.RuntimeException:我们观察到一行大小为24625273字节。BigQuery支持高达10 is的请求大小，这一行太大了。org.apache.beam.sdk.io.gcp.bigquery.BigQueryServicesImpl$DatasetS
浏览 6提问于2022-10-13得票数 0
回答已采纳
6回答
我正在从BigQuery读取1000万条记录，并进行一些转换并创建.csv文件，这是我使用Node.JS上传到SFTP服务器的相同的.csv流数据。请在下面找到GCP云运行的配置。自动标注:最多可分配一个容器实例CPU :默认内存分配: 2Gi并发: 10请求超时: 900秒
GCP云运行是长期运行后台进程的好选择吗？
浏览 28提问于2020-01-08得票数 11
回答已采纳
我正在使用GCP处理和存储从模拟IoT设备发送的数据。数据(应该)在以下路径中流动： 带有mqtt客户端的模拟IoT设备-> IoT核心设备-> IoT核心注册表->发布/订阅主题->发布/订阅订阅->云数据流发布/订阅订阅BigQuery模板-> BigQuery表 我所在的公司有一些GCP配置(它在VPC上)，这需要我指定一个subnet for DataFlow to even run。它显然没有意识到数据正被发送到
浏览 21提问于2021-10-01得票数 0
回答已采纳
我在Modes.d/gcp.yml文件中添加了bigquery度量配置"2021-12-06T09:51:10.206Z错误gcp.metrics度量/Meriticset.go:294bigquery.goograngis.com/storage/table_count“度量描述符为空，此度量将不被收集
模块: gcp区域：“us-central1 1”节拍器集project_id："
浏览 4提问于2021-12-07得票数 0
我正在为BigQuery使用AWS连接器。我的胶水作业在多个AWS帐户中运行良好，但突然之间，所有帐户中的以下响应一起出现了故障：
Access Denied: Table common-infra-services:detailedcost.gcp_billing_export_resource_v1_01E8AD_3E792E_BB0E5D: Permission bigquery.tables.get denied on table common-infra-services:detailedcost.gcp_bil
浏览 5提问于2022-04-13得票数 1
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
