我正在使用部署在Google app Engine灵活环境上的Django web应用程序。在我的视图中使用bigquery.Client()处理请求时，我正在流式传输数据。如果是这样，请给我一个合适的架构:我应该使用哪个GCP产品，如何连接，以及阅读什么。
浏览 32提问于2021-09-29得票数 0
回答已采纳
我有一个App Engine调度作业，它每天运行，并在PostgreSQL表(托管在gcp中，而不是cloudsql中)中查找满足归档条件的行。如果满足条件，它将连接到BigQuery并将数据流式传输到大型查询。每天，有资格归档的记录很少，我们会写信给BigQuery。这是一种经济有效的方法吗?或者我们可以尝试使用Cloud Functions加载数据？https://cloud.google.c
浏览 10提问于2020-01-31得票数 0
是否可以使用云函数将带有json输出的rest api中的数据直接插入/流式传输到gcp中的bigquery？做了一些研究，但它总是要求放在GCS存储桶中，然后创建云函数将数据加载到bigquery。 提前谢谢。
浏览 19提问于2020-06-25得票数 1
我正在使用以下代码将数据从App Engine流式传输到BigQuery。目前请求正在阻塞。有没有一种方法可以只使用apiclient (而不使用deferred库或类似的库)使这些请求异步？credentials = AppAssertionCredentials(scope = 'https://www.googleapis.com/auth/bigquery')
http = crede
浏览 0提问于2014-11-24得票数 4
我想通过谷歌云函数PubSub跳跳器将MQTT传感器数据流式传输到Google BigQuery。不知何故，我无法导入BigQuery ...const BigQuery = require('@google-cloud/bigquery')；
谢谢
浏览 2提问于2018-10-22得票数 0
1回答
将数据从Google云存储中移出/流式传输的最佳方式是什么？另外，Dataflow是否提供了将数据从Google云存储流式传输到外部GCP的功能？
浏览 0提问于2018-07-17得票数 0
我想实时(或接近实时)地将HTTP请求流式传输到BigQuery中。理想情况下，我希望使用一个工具来提供一个端点来流式传输HTTP请求，并允许我编写这样的简单节点: 1.我可以添加适当的insertId，以便BigQuery可以在必要时删除重复请求；2.我可以对数据进行批处理，这样我一次不会发送一行(这将导致不必要的GCP开销)。我尝试过使用AWS Lambdas或Google Cloud Functions，但在这些平台上解决此问题
浏览 3提问于2019-06-14得票数 2
我希望使用Google提供的模板将数据从Pubsub流式传输到Bigquery，尽管我希望以每秒1行的速度完成流式传输。如何更新流速度？如有任何建议，不胜感激。
浏览 3提问于2018-05-24得票数 0
1回答
我正在构建一个基础架构，在这个基础架构中，我希望分别接收热数据和冷数据。对于热数据，我将我的数据写入Cloud Spanner，而对于冷数据，我希望将我的数据写入更持久的东西，如BigQuery。我正在使用来自流媒体服务的数据，但我想利用BigQuery的缓存机制-如果我经常将冷数据流式传输到BigQuery中，这将是不可能的。
浏览 0提问于2020-08-07得票数 0
1回答
从Google Drive API中，我收到了一个Structs type File数组。我的目标是添加一些字段并将数据流式传输到BigQuery中。我的第一种方法是change the File Struct并将更新后的Structs流式传输到BigQuery。这看起来像是一条死路，我正在尝试使用建议的方法，将结构编组到JSON中，并将其流传输到BigQuery中。我找到了这个示例bigq
浏览 19提问于2020-12-20得票数 0
我想从Google Cloud Storage上传数据到BigQuery，但我找不到任何描述如何做到这一点的Java示例代码。有没有人能给我一些提示，告诉我怎么做？我真正想做的是将数据从Google App Engine表传输到BigQuery (并每天同步)，这样我就可以做一些分析了。我使用Google App Engine中的Google C
浏览 1提问于2012-05-20得票数 3
回答已采纳
我必须使用BigQuery从Google Analytics中提取数据，并将JSON加载到SQL Server。我知道我们可以在C#中调用GS，在JSON中流式传输数据，并将其上传到Google Storage中，然后使用GSUTIL.exe将JSON文件从GS复制到BigQuery服务器进行处理。我的问题是-
有没有一种方法可以直接将JSON流式传输到ETL服务器，而不是上传到Google
浏览 14提问于2017-01-24得票数 0
根据these AWS Amazon RDS docs，看起来亚马逊网络服务提供了一个aws_s3 PostgreSQL扩展，用于将数据从S3传输到关系数据库中的Postgres。我们正在使用airflow来编排我们的数据摄取管道，如果这里有python解决方案就太好了。目前，我们正在避免使用AWS Data Pipeline和AWS Glue等亚马逊网络服务工具，而是倾向于使用python和airflow构建我们自己的架构。作为参考，我们为我们的GCP架构</
浏览 50提问于2021-11-15得票数 1
我正在使用PubSub来捕获实时数据。然后使用GCP数据流将数据流式传输到BigQuery中。我正在使用Java进行数据流。目前，我正在将字符串格式的消息发送到PubSub (这里使用Python )。但是数据流中的模板只接受JSON消息。有没有人能给
浏览 18提问于2018-02-21得票数 0
当涉及到联邦查询对Cloud SQL (MySQL)数据库的影响时，我很难找到关于BigQuery中联邦查询的内部工作原理的文档。 我见过here说联邦查询是只读的，这没有问题。我的问题是:联邦查询是否与使用MySQL工作台等管理工具时对数据库的常规查询一样，或者联邦查询是否有其他机制可用于读取底层表，而不会影响数据库的正常性能？我的用例是增量地将数据从Cloud SQL加载到BigQuery数据仓库中。我希望尽可能减少对我的OLTP数据</e
浏览 14提问于2021-01-26得票数 3
我有两个BigQuery数据集：dataset_a和dataset_b 每个数据集都包含一个表，例如dataset_a_table和dataset_b_table dataset_a_table包含流式数据，我想将数据从dataset_a_table流式传输到dataset_b_table。如何将流行从一个表复制到另一个表并保留现有架构？到目前为止，我已经研究了BigQuery的insertAll方
浏览 18提问于2020-07-10得票数 0
我正在尝试创建一个定时的，自动的数据上传，从Google Sheets到BigQuery，这样我就可以在Tableau中可视化数据。数据来源于import.io。基于我已经能够使用Google Apps Scripts从Google Sheets文件创建一个.csv，并一次性将.csv文件上传到BigQuery。但是，这不能用作重复出现的解决方案，因为BigQuery加载脚本需要.csv文件的静态URL (并且每个.
浏览 1提问于2014-06-04得票数 4
是否可以在BigQuery表中启动加载作业，并指定要以字符串或流形式加载的数据。我只能找到指向Google云存储文件的API。
浏览 0提问于2012-12-18得票数 0
回答已采纳
所以我正在做一个小项目，使用Google Dataflow和apache beam建立一个流管道。我看了一些教程，能够建立一个管道并将其流式传输到BigQuery中，但我希望将其流式传输到一个完整的关系数据库(即: Cloud SQL)中。我的简单问题是，我可以直接将数据流式传输到Cloud SQL中，还是必须通过批处理发送。
干杯!
浏览 4提问于2018-02-02得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
