我想通过谷歌云函数PubSub跳跳器将MQTT传感器数据流式传输到Google BigQuery。不知何故，我无法导入BigQuery ...const BigQuery = require('@google-cloud/bigquery')；
谢谢
浏览 2提问于2018-10-22得票数 0
1回答
我正在使用DataFlow管道将来自物联网设备的数据(通过PubSub订阅)传输到BigQuery。我正在寻找一种方法，可以将给定设备中的数据动态地定向到我可以动态指定的BigQuery数据集中。这是一个典型的情况:用户决定“我想要开始将数据从物联网设备A流式传输到BigQuery数据集5”，然后再决定，“现在我要开始将数据从物联网设备A
浏览 12提问于2019-06-30得票数 0
回答已采纳
1回答
我的目标是添加一些字段并将数据流式传输到BigQuery中。 我的第一种方法是change the File Struct并将更新后的Structs流式传输到BigQuery。这看起来像是一条死路，我正在尝试使用建议的方法，将结构编组到JSON中，并将其流传输到BigQuery中。我找到了这个示例bigquery-table-insert-rows，但它实现了ValueSaver接口。对我来说，一个
浏览 19提问于2020-12-20得票数 0
我正在尝试创建一个定时的，自动的数据上传，从Google Sheets到BigQuery，这样我就可以在Tableau中可视化数据。数据来源于import.io。基于我已经能够使用Google Apps Scripts从Google Sheets文件创建一个.csv，并一次性将.csv文件上传到BigQuery。但是，这不能用作重复出现的解决方案，因为BigQuery加载脚本需要.csv文件的静态URL (并且每个.csv下载文件都有一个惟一的URL)。我相信，来自<e
浏览 1提问于2014-06-04得票数 4
1回答
我关注的是通过GCD发布/订阅的物联网实时流处理，云数据流和通过BigQuery.I执行分析。我正在寻求如何实现这一点的帮助。
浏览 2提问于2017-06-15得票数 1
到目前为止，我发现的示例是将json流式传输到BQ，例如# [START stream_row_to_bigquery]
def stream_row_to_bigquery(bigquery, project_id, dataset_id, table_n
浏览 2提问于2016-08-23得票数 3
我正在尝试使用类似于教程的Java驱动程序将数据流式传输到BigQuery，该教程将数据从地图插入到BigQuery表中。支持在插入时将行指定为JSON，所以我想知道是否可以使用JSON驱动程序将JSON流式传输到bigquery，而不必使用如下示例所示的映射。;
rowContent.put("recordField", recordsCon
浏览 6提问于2017-08-01得票数 0
回答已采纳
我希望持久化来自可公开访问的API的数据，该API在被调用时返回一个JSON对象列表，每个对象对应于过去N个事件中的一个。JSON对象的结构简单且一致。不能指定n(据我所知)，因此需要足够频繁地轮询API，以便在数据中没有间隙。我需要检查一下这个频率，但它肯定不止一分钟一次。它看起来并不像BigQuery简单地接受RESTful应用程序接口作为流数据源。对于Cron来说，粒度似乎太细了，它通常最多是分钟级的(从判断，它也可能超过配额)。简单地将数据获取到Google Cloud Stor
浏览 0提问于2018-06-16得票数 0
我正在使用谷歌BigQuery为我的项目，现在我正在尝试插入一个新的行到基于此https://cloud.google.com/bigquery/streaming-data-into-bigqueryLogger.error("Insert operation not performed \n" + e.toString());} 代码运行良好，没有错误日志，但当我试图在谷歌控制台from `myprojectname.mydat
浏览 21提问于2021-03-24得票数 1
我已经设置了Firebase Analytics和BigQuery之间的链接。今天我不小心删除了昨天的数据行(tablename_20190926)。是否有恢复数据的方法，如果没有，我如何重新填充Firebase Analytics中特定日期的数据？
浏览 34提问于2019-09-28得票数 0
是否可以使用云函数将带有json输出的rest api中的数据直接插入/流式传输到gcp中的bigquery？做了一些研究，但它总是要求放在GCS存储桶中，然后创建云函数将数据加载到bigquery。 提前谢谢。
浏览 19提问于2020-06-25得票数 1
我正在使用以下代码将数据从App Engine流式传输到BigQuery。目前请求正在阻塞。有没有一种方法可以只使用apiclient (而不使用deferred库或类似的库)使这些请求异步？credentials = AppAssertionCredentials(scope = 'https://www.googleapis.com/auth/bigquery')
http = credentials.authorize(h
浏览 0提问于2014-11-24得票数 4
我使用流式应用编程接口(BigQuery Python客户端的insert_row函数)将大约一百万个数据项插入到BigQuery中，但是有一些数据丢失，大约10,000个数据项在插入时丢失。有没有可能BigQuery会丢弃一些数据？因为没有任何插入错误(或任何错误)。
浏览 63提问于2018-12-03得票数 0
我希望使用Google提供的模板将数据从Pubsub流式传输到Bigquery，尽管我希望以每秒1行的速度完成流式传输。如何更新流速度？如有任何建议，不胜感激。
浏览 3提问于2018-05-24得票数 0
我必须使用BigQuery从Google Analytics中提取数据，并将JSON加载到SQL Server。我知道我们可以在C#中调用GS，在JSON中流式传输数据，并将其上传到Google Storage中，然后使用GSUTIL.exe将JSON文件从GS复制到BigQuery服务器进行处理。我的问题是-有没有一种方法，在<em
浏览 14提问于2017-01-24得票数 0
我看了一些教程，能够建立一个管道并将其流式传输到BigQuery中，但我希望将其流式传输到一个完整的关系数据库(即: Cloud SQL)中。我已经通过这个网站和整个谷歌进行了搜索，似乎实现这一目标的最佳途径是使用JdbcIO。我在这里有点困惑，因为当我查找如何做到这一点的信息时，所有这些都是指批量写入云SQL，而不是完全流传输。我的简单问题是，我可以直接将数据流式传输到Cloud SQL中，还是必
浏览 4提问于2018-02-02得票数 2
回答已采纳
1回答
我正在构建一个基础架构，在这个基础架构中，我希望分别接收热数据和冷数据。对于热数据，我将我的数据写入Cloud Spanner，而对于冷数据，我希望将我的数据写入更持久的东西，如BigQuery。我正在使用来自流媒体服务的数据，但我想利用BigQuery的缓存机制-如果我经常将冷数据流式传输到BigQuery中，这将是不可能的。我的问题是，我是否可以将</
浏览 0提问于2020-08-07得票数 0
我使用tabledata().insertAll()方法将我的数据流式传输到BigQuery。数据从TaskQueue发送，异步发送并发数据到一个表。全部通过成功，但并非所有数据在给定表中都可用。我的问题是如何将数据异步导出到BigQuery？我使用以下代码将数据导出到BigQuery：
val content = TableDataInsertAllReques
浏览 0提问于2018-02-16得票数 0
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
