我正在使用GCP处理和存储从模拟IoT设备发送的数据。数据(应该)在以下路径中流动： 带有mqtt客户端的模拟IoT设备-> IoT核心设备-> IoT核心注册表->发布/订阅主题->发布/订阅订阅->云数据流发布/订阅订阅B
浏览 21提问于2021-10-01得票数 0
回答已采纳
我正在做一个项目，其中一个名为Eyedro的设备可以感知电压和电流等信息，并将其上传到已经设置好的云功能。这个设备有自己的接口来读取生成的数据，我有它用来做这件事的代码。我需要帮助使用代码获取生成的数据，并将其发送到云上。我是一个初学者，我不知道如何去解决这个问题，所以任何类型的方向都将非常感谢。下面是用于获取数据并将其打印到HTML表<
浏览 1提问于2021-02-22得票数 0
我正在尝试使用数据流、发布/订阅和BigQuery来创建和导出合成数据流。(1,50)}}
} 该架构位于文件gs://my-folder/my-schema.json中。流似乎运行正常-我可以使用“导出到云存储”模板从相应的发布/订阅主题导出到GCS存储桶。当我尝试使用
浏览 2提问于2020-10-27得票数 2
回答已采纳
我正在尝试使用谷歌提供的模板PubSub to BigQuery设置一个数据流作业。我看到一个用于指定云发布/订阅输入主题的选项，但我没有看到任何用于在GCP控制台UI中指定发布/订阅输入订阅的选项。
如果我提供了主题，job会自动创建一个订阅来读取所提供的</em
浏览 3提问于2018-01-12得票数 3
回答已采纳
我正在尝试将从IoT设备发送的消息存储在BigQuery表中。云架构如下： Local Device -> json_message -> mqtt_client -> GC IoT Device -> device -> ->发布/订阅主题->数据流发布/订阅主题到BigQuery
浏览 21提问于2021-09-10得票数 0
回答已采纳
我希望使用Dataflow将事件从PubSub流流到BigQuery。我看到在GCP中有两个模板可以实现这一点:一个是Dataflow从主题中读取消息，另一个是订阅。在这里使用订阅的好处是什么，而不仅仅是使用主题中的事件？
浏览 0提问于2019-05-24得票数 2
回答已采纳
我有一个需求，我需要在Azure事件中心使用kafka主题。需要创建将使用作为参数提供的主题的POST端点。消息必须以kafka主题为属性，以消息内容为主体，在公共子主题上发送。
这是一个很高的要求。我看过以了解如何实现这一目标。但是，如果有人实时地实现了这一功能，即从Azure事件中心到google的事件，或者曾经进行过类似的实现，请提供帮助。
浏览 1提问于2021-06-03得票数 1
回答已采纳
1回答
我有一个要求，我需要创建一个数据流作业，该作业将通过过滤将作为json数据一部分的属性的消息，将数据从Google PubSub主题传输到BigQuery表。使用谷歌提供的模板，我可以使用谷歌提供的"PubSub to BigQuery“模
浏览 0提问于2018-11-27得票数 2
背景：发布/订阅消息中的一些字段名包含破折号(-)，我无法控制这些破折号，
浏览 0提问于2019-08-01得票数 0
我想玩和处理中的消息。在Pub/Sub中是否有任何公共数据提要可供我开始使用？在Dataflow 示例中，输入是从，gs://dataflow-samples/shakespeare/kinglear.txt中的文件中读取的。
浏览 0提问于2016-08-09得票数 5
回答已采纳
2回答
我的渠道是IoTCore ->发布/订阅->数据流-> BigQuery。最初，我得到的数据是Json格式的，管道工作正常。现在我需要转到csv，问题是我使用的Google定义的数据流模板使用Json输入而不是csv。有没有一种简单的方法通过数据流
浏览 27提问于2021-01-03得票数 0
回答已采纳
问题陈述是我们正在自定义PubSubToBQ提供的PubSubToBQ数据流java模板，在该模板中我们将配置多个订阅/主题来读取数据并将数据推送到多个Bigquery表中，这需要作为单个数据流管道执行但是，当我们从eclipse执行模板时，我们必须在gcs桶上传递订阅/主题</em
浏览 0提问于2019-07-16得票数 0
我想从流中的api中摄取数据到bigquery。我想最好的选择是使用云数据流，以便将这些数据摄取到bigquery中，但是我不知道如何从https://developer.tomtom.com/traffic-api接口中提取数据 我是否可以在相同的数据流管道中提
浏览 16提问于2020-04-17得票数 0
回答已采纳
1回答
你能帮助我提供如何在biGQuery中加载我的谷歌分析数据到Redshift的方法吗？云函数能做到这一点吗？或者，我如何从python端触发它，而不是使用bigquery脚本来调用BigQuery端？
浏览 0提问于2019-11-28得票数 1
1回答
我关注的是通过GCD发布/订阅的物联网实时流处理，云数据流和通过BigQuery.I执行分析。我正在寻求如何实现这一点的帮助。
浏览 2提问于2017-06-15得票数 1
1回答
为什么使用发布/订阅？Usecase:有一个http触发的"Cloud function“，在这个函数上发送一些数据。此函数在处理数据后，将数据发布到发布/订阅主题。然后还有另一个Cloud函数，它是基于发布到该发布/订阅主题而触发的。因此，这个
浏览 7提问于2021-04-09得票数 1
回答已采纳
我正在尝试用BigQuery做日志分析。具体地说，我有一个appengine应用程序和一个将向BigQuery发送日志数据的javascript客户端。在bigquery中，我将在一列中存储完整的日志文本，但也会将重要字段提取到其他列中。然后，我希望能够对这些列执行即席查询。1) BigQuery在这个用例中是特别好还是特别差?2)如何设置循环日志？
浏览 0提问于2012-05-02得票数 5
回答已采纳
我试图找到这个问题的答案，但只找到了一些轶事。谷歌是否对存储在BigQuery上的数据进行加密？如果是的话，使用了哪些加密机制？
浏览 3提问于2014-10-10得票数 2
回答已采纳
我在数据流中使用Pub/Sub订阅BigQuery模板。Pub/Sub订阅中的消息数据是csv格式，如下所示
这将在加载到BigQuery表时留下一个错误。如何在模板中将CSV数据转换为
浏览 0提问于2021-03-10得票数 0
1回答
我们想开发一个系统，可以处理突发的流数据，1M事件/秒，持续1分钟，然后负载将显着降低到100/秒。
这些1分钟的数据突发每天可能发生5-10次，我们需要聚合(简单分组)数据并将其转储到另一个服务。在这里，最小成本和最大吞吐量的最佳arch是什么？我看过google pubsub/p + google dataflow + apache beam，但这似乎需要很长时间才能实现自动扩展。欢迎提出进一步探讨的建议。
浏览 1提问于2020-10-14得票数 0
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
