1回答
我正在尝试运行来自google云函数的管道。不幸的是，我无法通过我找到的所有示例的第一行。= google.dataflow('v1b3');从我看到的所有示例来看，这应该足以提供一个数据流客户端。
浏览 9提问于2018-02-28得票数 0
回答已采纳
我正在尝试设置一个谷歌云数据流管道(流模式)，它读取pubsub主题消息，从发布的消息中提取信息(谷歌云存储中的对象名称)，然后启动另一个管道(批处理模式)来处理存储在谷歌云存储中的对象。是否可以在管道内启动另一个管道？
浏览 0提问于2017-01-09得票数 2
另外，如果我需要做一些自动化的理智测试
我应该使用什么数据流或云功能。
浏览 11提问于2022-05-10得票数 2
我想要实现的：每次我上传一个文件到云存储，它将自动被写入BigQuery。但是他们不一起工作。如何让云函数触发来激活数据流部分？这是一个脚本，还是只是一些设置，我错过了？
缺少一些东西把它们连接起来。
浏览 7提问于2021-03-03得票数 0
回答已采纳
目前，我正在开发GCP中的一个项目，该项目使用多个子网连接到单个主机项目上，用于映射不同的环境(经典环境开发、阶段和生产)，我正在尝试运行数据流管道和云函数，这些管道和云函数需要连接到不同服务项目中驻留在到目前为止，我已经为属于特定环境的子网设置了具有网络用户角色的运行数据流和云功能的服务帐户，在数据流的情况下，我正在为主机项目上的管道指定子网络，但是数据流管道和
浏览 0提问于2018-12-03得票数 1
2回答
我正在尝试学习/尝试云编写器/束/数据流在gcp上。我编写了一些函数来对python中的数据进行一些基本的清理，并使用云编写器中的DAG运行此函数，从桶中下载文件，处理它，并以一定的频率将其上传到桶中。
我
浏览 13提问于2022-02-13得票数 1
回答已采纳
我想使用java SDK 2读取数据流中的Avro文件。 AvroIO.read(user.class)在运行管道时如何读取为触发云函数而上传的Avro文件，云函数
浏览 3提问于2017-11-16得票数 0
我有一个云数据流工作，它为一个应用程序做了大量的处理。在管道的某个阶段，我按特定的键进行分组，对于与该键匹配的每条记录，我希望将一个文件写入Cloud (使用该键作为文件名的一部分)。因此，这种使用模式不适合标准的云数据流数据接收器模式(在该模式中，输出阶段的切分决定了#输出文件，而且我无法控制每个碎片的输出文件名)。我正在考虑将直接写入云存储作为ParDo函数中的一个副作用，但有以下查询：
写到云存储作为一种副作用是完全允许的吗？如果我是
浏览 2提问于2015-06-07得票数 3
我有一个运行在GCP上的数据流管道，它从发布/订阅读取消息并写入GCS，bucket.My数据流管道状态被某些用户取消了，，我想知道那个用户是谁？
浏览 2提问于2019-10-22得票数 0
我目前在GCP中有一个管道，它使用云函数摄取数据，将其存入PubSub，在数据流中进行处理，最后将其插入到BigQuery中。我正在尝试计算平均消息从云函数摄取到BigQuery需要多长时间(包括插入时间)。哪些可用指标可以
浏览 2提问于2019-11-21得票数 0
1回答
因为我要在WriteToBigQuery操作之后执行一些任务，所以我编写了两个单独的函数，并在主类中执行它们，以便按顺序运行我的数据流管道。我已经在云存储上创建了相同的模板，并试图从云函数触发这个自定义管道模板，但它直接执行第二个函数，而不是第一个函数。if __name__ == '__main__':
print "Starting Dataflow Pipeline&quo
浏览 0提问于2019-08-07得票数 0
2回答
我需要从Cloud函数触发Cloud管道。但是云函数必须用Java编写。所以云函数的触发器是的Function /Create事件，也就是说，当一个文件上传到GCS桶中时，云函数必须触发云数据流。当我创建数据流管道(批处理)并执行该管道时，它将创建一个dataflow管道模板并创建一个Dataflow
浏览 14提问于2020-08-21得票数 9
回答已采纳
我正在尝试从云函数触发数据流管道，云函数本身是在GCS存储桶中上传新文件时触发的。当我上传一个文件时，云函数被正确触发，但在几秒钟后超时，没有任何数据流被触发。下面是我的函数代码：const google = require('googleapis');
const projectId = "iot-fitness-198120
浏览 0提问于2018-03-20得票数 1
在Dataflow FAQ中，列出了在计算引擎上运行自定义(cron)作业进程是调度数据流管道的一种方法。我搞不懂到底该怎么做:如何在计算引擎上启动数据流作业和启动cron作业。 谢谢!
浏览 29提问于2020-08-19得票数 1
回答已采纳
我有一个BigQuery表作为接收器的管道。在将数据写入BigQuery之后，我需要执行一些步骤。这些步骤包括对该表执行查询，从该表中读取数据并将其写入到另一个表中。如果上述操作都不起作用，是否可以从正在运行的管道中调用另一个数据流作业(模板)。谢谢。
浏览 2提问于2017-10-03得票数 2
1回答
我想在我的云函数中运行一个子进程来触发我的数据流管道，它是写在一个外部文件中的。projects/my_project/subscriptions/sub1" ,"--output_topic", "projects/my_project/topics/topic2"]) Complet
浏览 1提问于2019-10-29得票数 0
回答已采纳
目标-I有一个数据流模板(用python编写)，它依赖于熊猫和nltk，我还想从云函数触发数据流作业。为此，我已经将代码上传到桶中，并准备在云函数中指定模板位置。Problem-如何传递requirements_file参数，当您使用从云函数中发现google模块触发数据流作业时，通常会传递这个参数来安装任何第三方库？Prerequisites- --我知道，当您通过本地机器通过指定本地目录路径<e
浏览 1提问于2020-04-06得票数 3
回答已采纳
我想连接谷歌云sql postgres实例从运行在谷歌数据流上的apache beam管道。我找不到与此相关的适当文档。在云SQL中如何指导我看不到任何关于数据流的文档。
有人能提供文档链接/github示例吗？
浏览 1提问于2017-11-06得票数 3
0回答
在谷歌云平台-数据流中，当流式传输未绑定的PCollection (比如使用PubSubIO的PubSub主题)时，有没有一种有效的方法来启动和停止数据流中的波束管道？(示例在一天开始时运行，在一天结束时结束)是让调度程序拥有Cron App engine服务并启动上面的管道作业然后停止该作业的唯一方法吗？只是看看有没有其他的选择。
浏览 8提问于2018-07-14得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
