在Cloud Function中，我使用Python这样调用API： from googleapiclient.discovery import build
'environment':environment)
response = request.execute() 这是我正在启动的数据流模板中的管道beam.io.BigQuery
浏览 17提问于2020-12-08得票数 0
现在，我的数据在google (cloud和BigTable)中。我已经公开了REST以从这两个方面检索数据。现在，我想从这些API中检索数据，执行ETL并将数据加载到BigQuery中。使用云DataFlow进行ETL
然后使用BigQuery批处理插入API (用于初始加载)和流插入API (用于源中可用的新数据时的增量加载)加载BigQuery非规范化模式。
浏览 2提问于2017-08-11得票数 1
回答已采纳
我已经使用Apache Beam SDK在Python中创建了Pipeline，数据流作业可以很好地从命令行运行。但是我该如何使用Python SDK来实现呢？
浏览 4提问于2017-04-13得票数 8
我有一个在google数据流中运行的现有作业的列表。我想列出最后x天运行的作业，并希望以编程方式回收这些作业。为此，我需要用于特定作业的模板的名称。我们可以在Job视图中从控制台轻松地获取此信息。但是，我想知道是否有任何方法可以从Gcloud命令或API获取这些信息。谢谢萨朗
浏览 2提问于2022-09-27得票数 0
=‘gs:/桶/最新/job1 1’，parameters={'inputFile'：API端点，'output'：GCS_OUTPUT}，location='REGION'，
我的理解是，首先我必须使用maven编译和部署模板，然后使用json类型将参数传递给Dataflow模板化操作符。我不知道如何创建参数和模板。我已经手动创建了数据流jar文件，并在过
浏览 7提问于2022-01-30得票数 1
我正在寻找从模板开始谷歌数据流工作的方式。我找到了rest api来执行此操作，并深入研究了api页面https://cloud.google.com/dataflow/docs/apis，但只找到了rest api来执行此操作。我想知道是否有像我们在存储中可以做的那样的java客户端，例如 Storage storage = StorageOptions.newBuilder().s
浏览 16提问于2019-05-31得票数 0
回答已采纳
3回答
我有一个管道从BigQuery中提取数据，并使用Apache将数据写入文件。这里，Iam使用了一种数据流模板方法。如果我硬编码模板创建过程中编译时的碎片数，那么一切都很好。但是，我需要根据从BigQuery提取的行数来决定运行时碎片的数量。如果有超过100万条记录，那么就写到另一个文件中。在使用模板方法时，在Dataflow中是否可以做到这一点。我知道，如果我们使用非模板方法，所有
浏览 4提问于2020-10-11得票数 0
我正在尝试部署一个Dataflow作业，该作业从BigQuery读取并按固定计划写入Cassandra。模板代码是用Java编写的，使用Apache和Dataflow库。我已经将模板放到上，并配置了一个Cloud实例以及用于触发Dataflow模板的云函数。我正在使用最新版本的所有束和BigQuery依赖关系。但是，我发现当使用相同的阶段模板部署作业时，BigQuery提取作业似乎总是使用相同的作业ID，这会导致日志中</em
浏览 2提问于2020-06-30得票数 1
回答已采纳
1回答
在应用程序引擎数据流作业中使用Dataflow API启动时，我必须向模板传递参数。com.google.api.services.dataflow.Dataflow.Projects.Locations.Templates.Launch request1 =
LaunchTemplateResponse response1 =
浏览 8提问于2017-11-15得票数 0
1回答
我正在尝试将文件从可访问的数据湖复制到blob存储，同时启动群集。我正在使用Azure文档中的此命令现在，如果我试图自动化这一点而不是硬编码，我如何在脚本
浏览 1提问于2017-04-03得票数 0
有没有一种方法可以自动从性能中心或负载运行器提取稳态性能测试结果？
我不能做太多的模板，如果有人成功了，请分享你的想法。用例:-我们有一个自动化管道，它通过性能中心上的Rest API运行性能测试，完成后以HTML格式下载相应的测试结果。但是这个HTML报告是针对整个测试持续时间的，而我们只需要稳定状态部分。我们的PE工程师在本地机器上使用Load Runner Analysis (HP Analysis)从原始结果(另一种结果类型，可以通过Rest API</
浏览 3提问于2017-06-02得票数 0
我想在管道完成所有处理后运行一些代码，所以我使用BlockingDataflowPipelineRunner，并将代码放在pipeline.run()之后的main中。但是，当我尝试将作业作为模板运行时，它不起作用。我将作业部署为模板(使用TemplatingDataflowPipelineRunner)，然后尝试在云函数中运行模板，如下所示：
dataflow.projects.templates.create(我在pipeline.run()下的代码不会在每个作业运行时运行--只有在
浏览 1提问于2017-06-05得票数 2
回答已采纳
1回答
如何在数据管道中下载pdf文件(或任何类型的文件)？对于blob存储，该文件通过api进行搜索，但它们位于基64中。
浏览 2提问于2021-05-20得票数 0
回答已采纳
我有一个云函数，它使用dataflow API从我使用DataPrep创建的模板创建一个新作业。我成功地从dataflow API运行了作业，数据正确地插入到bigquery表中，但是在时间戳字段中，时间戳的值总是相同的，它对应于我从其中获取模板的作业的执行时间(DataPrep模板)。当我从dataprep接口运行作业时，这个时间戳是正确插入的，但是当我使用云函
浏览 1提问于2018-06-05得票数 2
1回答
我想使用PYTHON执行模板。实际上，我一直在使用Dataflow REST API或Cloud Functions集成执行数据流模板。这是我在邮递员中的数据流模板执行：
网址： https://dataflow.googleapis.com/v1b3/projects/{{my-project-id}}/templates:launch
浏览 0提问于2018-09-18得票数 2
回答已采纳
我们正在探索的用例中，我们可能不得不摄取SCADA/PIMS设备生成的数据。出于安全原因，我们不允许直接连接到OT设备或数据源。因此，该数据具有REST，可用于使用数据。请建议是否可以使用Dataflow或GCP的任何其他服务来捕获这些数据，并将其放入大型查询或任何其他相关目标服务中。如有可能，请分享关于此类要求的任何相关文件/链接。
浏览 2提问于2022-04-22得票数 1
我已经创建了一个数据流作业，它接受名为'key‘的参数作为输入。我已经使用以下命令创建了模板--staging_location=gs://mm_dataflow_bucket/staging --setup .",
"name": "Market S
浏览 0提问于2020-05-02得票数 0
目标我传入的运行时参数的实际行为被忽略了，而是使用了在创建GCS模板时必须指定的参数。下面是我如何指定读取操作，以及如何定义和传递查询参数。Web从GCS中选择模板并进行部署。注意:当我在Dataflow</
浏览 1提问于2020-02-20得票数 1
2回答
堆栈驱动程序中dataflow_step日志的dataflow_step字段指向全局，尽管指定的区域端点是Europe 2。
知道它到底指向了什么吗？
浏览 3提问于2020-06-03得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
