尝试实现云数据流任务，将数据从PostgreSQL数据库表加载到帮助下的URL文档。在执行数据流作业时遇到问题。参考屏幕截图1。
URL:方法2:使用云数据流将ETL转换为BigQuery
浏览 0提问于2018-10-08得票数 0
回答已采纳
1回答
我正在尝试使用窗口方法(UnBounded PCollections)实现从一个CloudSQL表到另一个CloudSQL表的基于流的数据转换。
我的数据流包已成功完成。但是，当新数据到达第一个表时，它不会继续运行。为了使其运行流模式，我是否遗漏了代码级别的任何内容。
浏览 20提问于2019-08-21得票数 0
1回答
我需要使用服务帐户执行数据流作业，我遵循的是在同一平台中提供的一个非常简单和基本的示例字数。根据这一点，GCP需要拥有数据流工作者权限的服务帐户才能执行我的作业。
浏览 2提问于2020-02-02得票数 0
无法启用数据流工作人员的调试跟踪级别日志记录。文档:
指示使用DataflowWorkerLoggingOptions以编程方式覆盖工作人员上的默认日志级别，并启用调试\跟踪级别日志记录；但是，该接口已被取消，并且不再存在于bean-SDK2.27.0是否有人能够在云数据流中启用工作级调试；以任何方式。
浏览 2提问于2021-06-29得票数 0
回答已采纳
1回答
我试图在我的项目中使用数据流API。在云仪表板中，我使用指定的链接启用了所有API：由: java.lang.RuntimeException:未能创建工作流作业引起:项目尚未启用请使用为您的项目激活“数据流”API。com.google.api.client.googleapis.json.GoogleJsonResponseException:
浏览 2提问于2016-03-20得票数 0
回答已采纳
1回答
权限问题
、
我正在测试GCP数据流，作为IOT项目的一部分，以便将数据从Pub/Sub转移到BigQuery。我从主题的页面“”按钮中创建了一个数据流作业。除了无法删除数据流的问题外，我还遇到了以下问题：工作流失败。原因:刷新您的凭据存在问题。请检查: 1.为您的项目启用了数据流API。，您的项目没有云服务机器人帐户。请确保为您的项目启用了Dataflow API。有趣的地方是：
console.Da
浏览 2提问于2021-04-10得票数 0
1回答
我正在尝试使用Azure data Factory数据流活动在云上转换数据，之前我已经创建了一个包含复制活动和其他活动的管道(它从SQL服务器获取表名列表，并将其作为参数传递给另一个执行实际复制的活动)，我学会了创建数据流活动来转换数据并将其放在另一个活动上，我何时需要触发该数据流活动。
浏览 0提问于2019-07-08得票数 1
所以我试着使用控制台内的Dataflow教程。它要求我启用我所做的API。现在，当我正在学习教程的时候，我在其中一个步骤中遇到了这样的情况：
我签入了我的“API & Services”，并启用了API。我也曾想
浏览 3提问于2020-05-20得票数 0
1回答
我使用将数据加载到Cloud中。一些负载由小数据集上的简单转换组成。我注意到Cloud需要时间来分配VM来进行处理。是否有任何方法为云数据流定义专用的VM？还是每次运行作业时都要启动VM？云数据流对小数据集有用吗?或者只在我们不得不使用大数据集时才使用它是可行的？
浏览 0提问于2018-11-05得票数 0
回答已采纳
3回答
只有当数据流作业执行成功完成时，我才想触发云函数。我使用数据流模板(jdbc到BigQuery)从Dataflow UI运行数据流作业。作业执行后，没有任何选项触发任何云函数或其他东西。另外，我不能修改模板代码。触发云功能的方法是什么？
浏览 4提问于2020-11-25得票数 0
回答已采纳
我们正在使用PCF来运行我们的应用程序，以构建我们认为利用Spring云数据流服务器的数据管道，该服务器在PCF中作为服务提供。从这里获得了一些信息，如何启用调度程序：https://docs.spring.io/spring-cloud-dataflow/docs/current/reference/htmlsingle/#_enabling_scheduling 因此，我尝试使用以下命令更新现有的
浏览 36提问于2020-11-27得票数 0
2回答
我试图使用应用程序manifest.yml将Spring数据流服务器部署到企业关键云创建实例。我最初的想法是为数据流服务器创建一个新的Cloud用户，它可以将应用程序部署到我正在使用的组织/空间，然后可能使用Spring将凭据注入到env中。这是典型的解决方案吗？为此，我是否需要创建云创建数据流服务器的自定义构建？基于 SO posts，我现在决定不需要在其嵌入式Tomcat服务器中的数据流服务器配置
浏览 0提问于2017-09-06得票数 0
回答已采纳
我们已经启用GA 360导出到Bigquery，每天创建一个新表。为了进一步处理，我们需要将每日导出转移到IBM云对象存储。最简单的解决办法是使用CLI -bq extract( b)将摘录移动到IBM对象存储中。gsutil cp1)我们能否在两者之间跳过google云存储，并且是否可以直接导出到IBM？
2)我们以前从未使用过数据流。这个用例能成为使用数据流<
浏览 0提问于2019-09-05得票数 2
回答已采纳
如果可能的话，如果有人可以给我指出正确的方法，那么使用pub/sub大规模地将传入的流.csv文件导入BigQuery (使用数据流应用了一些转换)的最佳方法是什么？由于im考虑使用pub/ sub来处理传入.csv文件的多个大原始流1.传入raw.csv文件> 2. pub/sub > 3.云存储> 4.云函数(触发数据流)> 5.
浏览 0提问于2018-05-06得票数 0
回答已采纳
ADF管道和ADF数据流有什么区别？为什么管道和数据流支持的汇/源是不同的？是否有可能创建一个管道来读取来自源的数据、筛选、使用连接并将数据存储到没有数据流的接收器中？请让我知道。
浏览 0提问于2020-05-14得票数 8
回答已采纳
创建“云存储上的文本文件到大查询”数据流模板以将数据填充到bigquery中。我需要一些帮助转换的日期格式从DD-MM-YYYY到YYYY-MM-DD在大查询中使用‘文本文件在云存储到大查询’数据流模板在GCP中。
浏览 12提问于2021-06-12得票数 0
想通过云通信IM，在不影响已有的语音、视频通信的同时，可传输自定义的实时数据流。数据流的速率约14KB/s（112Kb/s），要求能实现数据流的透传1.可以将数据流按2秒或小于2秒的时间间隔组帧发送。可否将其封装成自定义消息包进行发送，在收端解包处理？2. 也可以将数据流转换成音频或视频数据流，通过音频或视频数据接口传输。但是音频接口会进行语音编码，导致数据不能透传。视频数据流是
浏览 318提问于2016-04-19
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
