我正在尝试在GCP中创建ETL，它将从PostgreSQL读取部分数据，并将其以合适的形式放入BigQuery。我可以从我的计算机上部署数据流来执行此任务，但我无法将其设置为动态，因此它将读取上一次传输的记录并传输下一个100。所以我想，我将从Cloud Function创建数据流。一切都正常，读/写BigQuery就像一个魔咒，但我被困在了PostgreSQL响应的包上:光束块。/tmp/ 从<
浏览 44提问于2020-07-13得票数 1
回答已采纳
1回答
在某些情况下，当从BigQuery加载或连接数据时，我们会在作业上得到"Write rejected“错误，即使相同的作业可以很好地处理相同大小的不同表。我添加了详细的错误消息：com.google.cloud.dataflow.sdk.runners.wor
浏览 0提问于2015-06-09得票数 0
我们实际上计划使用CloudDataflow将数据从CloudSql读取到BigQuery中。当我尝试运行下面提到的代码时，我收到错误消息“驱动程序类名称未提供”。有人知道如何传递这行代码"options.getDriverClassName()“的值吗？
浏览 0提问于2020-09-17得票数 0
2回答
我正在尝试使用构建一个可以与Google Cloud SQL (PostgreSQL)实例对话的应用程序接口。
我正在使用HTTP(S)触发器。当我将我的桌面的IP地址列入白名单时，我可以从我的本地机器使用函数的node.js代码连接到Cloud SQL。但是当我部署时，我不能连接，我不能弄清楚Firebase函数服务器的主机IP地址，到白名单。
浏览 57提问于2017-03-26得票数 37
回答已采纳
$ScanState.readBytes(TextReader.java:261) at com.google.cloud.dataflow.sdk.runners.worker.DataflowWorker.executeWork(DataflowWorker.java:204) at
com.google.cloud.
浏览 1提问于2015-07-27得票数 6
回答已采纳
受在线示例的启发，我使用ValueProvider占位符在我的PipelineOptions“sub”-interface中设置延迟参数： @Default.String("MyDefaultValueValueProvider<String> getMyValue();} 然后，当我的Te
浏览 11提问于2020-07-23得票数 2
1回答
我正在尝试从运行在'CST‘时区的Oracle服务器读取数据。我的google DataFlow正在“我们中心1”地区运行。我能够使用'DirectRunner‘从服务器连接和读取数据，但使用ojdbc8驱动程序jar在'DataflowRunner’中得到以下错误 at com.google.cloud
浏览 1提问于2018-03-08得票数 1
我找不到关于如何将GCF与Google Cloud Endpoint连接起来的文档。据我所知，Google Cloud Endpoint可以配置为访问内部云资源。也不清楚如何将负载均衡器与Endpoint服务一起使用。
在中，它指示您应该能够配置从云端点到云函数的直接连接。没有迹象表明您需要在它们之间使用任何计算引擎或其他基础设施。是否有关于如何
浏览 0提问于2017-06-26得票数 23
我的理解是，这应该会创建一个特定于CI的服务帐户，这是服务器的默认凭据。在此实例上运行应用程序时，应该使用与用户身份验证相同的方式。这是我得到401的地方。我的问题是..。3)最后一件事是使用步骤2中的服务凭据，将其与GCE实例分开，然后创建一个实现CredentialFactory接口并将其传递给PipelineOptions的对象。选项是如何配置的，凭据工厂是什么样子的
浏览 5提问于2015-07-07得票数 1
回答已采纳
TL;DR:我正在编写一个数据流管道，从两个不同的pub/subs读取，其中一个PCollections被拆分为一个PCollectionTuple，最后我尝试在将它保存到BigQuery中之前先尝试。:413)
at com.google.cloud.dataflow.sdk.Pipeline.applyInterna
浏览 4提问于2016-09-21得票数 5
回答已采纳
1回答
它将支持跨平台的移动应用程序。后端有许多功能，这促使我将后端划分为8个服务(部署为云函数)，并作为REST API公开给客户端。每个已部署的函数都将使用firestore，并将严格查询与该特定服务相关的集合。严格禁止通过HTTP进行服务间通信，并且所有此类通信仅限于云消息传递。我非常有信心，伸缩不会成为问题，因为伸缩一个服务将意味着增加部署的功能实例的数量。数据库(Firestore)也是如此。从一般的角度来看，我说
浏览 14提问于2020-02-18得票数 2
回答已采纳
我们在BeamSDKs2.0/2.1/2.4中遇到了问题，因此我们试图从1.9.1迁移到2.5，而Bigtable连接器是我们经常使用的一个重要特性。如果还没有与2.5兼容，那么bigtable-hbase-beam 1.3.0与哪个梁SDK (java)兼容？'
compile 'com.google.cloud.dataflow:google-cloud-dataf
浏览 0提问于2018-07-05得票数 1
回答已采纳
GCF Cloud SSL没有显示如何使用documentation通过套接字进行连接。这是我的配置，但是当我尝试连接时，我得到了一个ECONNREFUSED错误。但是，当我尝试连接到非SSL数据库时，它工作得很好。有什么想法吗？
浏览 50提问于2019-06-19得票数 1
1回答
读写依赖问题
、、、、
我需要的是:依赖关系的正确组合--版本能够通过DatastoreIO.v1()、读/写从数据流中读取和写入数据存储(V1.9.0)，在pom中需要引用哪些依赖项？Dataflow 1.9.0在mavenrepo的pom中引用的数据流特定依赖项：
com.google.cloud.dataflow/google-cloud-dataflow-java-sdk-al
浏览 1提问于2017-05-22得票数 1
回答已采纳
1回答
我已经在Azure上部署并运行了一个Azure。它连接到Google Cloud PostreSQL数据库，没有任何问题。为了从appSettings.config中删除连接字符串，我希望使用一个Azure连接字符串，应该重写appSettings.config值。我编写了应该，因为我这样做了，但是Azure中的值被完全忽略了。=portal;Password=myPassword"}
正如我前面提到的，它正在运行
浏览 1提问于2021-11-25得票数 0
(我还提出了一个GitHub问题- )
依赖1- google-cloud-dataflow-java-sdk-all<dependency>
<groupId>com.google.cloud.dataflow</groupId
浏览 0提问于2018-11-22得票数 7
它基本上：
at com.google.cloud.dataflow.sdk.io.BigQueryIO$StreamingWriteFn.finishBundle(:158)
at com.google.cloud<
浏览 5提问于2016-09-28得票数 0
回答已采纳
是否有可能创建一个从Pub/Sub读取数据并写入数据存储的管道？在我的代码中，我指定PubsubIO作为输入，并应用窗口来获得有界的PCollection，但是似乎不可能将DatastoreIO.writeTo与options.setStreaming作为真，而使用:74)
at com.google.cloud.dataflow.sdk.runners.DataflowPipelineRunner.apply(DataflowPipelin
浏览 2提问于2016-01-14得票数 5
回答已采纳
我正在运行一个谷歌数据流的工作与150名工人。我正在阅读来自谷歌PubSub的输入。经过几次充实后，我将结果写入谷歌BigQuery。(SimpleDoFnRunner.java:49)com.google.cloud.dataflow.sdk.runne
浏览 28提问于2017-06-20得票数 0
我是阿里巴巴云的新手，我有一个运行在Google Cloud Dataflow上的Apache光束应用程序。现在，我想将相同的apache beam管道部署到阿里云。我正在寻求关于如何/需要哪些设置才能在阿里云中运行apache beam管道的帮助？阿里巴巴有没有相当于Google Cloud Platform Dataflow的资源？
浏览 2提问于2020-03-25得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
