我正在尝试使用v2.0SDK创建一个简单的管道，但在使用BigQueryIO将数据读取到我的PCollection时遇到了问题。NullPointerException。这是我的代码。(我可能遗漏了一些简单的东西。我是一个管道编程的新手。任何意见都将不胜感激。)().create());
p.ap
浏览 4提问于2017-06-03得票数 0
1回答
从Google读取数据
、、、、
我是管道世界和Google的新手。在Test.java.packageid.StarterPipeline.main(StarterPipeline.java:72)
必须指定由: java.lang.Null
浏览 3提问于2016-01-20得票数 1
我正在将google数据流作业从dataflow javaSDK1.8升级到2.4版本，然后尝试使用--update和-transformNameMapping参数更新其在google云上的现有数据流作业If these steps have been renamed or deleted, please specify them with the update command.的兼容性检查中失败
当前正在运行的现有作业的数据
浏览 0提问于2018-04-06得票数 0
我使用从云存储中读取一个11.57GB的文件，并将它们写入谷歌BigQuery。花费了大约12分钟和30名工人。然后，我压缩了相同的文件(大小现在变为1.06GB)，然后再使用google从谷歌存储中读取它们，并将它们写入BigQuery。现在用了大约31分钟和同样的30名工人。除了第一个数据流作业中的输入文件被解压缩外，两个数据流作业都有相同的管道选项，但是输入文件在第二个<em
浏览 3提问于2016-08-06得票数 0
回答已采纳
1回答
我需要使用服务帐户执行数据流作业，我遵循的是在同一平台中提供的一个非常简单和基本的示例字数。根据这一点，GCP需要拥有数据流工作者权限的服务帐户才能执行我的作业。即使我已经设置了所需的权限，当错误仍然出现时，weir部分就会出现：
有人能解释这种奇怪的行为吗？非常感谢
浏览 2提问于2020-02-02得票数 0
1回答
我使用数据流/ bigquery已经有一段时间了，但是我仍然无法理解一些基本的事情，即什么时候使用某种类型的方法来查询表。使用BigQueryIO.Read的单行查询选项是：
这使得导出到(1) .csv文件的难度和(2) bigquery表-没有模式！每次我们想将查询结果保存到bigquery或.csv文件时
浏览 2提问于2016-01-03得票数 0
回答已采纳
我正在开发java代码，以便从GCS读取记录并插入到BQ表中，从成本和性能的角度来看，哪个BigqueryIO.write()或bigquery.insertAll()方法更好。
浏览 0提问于2019-03-05得票数 1
我将数据从卡夫卡流式传输到BigQuery，使用的是带有谷歌数据流运行器的阿帕奇光束。我想使用insertId进行重复数据删除，我在谷歌文档中找到了这一点。但是，即使这些插入在几秒钟内发生，我仍然可以看到许多具有相同insertId的行。现在我在想，也许我没有正确使用API来利用BQ提供的流式插入的重复数据删除机制。我在beam中编写的代码如下所示：
payments.apply("Write Fx Payments to
浏览 1提问于2017-09-25得票数 1
我想跳过首先下载到我的本地机器，然后上传到云上的步骤。它只运行一次。不是寻找完整的代码，而是任何有人可能从中学到的指针或教程。使用python与google进行交互-云和存储。
浏览 0提问于2018-11-08得票数 1
我有一个谷歌云发布/订阅和云数据流处理架构，我需要保证消息排序。是否可以将订阅消息流设置为每个主题固定数据流工作进程，以便消息通过相同的数据流工作进程路由，因此应该实现消息排序。
谢谢
浏览 0提问于2018-06-30得票数 1
我试图连接从谷歌数据流应用卡桑德拉。我们的卡桑德拉环也在谷歌云上。当我们必须在dataproc上通过星星之火连接到cassandra时，我们通过传递“-标记cassandra”来创建集群，这允许运行在dataproc上的应用程序连接到Cassandra。有办法在数据流上设置标签吗？
浏览 1提问于2017-03-24得票数 0
回答已采纳
我已经使用google云数据流和apache构建了大约一年的python管道。我把谷歌的云环境留给了一个，它已经安装了火花。看起来火花运行器只适用于java ()吗？对于如何在云数据流之外运行python管道，有什么建议吗？
浏览 0提问于2018-03-13得票数 0
回答已采纳
3回答
我有一个从PubSub主题读取事件数据的数据流管道。当收到消息时，我执行一个转换步骤，将事件数据与我想要的BigQuery模式相匹配。但是，如果创建的输入不符合模式，则会遇到问题。RuntimeError: Could not successfully insert rows to BigQuery table
目前，我正在进行大量手动检查，以确保输入是否符合模式，但是，在没有考虑到的情况下有没有一种方法可以尝试写到BigQuery，如果这样做失败了，用原始的输入做其他的</em
浏览 4提问于2018-05-08得票数 4
问题陈述是我们正在自定义PubSubToBQ提供的PubSubToBQ数据流java模板，在该模板中我们将配置多个订阅/主题来读取数据并将数据推送到多个Bigquery表中，这需要作为单个数据流管道执行但是，当我们从eclipse执行模板时，我们必须在gcs桶上传递订阅/主题和烧烤细节，然后使用具有不同订阅和烧烤细节的gcloud命令运行模板。数据流作业不会被新的订阅表或BQ表覆盖。我使用谷歌提供的</em
浏览 0提问于2019-07-16得票数 0
我已经写了一个非常简单的Nifi模板，它首先列出一个对象，然后从Google Cloud Storage上的存储桶中获取对象。显然，当获取对象时，Nifi会尝试使用互联网从存储桶中下载对象。我的问题是，如果我想要将这样的对象摄取到其他Google Cloud服务，比如Pub/Sub或Cloud Datastore，我是否需要将这些文件下载到一个单独的节点？为什么我不应该在Google Cloud中有另一个节点，它可以与Google Cloud Storage中的</em
浏览 2提问于2018-12-16得票数 0
1回答
我想从谷歌云存储上数百个CSV文件中加载数据，并每天使用云数据流(最好使用python SDK)将它们附加到Bigquery上的单个表中。你能告诉我怎样才能做到这一点吗？
谢谢
浏览 1提问于2018-05-21得票数 0
2回答
// OPTION 1formattedResults.apply(BigQueryIO.Write.named.withSchema(tableSchema) .withW
浏览 3提问于2016-08-05得票数 0
1回答
我正在开发一个数据流管道，它正在从谷歌云存储读取协议的文件，并解析它，并试图写入到BigQuery表。当不是时，它工作得很好。行的大小约为20k，但如果不是。行数约为200k，则失败。deltaSchema)) .apply(write
withFormatFunction 同样
浏览 21提问于2021-10-28得票数 0
GCP的有一个简短的描述，“提供了检测、风险分析和识别文本、图像和Google Cloud Platform存储库中隐私敏感片段的方法”。
浏览 13提问于2019-11-05得票数 0
1回答
这是一个设计方法问题，我们试图在Apache / Google和Cloud之间选择最佳选项，从HTTP (源)中提取数据，然后将它们向下放到Google BigQuery (接收器)。传统上，我们使用谷歌数据流( Google )实现类似的功能，其中的源是谷歌存储桶中的文件或谷歌PubSub中的消息，等等。在这些情况下，数据以“推”的方式到达，因此使用流数据流作业更有意义。但是，在新<em
浏览 5提问于2022-11-10得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
