需要将结果写入多个输出文件，输出文件的名称是在运行时生成的。 .withHeader("Name,Total").withNumShards(1));
场景2:输出结果
浏览 9提问于2021-05-28得票数 0
如何使用管道从表中提取数据，并将其作为csv存储在GS中？到目前为止，我只能以简单的文本格式提取数据，方法是提取每个字段，将其连接成字符串，然后将其输出。
有谁知道解决这个问题的方法吗？谢谢。
浏览 0提问于2017-07-11得票数 0
我正在处理一个窗口化的PubSub消息流，我想将它们存档到GCS。我希望归档文件有一个从窗口时间戳(类似于gs://bucket/messages/2015/01/messages-2015-01-01.json). )派生的前缀这在TextIO.Write中是可能的吗，还是我需要实现自己的FileBasedSink？
浏览 5提问于2015-11-04得票数 2
回答已采纳
我正在调试这个束管道，我的最终目标是将PCollection中的所有字符串写入一个文本文件。在我想要检查的PCollection创建之后，我已经设置了一个断点，我一直在尝试创建一个新的管道，
将其打印到文件中(使用`TextIO.write().to("/
浏览 2提问于2020-03-18得票数 0
回答已采纳
1回答
我正在尝试编写一个光束管道，它使用SparkRunner运行，从本地文件读取，并写入HDFS。write = TextIO.write().to(resource); }像这样运行它：
spark-submit:它读取本地testInput文件中的行，并将它们写到我的hdfs主目录中一个名为testOutput的新文件</
浏览 1提问于2018-11-03得票数 1
我正在将现有的管道迁移到dataflow 2.x。在管道的最后阶段，数据被写入。需要将数据压缩为.gz，因此以前(在我们的数据流1.x实现中)我们编写了自己的Sink来帮助我们这样做。在dataflow 2.x中，有一种内置的方法来做到这一点。我已经得到了正确的代码，但是java编译器抱怨TextIO.write()返回了不正确的类型。results = /* some
浏览 2提问于2017-12-27得票数 0
回答已采纳
我正在使用数据流中的流式数据从pub-sub中收听数据。然后，我需要上传到存储，处理数据并上传到bigquery。apply(BigQueryIO.Write.to(MY_BQ_TABLE).withSchema(tableSchema) pipeline.run();}Write can only be applied to a Bounded PColl
浏览 1提问于2016-11-02得票数 1
回答已采纳
1回答
我们正在构建一个Apache (Java )管道，用于写入云存储。我们使用TextIO.write()转换来写入存储。在此操作中，我们希望根据当前日期时间动态更改文件存储的子目录。这是流式管道的一部分。理想情况下，我们希望部署它，并让Beam作业动态地更改文件夹子目录，在那里它根据处理日期时间保存文件。(TextIO.write().to("gs://
浏览 0提问于2021-07-21得票数 1
回答已采纳
我需要使用python脚本通过pubsub将文件批处理/流式传输到google云存储中。我已经使用了下面的python文件，能够看到从topic发布到订阅的消息，现在我想将这些单独的消息上传到一个文件中，需要加载到云存储中。你能建议我们在哪里可以修改以下脚本中的代码，将消息数据作为文件加载到云存储中(
浏览 1提问于2018-04-20得票数 0
我正在将一个beamRecord转换为字符串。<BeamRecord> output_A = apps.apply(BeamSql.query("select Outlet from PCOLLECTION"));output_A是BeamRecord格式，需要转换成字符串，以便将其写入输出文件</
浏览 0提问于2018-03-09得票数 0
回答已采纳
我想把一个文件写到GCS桶里。桶路径和文件名是在两个不同的管道选项中动态提供的。如何将TextIO中的这些连接起来，以便将文件写入GCS桶。 .to(options.getBucktName().toString()+options.getOut
浏览 8提问于2022-11-03得票数 1
1回答
我正在研究一个场景，其中两个管道使用Google中的DataFlow：data.apply(TextIO.write(问题是:管道B可以从GS轻松加载哪些文件？
如果A不完成编写其中一些文件，那么所有这些->可能都不是一个好主意，我们会得到损坏的文件。基于时间(比如只加载至少2小时的文件)
浏览 3提问于2017-07-07得票数 3
回答已采纳
1回答
我们目前正在开发Apache管道，用于从GCP Pub/Sub读取数据，并将接收到的数据写入AWS S3中的存储桶中。我们正在使用TextIO.write在beam-sdks-java-io.amazon-web-services中写入S3。我们希望在没有任何代码更改的情况下使用Dataflow运行管道，因此我们修改了代码以使用DataflowRunne
浏览 6提问于2020-02-28得票数 1
当前使用数据流从BigQuery读入表数据，并写入固定数量分片的云硬盘。process and write files .apply("WriteToFile", TextIO.writeoutputFile) .withSuffix(".csv")
.withNumS
浏览 14提问于2019-09-19得票数 1
回答已采纳
我继承了几十个自动化的java测试，它们将测试结果失败写入各个CSV文件。相反，我想写到一个CSV文件中，每个测试都有单独的选项卡。我还没有找到如何或如果这是可能的，是否有人成功地将多个测试结果写入一个csv文件？
浏览 0提问于2019-01-23得票数 0
回答已采纳
在下面的代码中，我将读取csv文件并定义其模式，然后将其转换为BeamRecords。然后应用BeamSql实现PTransforms。BeamRecord> out = apps.apply(BeamSql.query("select Outlet from PCOLLECTION"));
out.apply("WriteMyFile", TextIO.write().to("gs://gcpbucket/output/
浏览 4提问于2018-03-08得票数 0
回答已采纳
我正在通过DirectRunner.I运行WordCount程序，我可以看到在临时文件夹(在src/.But/.But/下)中创建了输出文件，写入输出文件失败。<String>perElement()) .apply(TextIO.write().to("src/main/resources
浏览 2提问于2017-09-15得票数 1
我试图从Kafka源代码中读取，使用时间戳进行分区，并使用ApacheBeam2.4写入GCS。我想为输出文件应用自定义FilenamePolicy。根据我在Stackoverflow上所发现的，通过谷歌搜索，这在过去是可能的，通过使用 .to("gs://somebucket它是如何在2.4束中完成<e
浏览 0提问于2018-06-19得票数 0
回答已采纳
我正在使用Apache，并且我已经定义了一个管道如下：p.apply(Create.of("/tmp/dc/foo.txt")).apply(TextIO.writeCustomType<KV<String, Iterable<SimpleMatcherResult>>>().to("/tmp/bar"))
写出来失败的有at org.apache.beam.runn
浏览 0提问于2018-02-27得票数 2
回答已采纳
我正在使用selenium RC创建一个测试用例。该过程的一般流程是从Excel文件中获取数据。然后运行SeleniumRC。接下来我需要做的是将所有这些数据存储到一个新的Excel文件中。有没有人可以帮我把我的输出生成一个excel文件。
浏览 0提问于2012-06-12得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
