1回答
我正在用java构建一个apache光束管道，它做了一系列的事情，比如读取文件，创建审计，并将其加载到bigquery。如果我的管道在任何步骤失败，我希望将文件移动到其他文件夹。所以基本上，如果我的流水线在任何步骤由于任何原因而失败，我想在下面的if条件下处理它。有没有办法像这样处理我的管道故障。
浏览 25提问于2021-03-17得票数 0
我正在使用apache_beam==2.24.0编写一个用python2.7编写的数据流管道。该管道的工作是使用beam的ReadFromPubSub批量使用订阅中的pubsub消息，对消息进行一些处理，然后将结果数据持久化到两个不同的bigquery表中。有很多我正在消费的数据。在运行管道之后，一切正常，但几个小时后，我开始得
浏览 1提问于2021-03-31得票数 0
我正在尝试创建一个从BigQuery读取的模板，不幸的是，我在构建模板时遇到了异常。
.withTemplateCompatibility()备注：如果要运行从BigQuery读取的批处理管道，则必须对所有BigQuerySerializableCoder.of(Discoun
浏览 0提问于2018-11-28得票数 3
回答已采纳
我有一个用java编写的项目，其中包含多个波束管道，我将其编译为jar文件，以便在服务器上执行。目前一切正常，我只是从GCP资源中读取，但我只是添加了一个写入S3的管道。S3部件独立工作，但现在当我尝试运行其他只使用GCP的管道时，它抛出一个异常，因为我没有提供S3选项(即使我不需要它们)-下面的错误消息。有没有办法在初始化时只注册用于特定管道的文件系统，而不是全面注册所有文件系统？我使用Maven打包Jar文件，然
浏览 45提问于2019-01-05得票数 1
回答已采纳
我正在构建一个读取Avro通用记录的管道。要在阶段之间传递GenericRecord，我需要注册AvroCoder。文档指出，如果我使用泛型记录，模式参数可以是任意的：
但是，当我将一个空模式传递给AvroCoder.of(Class, Schema)方法时，它会在运行时抛出异常。有没有一种方法可以为GenericRecord创建不需要模式的AvroCoder？在我的例子中，每个GenericRecord都有一个嵌入的模式。异常和堆栈
浏览 2提问于2018-12-13得票数 7
我的管道通过GCS通过Pub\Sub方式读取数据，然后将数据汇到redis。一开始，它在Dataflow中运行得很好。但是，在两天后运行后，在我的管道中发现了以下异常。<init>(SnappyOutputStream.java:79)
浏览 1提问于2019-09-02得票数 0
回答已采纳
我试图通过提供以下命令来完成Apache波束字数计数示例的星火提交。spark-submit --class org.apache.beam.examples.WordCount word-count-beam-0.1.jar --inputFile=pom.xml --output=counts --runner=SparkRunner
线程"main“java.lang.IllegalArgumentException中的异常<
浏览 3提问于2017-07-06得票数 1
在2.29.0版本上，我有一个已经工作了一年的管道。然而，本周我们不能再构建了，因为这个已经从Redhat回购中删除了。我将管道升级为BeamVersion2.32.0。我们的管道使用SparkRunner，Spark的版本是: 3.2.0。然而，新的梁版本正在抛出一个异常。下面是我收到的错误和堆栈跟踪。有人知道我需要配置/更改什么才能让它再次工作吗？:593)
at org.apache
浏览 4提问于2022-07-12得票数 0
我一直在测试Tensorflow数据验证(0.22.0版本)，以便在我当前的ML管道中使用，并且我注意到它在数值特性上没有任何异常。例如,> import pyarrow > import apache_beam as beamFeatA和FeatB中检出，这两种异常均属于分类异常。但在FeatC和Feat
浏览 5提问于2020-05-22得票数 1
我是大数据处理方面的新手。我正在使用apache beam Java SDK来处理它。尝试了解多线程/并行数据处理在apache光束管道中是如何工作的。关于多线程，数据是如何从一个PTransform处理到另一个的？
浏览 9提问于2020-07-23得票数 0
我正在处理多个文件输入，并希望将它们输入到Dataflow管道中。但是，我要保留产出，使之与投入的数量相匹配。_dir>'] import apache_beam as beam
from apache_beam.io import ReadAllFromTextfrom apache<
浏览 32提问于2022-07-13得票数 0
回答已采纳
我想得到运行在Google上的Apache管道成本的估算，我目前正在运行一个Apache代码，它使用for循环自动缩放管道，并将数据存储在Beam中12小时左右，然后聚合和处理管道中的数据。任何关于我如何估算成本的想法都会受到赞赏，并且优化方法，以尽量减少这种成本。
谢谢!
浏览 13提问于2022-10-13得票数 0
回答已采纳
2回答
我用python (在GCP Dataflow上)做了一个简单的管道，用来读PubSub和写大查询，但不能处理管道上的异常来创建替代流。在一个简单的WriteToBigQuery示例中： output = json_output | 'Write to BigQuery' >> beam.io.WriteToBigQuery('some-project:dataset.table_name&#
浏览 14提问于2019-01-30得票数 5
回答已采纳
我有一个有状态的DoFn，它基本上对即将到来的元素进行批处理，当缓冲区达到一定大小时，缓冲区将被清除并将元素插入到BigQuery中。我注意到的是，管道有时会引发异常，该异常并不是停止作业运行。/runners/common.py", line 1213, in apache_beam.runners.common.DoFnRunner.process
File "
浏览 7提问于2020-12-09得票数 1
回答已采纳
我尝试从计算引擎VM中使用Apache简单地访问Google存储。当然，我已经使用命令gcloud auth应用程序设置了默认应用程序登录-默认登录，并为计算引擎服务帐户添加了对存储的访问权限。我使用DirectRunner运行了管道，得到了错误: apache_beam.io.filesystem.BeamIOError: Match操作失败，异常为{‘gs://{这是我的BUCKETNAME}/source/Salestran
浏览 1提问于2019-09-04得票数 2
回答已采纳
2回答
我是阿帕奇光束环境的新手。尝试为批处理编排安装apache束管道。Batch==>一组工作，作业/子作业之间可能存在依赖关系。可以用我的自定义批处理映射apache束管道吗？？
浏览 12提问于2022-04-30得票数 0
回答已采纳
目前，在GCP上，我使用的是Dataflow，我在这里部署了Apache管道，现在我需要在Ali中部署同样的管道，有人知道在Ali云中部署Apache管道的可用选项是什么吗？而且我正在使用Google云中的数据存储，我们在Ali中有数据存储，不是我可以使用的数据库吗？
在AliCloud中为Apache管道和数据存储选择更正资源名
浏览 3提问于2022-11-24得票数 0
我在google数据流上运行apache beam管道。它从GCS桶中读取数据，并在处理后写入GCS桶。这条管道处理日本数据。在堆栈驱动程序日志中，日语字符正在正确显示。但是当我看到o/p桶中的数据时，它就被破坏了。因此，我主要是在想，或者是在向GCS写入数据时，编码器没有设置，或者我们必须对GCS文件格式进行更改。解决这个问题需要帮助。我尝试过在束流管道中设置编码。此外
浏览 5提问于2019-10-22得票数 0
/data目录中。GCS_PATH="${BUCKET}/${USER}/${JOB_ID}"在尝试像这样预处理我的评估数据之前这可能是权限问题，还是我没有看到的东西？我发现这个运行时错误的原因来自trainer.preprocess.py文件中的某
浏览 2提问于2017-05-23得票数 9
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
