但是，如果我需要组合2+值输入，我应该如何操作？Note: NestedValueProvider accepts only one value input.
浏览 19提问于2021-06-15得票数 0
正在尝试为数据流作业创建模板。到目前为止，无论在创建模板时使用了什么参数，但当我尝试为变量传递不同的值时，它不会选择运行时值。
浏览 0提问于2018-09-06得票数 2
我已经创建了一个从BigQuery读取并写入Bigtable的管道。设置这些选项时，所有参数都是运行时值提供程序。
浏览 0提问于2018-04-22得票数 1
我想使用java SDK 2读取数据流中的Avro文件。ValueProvider <String> getInputFile();我正在尝试使用以下代码读取此输入文件如何读取为触发云函数而上传的Avro文件，云函数触发数据流管道？
浏览 3提问于2017-11-16得票数 0
1回答
我正在尝试获取从云函数传递到数据流模板的属性值。我收到错误是因为传递的值是一个包装器，并且在编译过程中使用.get()方法失败。@Description("schema of csv file")void setHeader(ValueProvider<StringsideInputColumns));
final PCollectionView<List<String>> fina
浏览 4提问于2017-05-16得票数 2
回答已采纳
我们试图将输入作为ValueProvider.RuntimeProvider传递。但在管道施工过程中，会出现以下误差。如果将其作为ValueProvider传递，则管道创建将尝试验证值提供程序。如何在google数据流2.0.0中为TextIO输入提供运行时值提供程序？java.lang.RuntimeException:方法getInputFile不应该有返回类型RuntimeValueProvider，而是使用ValueProvider。
浏览 0提问于2017-10-02得票数 0
回答已采纳
我正在尝试创建一个每天使用运行的Dataflow作业。我需要使用get请求从外部API获取数据，因此我需要将当前日期作为输入。但是，当我将数据流作业导出为调度模板时，日期输入将停留在执行时，而不是每天更新。我一直在寻找解决方案，并且遇到了ValueProvider，但是我的管道在没有指定运行时上下文时总是返回一个错误‘RuntimeValueProvider(选项: test，type: str，default_value：'killme').get()，而不是从运行
浏览 2提问于2020-09-07得票数 0
回答已采纳
我使用的是Java版本1.9.1的数据流。我需要使用DataStoreIO从数据存储读取某种类型的数据，并创建一个PCollection<实体>。我使用TemplateRunner运行数据流作业。(例如，在图形构造时不知道)如何使用KindExpression作为类名称创建ValueProvider。DatastoreIO.v1().read().withProjectId("my-project").withQuery(Query.ne
浏览 7提问于2017-10-11得票数 0
回答已采纳
我正在尝试为云数据流作业创建一个模板，该模板从云存储读取json文件并写入Big Query。我传递了两个运行时参数: 1. GCS位置的InputFile 2. BigQuery的数据集和表Id。+ state);
throw exception; }选项代码void setTableSpec(ValueProvider<String> value);
浏览 4提问于2017-12-22得票数 1
我正在尝试使用数据流模板中的运行时valueprovider从不同命名空间的数据存储中获取数据。设置运行时ValueProvider class CatalaugeOption(PipelineOptions): def _add_argparse_args'Product', help='Datastore Kind')
known_args, pipeline_args = parser.parse_known_args(a
浏览 23提问于2019-06-25得票数 0
我使用JAVA8和Apache 2.19.0运行一些数据流作业。根据我的要求，我在代码中动态地设置选项值，如下所示。option.setDay(ValueProvider.StaticValueProvider.of(sDay))
我正试图在同一数据流管道中的另一个转换中实现这一点。它只使用了25.107 s的30多个日志配额，如果我读到超过200万行的话，它就给了节流记录器工人。它只在25.107 s和options.getDay().get()的Null指针异常中用完了它的30多个日
浏览 1提问于2021-07-30得票数 0
我有来自云PubSub的多个订阅，可以使用Apache基于特定的前缀模式进行读取。我扩展了PTransform类并实现了expand()方法，以从多个订阅读取数据，并对PCollectionList (每个subscription上的多个PCollection )进行Flatten转换我在将订阅前缀作为ValueProvider传递到expand()方法时遇到了问题，因为在模板创建时间调用expand()，而不是在启动作业时调用expand()。<String> prefix
浏览 0提问于2018-03-29得票数 2
回答已采纳
问题陈述是我们正在自定义PubSubToBQ提供的PubSubToBQ数据流java模板，在该模板中我们将配置多个订阅/主题来读取数据并将数据推送到多个Bigquery表中，这需要作为单个数据流管道执行，以从源读取所有流并推入Bigquery表。但是，当我们从eclipse执行模板时，我们必须在gcs桶上传递订阅/主题和烧烤细节，然后使用具有不同订阅和烧烤细节的gcloud命令运行模板。数据流作业不会被新的订阅表或BQ表覆盖。我可以使用Val
浏览 0提问于2019-07-16得票数 0
1回答
我有一个用下面的命令创建的数据流模板 mvn compile exec:java \ -Dexec.args="--jason_test/dataflow/Template \
@De
浏览 12提问于2019-03-07得票数 0
回答已采纳
另外，如果我需要做一些自动化的理智测试
我应该使用什么数据流或云功能。
浏览 11提问于2022-05-10得票数 2
我有以下接口 public interface ITypedValueProvider<TValue> TValue GetValue(Type type); { }
浏览 18提问于2020-12-11得票数 0
我正在尝试动态地加入多个数据流(这些数据流是从Kafka订阅多个主题创建的)。我无法容纳所有组合的数据流数据，任何人可以帮助我加入多个数据流。在我下面的代码中，我循环遍历主题并构造数据流，这样我就只能组合两个数据流。我不知道如何创建空的数据流，我认为如果我们创建空的数据流，我们可以做到这一点。
浏览 1提问于2018-01-24得票数 0
如我所知，ValueProviderDictionary从3个地方获取绑定的值我希望能够禁用第二个和第三个选项。我在这里看到的唯一解决方案是创建自己的自定义ValueProvider (复制粘贴ValueProviderDictionary源文件并从其中删除这两个选项)。谢谢
浏览 4提问于2009-08-21得票数 3
回答已采纳
2回答
我跟随this link创建了一个模板，该模板构建了一个从KafkaIO读取的光束管道。但我总是遇到“不兼容的类型:无法转换为java.lang.String的org.apache.beam.sdk.options.ValueProvider”。(ValueProvider<String> value);
@Required
ValueProviderFile path to wr
浏览 28提问于2019-02-04得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
