我是apache flink的新手。我有一个从kafka集群消费数据的flink scala项目，我需要将流结果作为参数传递给消费api，这些api返回经过转换的流。以下是我的代码 def main(args: Array[String]): Unit = {}
def streamTes
浏览 10提问于2020-02-09得票数 0
回答已采纳
我正在使用Apache进行流处理。在订阅了来自源(ex:Kafka、AWS Kinesis数据流)的消息，然后使用Flink运算符对流数据应用转换、聚合等之后，我希望缓冲最终消息(计数为ex:1000)，并在单个请求中将每个批发送到外部REST。如何在Apache中实现缓冲机制(将每1000条记录作为一个批处理创建)？Flink pipileine:流源->
浏览 4提问于2019-11-07得票数 1
回答已采纳
FLINK流：，我有来自kafkaconsumer的DataStreamString，这是JSON .addSource(new FlinkKafkaConsumer[forBulkFormat(outputBasePath, AvroWriters.forGenericRecord(schema))input.addSink(sink)
问题：如何在下沉前将将字符串流转换为一般数据流时出
浏览 16提问于2020-07-24得票数 0
FLINK Stream接口socketTextStream(主机名，端口)方法作为客户端。也就是说，我们需要在端口上发送连续的流，“socketTextStream (hostname，port)”方法将读取传入的流。但我的要求是，我想使用FLINK作为服务器，并寻找一个可以从端口侦听的API。任何人都可以拥有FLINK st
浏览 2提问于2017-04-27得票数 2
1回答
我正在使用Flink流API，我希望继续从文件夹中读取CSV文件，忽略头文件并将CSV文件中的每一行转换为Java类(POJO)。在完成所有这些处理之后，我应该获得一个Java对象流(POJO)。到目前为止，我做了以下工作以部分实现这种行为(下面的代码)：
String pat
浏览 2提问于2017-08-02得票数 2
我正在尝试从Flink 1.12.x DataSet api迁移到Flink 1.14.x DataStream api。mapPartition在Flink DataStream中不可用。我们的代码使用Flink 1.12.x DataSet .out.collect(...); // Collect processed data ---> (2)
}
浏览 9提问于2022-02-09得票数 0
1回答
在Python语言编写的Airflow operator (DataprocWorkflowTemplateInstantiateInlineOperator)的帮助下，我使用Dataproc工作流模板提交了一个提交作业后，一些名称将被指定为jobId (例如：job0-abc2def65gh12)。 由于我无法获取jobId，所以我尝试将jobId作为参数从REST API传递，但这并不起作用。或
浏览 17提问于2019-02-06得票数 2
回答已采纳
如何将datetime参数传递给ADF/synapse分析中数据流活动源中的SQL查询？ 我正在构建一个在事实数据表中执行增量加载的synapse分析管道。首先，使用查找活动来查询表，以获得最新的LoadDate值。然后将返回值设置为变量，并将其作为参数传递给数据流活动。 ? 我正在努力让数据流</em
浏览 43提问于2021-04-29得票数 0
回答已采纳
Spark有mapPartition API，而Flink DataStream API没有。有谁能帮助解释原因吗？我想要做的是在Flink上实现一个类似于星火reduceByKey的API。
浏览 2提问于2015-10-28得票数 7
回答已采纳
使用zip或combine，只有在我没有遗漏任何东西的情况下，才有可能组合两个流，我看不到任何组合了流列表或vararg的公共方法。allUsersFromApi.addAll(moreUsersFromApi) } 我需要来自RESTapi的前5页，并并行获取它们并组合结果，做一些映射，并对组合数据进行过滤
浏览 10提问于2020-09-18得票数 8
回答已采纳
我正在尝试使用Rest请求在Flink群集上运行已部署的作业。我成功地使用了一个简单的rest客户端
POST http://localhost:8081/v1/jars/13775a71-0723-4c62-979b-7e9a9de3a0dc_some.jar/run { "programArgsList" : ["test1", "test2&quo
浏览 1提问于2019-05-10得票数 0
我使用的是使用Java的Flink表API，其中我想将DataSet转换为DataStream .以下是我的代码：但是，当我试图执行这个程序时，它会抛出以下异常：
org.apache.flink<
浏览 4提问于2016-05-13得票数 4
1回答
是否可以在apache代码中调用外部api (RESTful)。如果有可能的话，那我们该怎么做呢？我从简单的java代码调用一个api，它运行良好，但是当我在apache中使用相同的代码时，它会抛出一个异常：
java.io.IOException: Server returned HTTP response
浏览 1提问于2018-04-27得票数 2
我有一个连接到Twitter和流API的Node应用程序。为了测试向REST发出请求的代码，我可以使用Nock拦截HTTP请求并返回模拟数据，如下所示：.get('/search
浏览 0提问于2017-05-25得票数 3
回答已采纳
我对SharePoint 2013工作流程相当陌生，有多年的C#和其他SharePoint经验。
我的问题是时区。我正在Visual Studio 2013中开发一个列表工作流，它必须根据列表中当前项目的仅日期字段的值执行一些操作。我使用GetDynamicValueProperties检索这个字段的值，并将其赋给一个变量。但是，如果我检查这个值，我可以看到它是不正确的，因为它是我为列表项实际设置的前一天的23:00。我假设这是因为不
浏览 1提问于2017-03-28得票数 1
1回答
我正在考虑将两个c++流“链接”在一起，以过滤输入两次。我正在使用gzstream来读取zlib压缩文件，并且我正在考虑编写一个从流中读取并执行编码转换的流。也许通过将打开的流作为构造函数参数进行传递...您认为如何才能最好地完成这项任务？
浏览 0提问于2009-05-04得票数 3
回答已采纳
我正在尝试将一个数组传递给一个REST API，该API将一个数组作为其参数之一。当我对数组进行字符串化时，它会将数组转换为："Acid Reflux,Anemia,Asthma,Atrial Fibrillation,Cancer"，这是API不喜欢的。当我获取原始列表并将其转换为数组时(使用split)，它保留了引号，但API</e
浏览 37提问于2021-08-23得票数 0
我很难在CI/CD工作流中自动部署新的Flink作业，方法是使用Flink rest(可以找到)。文档只指出jar上传可以通过使用/jars/upload来实现，而不是如何构建有效的rest请求(哪个Headers、哪个Body类型、哪个Authorization、哪个Method等等)。因此，我查看了flink/flink-runtime-
浏览 9提问于2017-01-18得票数 5
回答已采纳
卡夫卡流是好的，但我必须做每一个配置非常手动。相反，Kafka提供了它的API接口，它对于处理配置以及任务、工作人员等都非常有用。
因此，我正在考虑在我的简单数据转换服务中使用Kafka。基本上，服务将从一个主题读取数据，并将转换后的数据发送到另一个主题。为了做到这一点，我必须做一个定制的Sink连接器，将转换后的数据发送到ka
浏览 11提问于2021-04-26得票数 0
我们已经创建了一个映射工作流，其中我们传递自定义对象以创建工作项，我们将此自定义对象作为jBPM参数传递。现在使用REST API "List getTasksAssignedAsPotentialOwnerByStatus“我们可以检索分配的userId的TaskSummary，这里的TaskSummary对象是预定义的字段，如果我想自定义我的响应(例
浏览 0提问于2014-03-12得票数 0
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
