我想我可以这样做 final JavaPairDstream<String, Integer> y = ... ;
y.mapToPair(item -> {
return new JavaPairDStream<Integer, String>(ite
浏览 24提问于2019-03-15得票数 0
回答已采纳
我有一个带有值的JavaPairDStream<String, Tuple2<Double, Double>>， (ADBE,(1.1,1.2))(MSFT,(4.4)) 如何在Java Spark st
浏览 12提问于2019-02-16得票数 0
我正在尝试写一个简单的应用程序，使用Spark Streaming从Kafka中读入，并持续统计一个单词从一个主题中读入的次数。<Integer>>) import java.util.HashMap;import java.util.concurrent.atomic.AtomicLong;
import org.apache.spark</em
浏览 0提问于2016-06-01得票数 1
2回答
我正在处理一个java jar。累加器将流值相加。问题是，每当UI增加或以特定的周期间隔时，我都希望在UI中显示该值。但是，由于累加器值只能从驱动程序中获得，所以在进程完成其执行之前，我无法访问该值。知道如何定期访问这个值吗？我的代码如下所示import java
浏览 0提问于2014-09-25得票数 2
回答已采纳
我是Kafka和spark的初学者。我想通过spark streaming对我从kafka收到的特定主题的数据进行实时处理。<String, Integer> wordCounts = kafkaStream.map(类型JavaPair
浏览 6提问于2015-02-05得票数 3
我有一个队列，我正在使用Spark Streaming从队列中读取数据。我需要将这些数据(在一些计算之后)写入2个不同的表(两个表的计算是不同的)。我注意到我的代码只执行第一个JavaPairDStream，而不执行另一个。我在两个PairStreams上都有输出操作。我还注意到，如果队列中的数据很小-比方说只有一条消息，那么它会被插入到两个表中，但当队列中的数据很大时就不是这样了
浏览 0提问于2016-09-08得票数 0
1回答
用多键Java减少火花流
、、、
我对星火流非常陌生，我正试图弄清楚如何处理这个问题，因为我发现了很多关于单个(K，V)对的例子，但是还有更多的例子。我希望得到一些帮助，以便找到使用Spark的Java转换的最佳方法。(A, 100%)(C, 50%)JavaPairDStream<String, Double>，我的问题是，
如何在JavaP
浏览 1提问于2016-11-21得票数 1
回答已采纳
我正在思考如何使用spark streaming创建一个类似于storm的多级(基于图形的拓扑)流应用程序。在风暴中，我们有了喷嘴，螺栓的概念，我们可以将这些概念链接起来形成一个图，不同种类的螺栓链接在一起来执行不同的任务。螺栓/喷嘴可以独立地执行它们的工作，并将结果进一步传递到下游。如何使用spark streaming实现类似的功能？我的意思是，在spark中
浏览 1提问于2020-08-10得票数 0
1回答
我已经成功地在Java中构建了一个非常简单的基于的星火流应用程序。import org.apache.spark.streaming.api.java.JavaDStream;
import org.apache.spark.streaming.api.java.Jav
浏览 4提问于2014-12-08得票数 5
回答已采纳
Apache Spark可以使用TCP listener作为输入吗？如果是，可能有人有执行此操作的java代码示例。我尝试寻找与此相关的示例，但所有教程都展示了如何通过TCP定义到数据服务器的输入连接，而不是使用等待传入数据的TCP侦听器。
浏览 11提问于2019-08-29得票数 0
回答已采纳
我曾尝试在spark任务中使用lambda表达式，但它抛出了"java.lang.IllegalArgumentException: Invalid lambda反序列化“异常。JavaPairDStream<String,Integer> aggregate = pairRDD.reduceByKey((x,y)->x+y);
JavaDStream<Integer> con<Tuple2<String,In
浏览 0提问于2015-07-29得票数 7
编译错误：
The method updateStateByKey(Function2<List<Integer>,Optional<S>,Optional<S>>) in the type JavaPairDStream<String,Integer> is not applicable for the arguments (Function2<List<Integer>,Optional<Integer</em
浏览 3提问于2015-08-03得票数 1
JavaStreamingContext jssc = new JavaStreamingContext(conf, Durations.seconds(2));JavaDStream<Log> logs = logMessage.flatMap(); //function is omitted
JavaPairDStream<String<
浏览 0提问于2016-06-03得票数 0
1回答
我正在尝试使用星火流，但我只停留在第一个例子：import org.apache.spark.api.java.function.*;import org.apache.spark.streaming.api.java.*;
浏览 0提问于2021-02-15得票数 0
回答已采纳
我尝试使用transform将JavaPairRDD连接到JavaPairDStream中的RDD，但得到以下错误：
incompatible types: no instance(s) of typevariable(s) W exist so that org.apache.spark.api.java.JavaPairRDD<java.lang.String,scala.Tuple2<LogType,W>> conform
浏览 0提问于2016-03-02得票数 0
1回答
下面是我为这两种情况及其错误编写的示例代码： return new String("Test"); });
这个例子是从星火本身引发的例子<e
浏览 1提问于2016-12-05得票数 1
我正在寻找一种在输出kafka主题中编写Dstream的方法，只有当微批RDDs吐出一些东西时才会这样。我在Java8中使用Spark Streaming和spark-streaming-kafka连接器(都是最新版本)谢谢你的帮助。
浏览 1提问于2017-03-21得票数 2
1回答
这是星火的代码import java.io.File;import java.util.LinkedList;import org.apache.spark.streaming.api.java.JavaDStream;
import org.apache.spark.streaming.api.java.JavaPairDStream)
浏览 0提问于2014-11-26得票数 0
回答已采纳
我正在尝试学习火花串流，当我的演示主机是"local2“时，这是正常的。: java.io.FileNotFoundException: HADOOP_HOME和hadoop.home.dir in unset。应该注意的是，我在idea中提交了代码 @Component
private static final String[]{"E:\\project\\spark-de
浏览 45提问于2021-08-06得票数 0
回答已采纳
我有JavaPairDStream>String，Long> stream和JavaPairRDD >String，Long> batch。现在我想加入这两个人。但是直接使用JavaPairDStream内部参数进行连接是错误的。我要做什么改变才能加入这两个人。这也是正确的方式，或有另一种方法结合批处理视图和实时视图在火花。我知道它们是两种不同的数据类型，但是由于JavaPairDStream是实时RDD的抽象
浏览 3提问于2015-08-18得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
