回答情况：
提问时间：
问题标签：
status.getCreatedAt())但我得到一个错误，类型不匹配：我该怎么做呢？
浏览 3提问于2015-04-03得票数 0
回答已采纳
在spark中，可以从单个DStream中获得多个DStream。我的用例如下:我从HDFS文件中获取日志数据流。日志行包含一个id (id=xyz)。我需要根据id以不同的方式处理日志行。
浏览 1提问于2016-01-20得票数 0
val dstream = stream.window(Seconds(60), Seconds(1))val dstream = stream.window(Seconds(60), Seconds(1))
val x = dstream.transform(rdd => rdd.map(x =>
浏览 1修改于2017-10-05得票数 0
DStream可以有type parameter吗？value mapWithStateis not a member of org.apache.spark.streaming.dstream.DStream[(A, B)]
lazy val qwe = mStream.mapWithState
浏览 2提问于2017-01-05得票数 2
回答已采纳
因此，我想知道，首先在直接流上应用转换，然后调用foreachRDD，而不是只执行后者，是否会有显著的区别。
浏览 3提问于2017-03-28得票数 2
1回答
如何在Solaris中解压缩.dstream.Z包。我尝试了以下所有的方法 # gunzip pkg@1821417@27528.dstream.Z
解拉链Archive: pkg@1821417@27528.dstream.Z pkg@275
浏览 4修改于2018-01-31得票数 0
, StringDecoder, GenericDataRecordDecoder](streamingContext, kafkaParams , Set(inputTopic_2))
{}
val historyDStream = ds
浏览 1修改于2018-02-14得票数 2
回答已采纳
我试图在编写火花流单元测试时模拟输入dstream。我能够模拟RDD，但当我试图将它们转换为dstream时，dstream对象将变为空对象。我用了以下代码-val dstream = streamingContext.queueStream(lines)// append data to DStream
lines += sparkContext.makeRDD(Seq("To be or
浏览 2提问于2015-06-25得票数 4
可以在运行时创建具有新名称的Dstream并销毁旧的dstream吗？inputDstream = ssc.textFileStream(".(lambda a: content[0] in a)
&q
浏览 2修改于2016-06-13得票数 2
1回答
使用火花流库，我创建了一个DStream，然后映射到它之上：
val customReceiverStream: ReceiverInputDStream[String] = ssc.receiverStream如何计算DStream的笛卡儿？也许我误解了DStreams的使用？
浏览 6修改于2015-03-13得票数 0
回答已采纳
100,2,1449900000000,0xD13617EBC1032E0869C7,BI Office), 是否有一种方法可以将列表的Dstream转换为DstreamPV(57,2,1447200000000,0xD13617EBC1032E0869C7100,2,1449900000000,0xD13617EBC1032E
浏览 3修改于2015-12-02得票数 0
回答已采纳
tweet加载到Cassandra时，我得到了以下错误
value saveAsCassandraTable is not a member of org.apache.spark.streaming.dstream.DStream
浏览 0提问于2017-04-28得票数 2
我有一个函数是从scala包(DStream)调用的，我想将它转换为JavaDStream。//Convert DStream to a JavaDStream
DStream refreshDstream = new ConstantInputDStream(jssc.ssc(),
浏览 1提问于2016-06-16得票数 0
回答已采纳
我目前正在使用pyspark.streaming.kafka.createDirectStream的卡夫卡消费者(用火药厂)
本质上，我希望将一组函数应用于DStream中的每个元素。目前，我正在为pyspark.streaming.DStream使用"map“函数。map(f，preservesPartitioning=False)通过向DStream的每个元素
浏览 4修改于2018-10-12得票数 0
client_list.map(lambda entry: (int(entry[1]), value_from_entry(entry)))
任何帮助都是非常感谢的！谢谢!
浏览 4修改于2017-02-17得票数 2
回答已采纳
如何从dstream窗口返回单个rdd ?：假设上面的my_dstream_window包含{rdd1，rdd2，rdd3}，我想对意图：- my_dstream_window有重复。我可以使用reduceByKey为这个流删除它们，但是my_dstream_window的下一个片段将有重叠的键值对和旧的键值对。因此，基本上，我
浏览 2修改于2016-06-09得票数 3
我有一个火花流程序，它需要将接收到的DStream存储到数据库中，我想迭代我的数据流并将每条记录存储到数据库中。 .socketTextStream("localhost", 8080);
// Iterate each
浏览 2修改于2016-05-22得票数 2
回答已采纳
我有一个火花流处理程序，从卡夫卡读取数据，进入一个DStream。这个过程实际上是从卡夫卡那里读取了两次数据吗？请记住，不可能将两个foreachRDDs放在一个中(因为两条路径非常不同，那里有状态转换--需要在DStream上应用.)
谢谢你的帮忙
浏览 2提问于2016-06-07得票数 2
回答已采纳
腾讯云开发者
