腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
reduceByKeyAndWindow
在
Spark
streaming
中
是
如何
工作
的
?
、
、
我正在学习
spark
streaming
,并从一些生产日志
中
找出一些散列标签。
在
一些示例
中
,我发现了以下代码: val words = statuses.flatMap(line => line.split(" ")) val tagCounts = tagKe
浏览 29
提问于2019-03-17
得票数 0
1
回答
在
Spark
Structured
Streaming
中有没有和
reduceByKeyAndWindow
等价物?
、
、
我想利用
Spark
的
结构化流功能,但我需要在一个窗口内做一个reduce by键。基本火花流支持一种称为
reduceByKeyAndWindow
的
方法。我对
Spark
Structured
Streaming
文档进行了大量
的
搜索,但没有找到任何与
Spark
Streaming
的
reduceByKeyAndWindow
相当
的
文档。有没有什么结构化流式操作
的
组合可以让
浏览 0
提问于2018-04-14
得票数 2
1
回答
火花流窗口操作
、
、
、
下面
是
一个简单
的
代码,用于获取窗口大小为30秒和幻灯片大小为10秒
的
单词计数。import org.apache.
spark
.SparkConfimport org.apache.
spark
.
streaming
.StreamingContext._import org.ap
浏览 0
提问于2014-07-22
得票数 6
回答已采纳
1
回答
从kafka到弹性搜索索引
的
Spark
流
、
、
、
我正在尝试使用
Spark
Streaming
将Kafka输入索引到elasticsearch
中
。kafka
中
的
消息
是
这样
的
:我想在
Spark
Streaming
中
定义结构,以便在elasticsearch
中
索引此消息:我读过有关RDD转换<e
浏览 1
提问于2016-02-10
得票数 1
2
回答
如何
使用scala运行twitter流行
的
星火流标记?
、
、
、
我
是
星火
的
新手,所以请指点。你可以从那里查看。但当我执行 ./run-example org.apache.
spark
.
streaming
.examples.TwitterPopularTags local[2]然后它将向我展示身份验证失败
的
问题..。
浏览 0
提问于2013-10-30
得票数 2
回答已采纳
0
回答
它是在数据流中生成单个RDD变换操作吗
、
当我使用
spark
streaming
时,我不太理解转换操作,下面
是
我
的
代码: ssc .map((_, 1)) .
reduceByKeyAndWindow
浏览 4
提问于2017-06-20
得票数 0
1
回答
Spark
Streaming
DStream.
reduceByKeyAndWindow
不
工作
、
我正在使用Apache
Spark
streaming
对我
的
web服务API日志进行一些实时处理。源流只是一系列带有返回码
的
API调用。我
的
Spark
应用程序主要是对原始API调用日志进行聚合,计算有多少API返回特定
的
HTTP代码。val level2 = level1.
reduceByKeyAndW
浏览 1
提问于2015-04-30
得票数 2
2
回答
星星之火:线程“主”java.lang.NoClassDefFoundError
中
的
异常:org/apache/
spark
/日志记录
、
、
、
当我运行下面的代码时,我会得到这个错误import org.apache.
spark
.
streaming
.twitter._唯一与日志记录有关
的
部分
是
当我调用sc.setLogLevel("ERROR")时。但我已经试过移除这个错误了。name := "SparkStreaming" versi
浏览 3
提问于2021-04-28
得票数 0
回答已采纳
1
回答
卡夫卡热门标签统计
、
、
我正在使用Kafka和
Spark
来统计twitter上最受欢迎
的
标签。这就是我想要运行
的
scala对象:import org.apache.
spark
.
streaming
.kafka._ import org.apache.
spark
.
streaming
.{ Secon
浏览 10
提问于2018-02-12
得票数 0
回答已采纳
1
回答
Spark
streaming
和Dstream
是
如何
工作
的
?
、
、
、
、
我对
Spark
有相当多
的
经验。然而,我
是
第一次学习
Spark
streaming
,我发现它很难理解。很难理解应用程序
的
流程。例如,对于以下站点上给出
的
示例 val words = statuses.flatMap(status => status.split(" ")) val hashtags = words.filter(word=> word.startsW
浏览 0
提问于2015-08-18
得票数 1
1
回答
用于DStreams
的
火花流检查点
、
、
在
星火流
中
,设置StreamingContext以将检查点设置为可靠
的
数据存储(S3、HDFS、.)
是
可能
的
(如果要使用有状态操作,也是强制性
的
)。(和): 另一方面,可以通过
在
每个DataStream上调用checkpoint(timeInterval)来
浏览 4
提问于2015-12-31
得票数 13
回答已采纳
2
回答
spark
streaming
-在下一次迭代中使用以前计算
的
数据帧
、
、
我有一个流应用程序,可以获取数据流并在数据流上运行sql操作,然后将其转储到文件
中
{
spark
.read.json(rdd)dstream.foreachRDD { rdd => {val df =
spark
.read.json(rdd有没有办法以某种方式将计算结果写入内存,并将其用作计算
浏览 0
提问于2017-11-20
得票数 0
1
回答
无法
在
120秒内收到任何回复。此超时由
spark
.rpc.askTimeout控制。
import org.apache.
spark
.
streaming
.StreamingContextimport org.apache.
spark
.
streaming
.Secondsval searchPair=hottestStream.map(_.split("")(1)).map(item=>(item,1)) val hottestDStream=searchPair.
reduceByKey
浏览 5
提问于2017-05-27
得票数 4
回答已采纳
2
回答
Spark
Streaming
推特createStream问题
、
我试着用
Spark
Streaming
从Twitter上流式传输数据。但是import twitter4j.auth._import org.apache.
spark
.
streaming
{Seconds,StreamingContext}import org.apac
浏览 4
提问于2017-06-15
得票数 0
3
回答
如何
将Flume
的
Avro事件反序列化到
Spark
?
、
、
、
、
我有Flume Avro接收器和读取接收器
的
SparkStreaming程序。CDH 5.1、Flume 1.5.0、
Spark
1.0,使用Scala作为
Spark
上
的
程序语言 我能够制作
Spark
示例并计算Flume Avro事件。有没有人有一个使用Scala
的
例子?
浏览 0
提问于2014-08-25
得票数 0
2
回答
每当我运行Scala对象时scala.MatchError消息
、
、
、
下面这段代码
是
我
在
Spark
Streaming
上使用
的
Twitter流媒体应用
的
一部分:我
在
我
的
F:\Software=*** oauth.a
浏览 49
提问于2020-05-08
得票数 0
2
回答
如何
在Scala中注册
Spark
Mongo连接器
中
的
编解码器
、
、
TL;DR:
如何
在
Spark
Mongo连接器中注册编解码器?libraryDependencies ++= Seq( "org.apac
浏览 1
提问于2017-01-09
得票数 1
3
回答
使用
Spark
Streaming
时限制Kafka批量大小
、
、
、
是否可以限制Kafka消费者返回
Spark
Streaming
的
批量大小? 我之所以问这个问题,是因为我得到
的
第一批记录有上亿条记录,需要很长时间才能处理和设置检查点。
浏览 0
提问于2016-10-11
得票数 18
回答已采纳
1
回答
TypeError:“JavaPackage”对象不可调用
、
、
、
、
我
在
尝试运行字数统计示例时遇到以下错误。 不确定
如何
继续。下面
是
我正在运行
的
命令和错误。/opt/
spark
/bin/
spark
-submit --jars
spark
-
streaming
_2.10-2.0.0.jar test_kafka.py broker.txt "localhostkvs = KafkaUtils.createDirectStream(ssc, [topic], {"m
浏览 9
提问于2016-08-29
得票数 3
1
回答
重启ReduceByKeyAndWindows
、
、
我对
Spark
和Scala非常陌生,我正在使用ReduceByKeyAndWindows来计算kafka消息
中
的
单词,因为我需要使用窗口功能。我
的
应用程序
的
目的
是
在
检测到卡夫卡在特定时间包含特定单词
的
"x“次消息时发出警报。然后,从开始重新启动。import org.apache.
spark
浏览 4
提问于2016-03-25
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
flink和spark Streaming中的Back Pressure
Spark Streaming 中管理 Kafka Offsets 的几种方式
什么是Spark Streaming,它的应用场景是什么?
【译】Arc在Rust 中是如何工作的
走进大数据 Spark Streaming
热门
标签
更多标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
活动推荐
运营活动
广告
关闭
领券