腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
如何使用direct stream在
Kafka
Spark
Streaming中指定
消费
群
、
、
、
、
如何使用直播流API指定
kafka
spark
流的
消费
组id。使用
spark
1.3 kafkaParams.put("group.id", "app1");
浏览 0
提问于2016-04-09
得票数 7
回答已采纳
1
回答
应用服务器日志进程
、
、
、
、
Clint希望从这些具有不同参数的
数据
中生成“访问”和“频率”报告。我最初的计划是使用
kafka
从应用服务器日志中获取这些
数据
-->使用
kafka
推送到
Spark
Streaming并处理这些
数据
-->将这些
数据
存储到HIVE -->使用zeppelin来获取那些经过处理和集中的日志
数据
但是据我所知,
Kafka
没有任何功能可以读取日志文件中的
数据
,并将它们发布在
Kafka
brok
浏览 31
提问于2017-07-24
得票数 0
4
回答
为
spark
kafka
消费
者动态更新主题列表
、
、
可以在
spark
-
kafka
consumer中动态更新主题列表吗? 我有一个火花流应用程序,使用火花-卡夫卡
消费
者。一开始,我让
spark
-kakfa用户监听主题:“测试”,过了一段时间,我的主题列表更新为“测试”,"testNew“。现在有一种方法可以更新
spark
-
kafka
消费
者主题列表,并要求
spark
-
kafka
消费
者在不停止sparkStreaming应用程序或sparkStreaming上下
浏览 0
提问于2016-09-21
得票数 5
1
回答
如何使用PySpark处理来自
Kafka
的
数据
?
、
、
我想处理从
Kafka
流到PySpark的日志
数据
并保存到拼图文件中,但我不知道如何将
数据
输入到
Spark
。请帮帮我谢谢。
浏览 68
提问于2020-07-04
得票数 0
2
回答
如何获取
Kafka
消费
者的偏移量?
、
、
、
使用
Kafka
(v2.11-0.10.1.0)-
spark
-streaming(v-2.0.1-bin-hadoop2.7). 我有
Kafka
生产者和
Spark
-streaming
消费
者来生产和
消费
。一切正常,直到我停止
消费
者(大约2分钟)并重新开始。
消费
者启动并读取
数据
,绝对完美。但是,我迷失了2分钟的
数据
,其中
消费
者是关闭的。
Kafka
consumer/server
浏览 16
提问于2017-01-18
得票数 0
1
回答
使用卡夫卡和火花使用火种的问题
、
、
、
我试图使用由
kafka
发布的
Spark
来
消费
数据
,但我无法这样做。我用的是火花2.2。 [cloudera@quickstart
kafka
]$ ./
spark
/bin/
浏览 0
提问于2017-08-21
得票数 1
3
回答
火花流断言失败:在对4096进行轮询后,未能获得火花执行器-a-group a-主题7 244723248的记录。
、
、
试过:-从512到4096,较少失败,但即使是10s,失败仍然存在。.config("
spark
.streaming.
kafka
.maxRatePerPartition", "256") .config("
spark
.streaming.
kafka
.consumer.pol
浏览 4
提问于2017-02-16
得票数 6
2
回答
实时事件处理
、
、
在服务器端,我想以这样的方式处理所有这些事件,即来自传感器的关于最新湿度、温度、压力...etc的信息将被存储/更新到
数据
库中。我真的需要
spark
,(flume/
kafka
) +
spark
,来满足处理端吗?
浏览 13
提问于2017-06-29
得票数 1
1
回答
如何使用卡夫卡与Kerberos的星火流?
、
、
、
、
当我尝试使用Kerberized集群中的
Spark
流应用程序使用
Kafka
的消息时,我遇到了一些问题。下面是我在
spark
-shell中使用的示例代码。当然,当Kerberos未启用时,此代码可以工作:由
kafka
-console-producer生成的消息由
Spark
应用程序接收。import org.apache.
spark
.streaming.
kafka
.KafkaUtils import org.apache.
spark
.streaming.:
浏览 9
提问于2017-12-26
得票数 4
回答已采纳
2
回答
如何知道流查询为
Kafka
数据
源使用的
Kafka
消费
群体的名称?
、
、
我正在
消费
数据
从卡夫卡主题通过火花结构化流,该主题有3个分区。由于
Spark
结构化流不允许您显式地提供group.id并向使用者分配一些随机id,所以我尝试检查使用者组id是否使用了
kafka
命令
spark
-
kafka
-source-054e8dac-bea9-46e8-9374-8298daafcd23--1587684247-driver-0
spark
-
kafka
-source( 2)在
s
浏览 2
提问于2019-02-28
得票数 3
回答已采纳
1
回答
kafka
与Apache
spark
的集成
、
、
我正在学习apache
spark
与
kafka
的集成,这样当新消息到达
Kafka
的主题时,我的代码就可以自动运行。我也读过官方文档 https://
spark
.apache.org/docs/latest/structured-streaming-programming-guide.html 但我仍然对它的工作原理感到困惑结构化流媒体是
kafka
和
spark
java代码之间的桥梁吗?它是否一直在监听
kafka
,并且每当
浏览 15
提问于2019-12-10
得票数 1
1
回答
与RabbitMQ的
Spark
结构化流媒体集成
、
、
我想使用
Spark
structured来聚合从RabbitMQ
消费
的
数据
。我知道与apache
kafka
有官方的
spark
结构化流媒体集成,我想知道是否也存在与RabbitMQ的集成?由于我不能切换现有的消息传递系统(RabbitMQ),我想使用
kafka
-connect在消息传递系统(Rabbit to
kafka
)之间移动
数据
,然后使用
Spark
structured streaming
浏览 0
提问于2018-04-16
得票数 0
1
回答
即使在将"auto.offset.reset“设置为”最新“获取错误OffsetOutOfRangeException之后
、
、
、
、
我使用星星之火-SQL2.4.1版本和
Kafka
0.10 v。 at org.apache.
spark
.sql.
kafka
010$apache$
spark
$sql$
kafka
010$InternalKafkaConsumer$$fetch
浏览 5
提问于2019-11-01
得票数 1
1
回答
关于多个
spark
streaming作业消耗同一个群组id的
kafka
主题的问题
、
、
、
我提交了多个
spark
streaming作业,这些作业使用相同的group.id消耗同一个
kafka
topic,正如纯
Kafka
文档中所说的,拥有相同group.id的多个
消费
者将加入同一个
消费
组,并且
kafka
topic中分块的记录将被拆分成这些
消费
者。然而,正如我在我的工作中测试的那样,这两个
spark
streaming作业仍然使用相同的主题的所有分区(不是均匀分割的),并且在who进程期间没有发生重新分区/异常。这里有人知道<e
浏览 63
提问于2021-07-30
得票数 0
1
回答
Kafka
和
Spark
Streaming简单生产者
消费
者
、
、
、
我不知道为什么生产者发送的
数据
没有到达
消费
者手中。我正在使用cloudera虚拟机。我正在尝试编写简单的生产者
消费
者,其中生产者使用
Kafka
,
消费
者使用
spark
streaming。scala中的生产者代码:import org.apache.
kafka
.clients.producer._ object kafkaProducergenerator.getRandomValue().toString())
浏览 0
提问于2017-11-19
得票数 1
2
回答
Spark
:
Kafka
消费
者获取base64编码字符串形式的
数据
,即使生产者没有明确编码
、
、
我正在尝试一个简单的示例,将
数据
发布到
Kafka
并使用
Spark
使用它。下面是生产者代码: var
kafka
_input =
spark
.sql(""" to_json(下面是
消费
者代码: val df =
spark
.format("
kafka
") .option("
kaf
浏览 77
提问于2019-01-11
得票数 0
1
回答
一个流查询使用多少个
Kafka
用户来执行?
、
我惊讶地看到,
Spark
只在一个
Kafka
用户的情况下消耗了
Kafka
的
数据
,并且这个用户在驱动程序容器中运行。我很希望看到,
Spark
创建的
消费
者数量与主题中的分区数一样多,并且在executor容器中运行这些
消费
者。 例如,我有一个有5个分区的主题事件。当检查由
Spark
创建的
Kafka
消费
者组时,我发现只有一个
消费
者负责所有5个分区。我的期望是,5个执行者应该并行地使用来自5个
Kafk
浏览 1
提问于2018-12-04
得票数 11
1
回答
如何将多个主题的
数据
集中到一个地方进行处理?
、
、
我有一个要求,我必须从3个
kafka
主题中获取消息作为流
数据
,然后根据这3个主题
数据
之间的连接生成结果。请给我推荐一个使用Direct Stream for Scala的好方法。谢谢
浏览 9
提问于2019-06-14
得票数 0
回答已采纳
1
回答
卡夫卡
消费
者API,
Kafka
流和精确一次处理
、
、
让我总结一下我迄今所理解的:
Kafka
流可以用于进行一些ETL或Analytics --这意味着我们可以编写能够进行
数据
丰富和转换的Java代码,并将其插入卡夫卡自身?,以便实现精确的一次处理。在卡夫卡
消费
者生产者API中,只有当我们从一个主题读取消息,然后在同一集群中写入另一个主题时,才有可能实现这一目的。这将适用于
Kafka
事务(比如提交偏移量并使消息在输出主题上可见)。如果我们想要处理这个问题--我们将不得不使用收件箱模式--在这里,我们读取主题中的消息,将其写入
数据
库,然后由工作人员进行处理--
浏览 2
提问于2022-10-04
得票数 0
1
回答
使用组ID的
Spark
Streaming Direct Stream方法
、
我在最新的文档页面中阅读了
Spark
Streaming
kafka
集成指南,它是基于
Kafka
010版本的。group.id和
Spark
Streaming Direct Stream的关系是什么?
浏览 0
提问于2016-10-13
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
mac上搭建kafka并利用spark streaming实时消费
使用Spark Streaming处理Kafka数据流
Kafka 遇上 Spark Streaming
Spark Streaming与Kafka如何保证数据零丢失
Kafka应用之Kafka与Spark Streaming整合
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券