据我所知，Spark可以使用Spark Streaming分析流。Kafka可以从多个来源接收数据。我不明白的是，如果我有一个Kafka集群从多个来源接收数据，数据会被发送到一个运行Spark Streaming的数据库吗？或者Spark Streaming是否在应用服务器上运行？
浏览 5提问于2017-01-25得票数 0
回答已采纳
======================================================= - object (class org.apache.spark.streaming.dstream.ForEachDStream, org.apache.spark.streaming.dstream.ForEach
浏览 6提问于2016-08-25得票数 2
在spark streaming中，接收到的数据在集群中工作节点的多个Spark executors之间复制(默认复制系数为2)()。但是，如何才能获得特定RDD的复制位置？
浏览 2提问于2015-06-17得票数 0
我向Kafka发送消息，我希望在其他应用程序中通过spark streaming接收这些消息，但Spark接收的消息速率约为40,000。我想增加Spark每个间隔接收的消息数，我该怎么做呢？
浏览 0提问于2017-03-11得票数 1
我正在使用Spark2.1.0，而且org.apache.spark.spark-sql_2.11org.apache.spark.spark-streaming_2.11
作为作业jar中的依赖项，我试图通过spark</em
浏览 5提问于2017-04-06得票数 0
2回答
用Scala将水槽倒入火花
、、、、
source_agent.sinks.spark.type=org.apache.spark.streaming.flume.sink.SparkSink import org.apache.spark.streaming.StreamingContext._
import org.apache.spark</em
浏览 1提问于2016-04-11得票数 0
回答已采纳
1回答
我正在使用Shell (Scala2.10和星火流org.apache.spark:spark-streaming-kafka-0-10_2.10:2.0.1)来测试星火/卡夫卡消费者：import org.apache.spark.streaming.kafka010.LocationStrategies.PreferConsistent
import org.apache.spark.streaming.kafka010.Consume
浏览 1提问于2016-11-15得票数 0
回答已采纳
2回答
我正在使用Python 3.5和Spark 2.2流媒体与Kafka，脚本无法运行，因为缺少kafka库。artifactId = spark-streaming-kafka-0-10_2.11我运行了"spark-submit在下一次运行时，我<em
浏览 22提问于2018-08-27得票数 6
回答已采纳
我们正在使用具有8核和32 We的Spark独立集群，具有相同配置的3个节点集群。
有时批处理流在不到1秒的时间内完成。在某些情况下，控制台中会出现以下日志，该时间超过10秒。
浏览 0提问于2016-03-29得票数 3
我是spark streaming和kafka的新手，我不理解这个运行时异常。我已经设置好kafka服务器了。(Lorg/apache/spark/streaming/Time;Lorg/apache/spark/streaming/scheduler/StreamInputInfo;)V
at org.apache.spark.streaming</em
浏览 1提问于2015-12-14得票数 1
2回答
load()df = sparksubscribePattern", "topic.*") \df.selectExpr("CAST(key AS STRING)", "CAST(value AS STRING)")
在进一步研究后我的理解是Sp
浏览 6提问于2020-06-09得票数 2
这个奇怪的异常终止了我的spark任务，有什么想法吗？at org.apache.spark.util.ClosureCleaner$.org$apache$spark$util$ClosureCleaner:84)
at org.apache.spark.util.ClosureCleaner$.clean(Closu
浏览 0提问于2015-06-23得票数 3
当我在databricks中运行writeStream代码时，如下所示： df_out = cdf.writeStream\ .outputMode("appendcheckpointLocation", "/path/to/checkpoint/directory")\
.start("/mnt/container-name/folder-name") 我
浏览 35提问于2021-10-21得票数 0
import org.apache.spark.SparkConf "org.apache.spark" %% "spark-streaming" % "2.4.0",
"org.apache.spark</em
浏览 0提问于2019-02-22得票数 0
1回答
这是我的密码：import org.apache.spark.streaming._import org.apache.spark.streaming.kafka" % "
浏览 1提问于2019-01-14得票数 0
回答已采纳
我有一个星火结构的流： .readStream .option("kafka.bootstrap.serverswriteStream .format("parquet")但是在data只有_spark_metadata
浏览 5提问于2017-05-25得票数 4
回答已采纳
我正在用aws kinesis写一篇spark streaming <groupId>org.apache.spark</groupId> </dependency>17/04/27
浏览 3提问于2017-04-27得票数 5
我有水槽流，我想把它存储在HDFS通过火花。下面是我正在运行的火花代码 def main(args: Array[String]) { System.err.println)}[root@sandbox ~]# hadoop fs -cat /user/root/spark/flu
浏览 3提问于2016-04-01得票数 2
回答已采纳
1回答
我正在尝试运行一个带有Twitter流的Spark应用程序。然而，我经常遇到依赖关系的问题。当我使用org.apache.bahir spark-streaming-twitter时，我得到这样一个错误： "org.apache.spark" %% "spar
浏览 0提问于2018-04-08得票数 1
我正在尝试运行中的Spark Streaming示例<dependency> <artifactId;import org.apache.spark.streaming.ap
浏览 5提问于2018-07-16得票数 2
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
