Spark笔记14-SparkStreaming运行及创建

SparkStreaming 数据源

SparkStreaming的数据来源广泛，主要有

• Kafka
• HDFS
• Flume
• DataBases
• Dashboards
• Tcp socket

基本原理

将实时输入的数据流以时间片（秒级）为单位进行拆分，然后经过Spark引擎之后，以类似批处理的方式处理每个时间片的数据。

用一系列微小的批处理来模拟流计算，并不是真正的流计算

SparkStreaming和Storm

如果需要同时处理实时数据和历史数据，则可以使用Spark Streaming

• 容错性好
• 可以同时支持实时和历史数据

Spark streaming 运行机制

• Spark Streaming中有个组件Receiver。长期运行的task跑在一个Executor上
• 每个Receiver负责一个数据源，多种数据来源

编写