Spark streaming应用程序实时接收来自大量IoT设备的数据。但它们都是少量的数据。整体流程看起来像是-> Iot -> Kafka(1个主题/所有数据) ->火花流(过滤错误日志) -> DB(保存) ->警报屏幕 有没有使用spark或python进行实时日志分析的好方法？
浏览 13提问于2020-11-19得票数 0
回答已采纳
我有一个服务器，每1秒生成一些日志文件，我想使用Apache Spark处理这个文件。
我使用python编写了一个spark应用程序，并在while循环中处理了一组日志文件。
浏览 0提问于2017-04-18得票数 0
2回答
我是spark的新手，不得不写一个流媒体应用程序，它必须执行一些任务，比如快速傅立叶变换和一些机器学习的东西，比如使用svms进行分类/回归等。据我所知，spark使用dstream。这些流是否可以转换为numpy数组之类的内容，或者可以作为python函数的输入的类似内容？
Thx
浏览 0提问于2017-09-25得票数 0
上一次我用较小的内存空间运行Spark时，我认为内存不足，但我仍然会遇到同样的错误。/bin/spark-submit --packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.3.0 /opt/twitterConsumer.pyat org.apache.spark.streaming.kafka.KafkaReceiver.log(KafkaInputDStream.scala:68)
浏览 2提问于2019-12-29得票数 2
回答已采纳
1回答
流处理框架Vs数据库
、、、
为什么不能使用数据库sql进行实时流处理，使用游标、PL SQL、触发器等。为什么我们需要一个单独的流处理框架，如Spark。
浏览 11提问于2018-09-06得票数 0
我正在尝试实现Kafka - Spark环境。我正在尝试调试我的MapReduce逻辑(用Java语言实现)。Spark提交步骤使我的算法中的断点调试变得复杂。传入的实时数据模式很复杂。更好的开发环境将帮助开发人员在实时流数据上验证他们的map reduce逻辑。
请给我一些建议和窍门。有没有可能使用IDE断点，或者使用Apache-Spark进行远程调试。
浏览 1提问于2015-05-31得票数 1
1回答
我目前感兴趣的是使用实时飞机性能数据进行实时数据分析()，用于预测分析。在研究层面上，可以使用哪些工具和技术来实施这样一个系统？
浏览 1提问于2017-07-04得票数 1
回答已采纳
我想要将来自DJI spark的实时流传输到我的PC上，因为我想运行一个深度学习模型来实时进行对象检测。有没有办法通过RTMP或RTP服务器获取直播流？我发现通过使用python中的Tellopy模块，我们可以从DJI tello获得实时提要。
浏览 0提问于2018-07-12得票数 0
1回答
顾名思义，我希望在Power BI中看到实时数据。我已经建立了到火花流的管道，在那里我正在处理数据，现在我想要推入Power BI。并且最好使用Python。将流数据存储到Azure Blob中，并在power BI中进行实时连接。我知道纸面上听起来很完美，但有可能这样做吗？的第二种方法是在Power BI中创建一个推送数据集，获取REST API URL并将Spark streaming中的请求发布到其中。所以我的问题是，是否可以从spark streaming向Power BI发送P
浏览 56提问于2018-06-06得票数 1
我们正在用开源工具构建一个实时的大数据工具。我们的主要目标是通过实时从kafka服务器获取日志来监控和分析网络。我们在教程中看到，我们必须将我们的工具分成两个部分:分析和监督，如下所示。
关于分析部分，我和我的团队正在比较Apache流和Apache，以便与Elasticsearch一起使用它。尽管Apache是一个真正的实时数据处理工具，比Apache流更快，但它并不提供像Apache这样的机器学习库。这就是为什么我们正在考虑选择Apache火花。但是，我们对这幅图有点困惑，因为这里只存在<em
浏览 6提问于2016-07-08得票数 3
回答已采纳
2回答
我正在开发一个实时流应用程序，该应用程序可以从Kafka broker中轮询数据，并且我正在调整以前默认使用Spark结构化流的代码(带有微批处理)。但是，我不知道如何使用连续流而不是微批量流来获得类似的行为。： .foreachBatch(foreach_batch_func) \这就是我到目前为止对连续流的尝试ContinuousDataSourceRDD.scala:76)上重试任
浏览 1提问于2020-09-29得票数 5
1回答
实时分析和情感分析
、、、、
我会以流的形式收集推文。为此，我需要对推文进行实时分析，然后对推文进行情感分析。我用的是Kafka和Spark流媒体。你能告诉我哪种语言最适合完成整个任务吗，Python还是java？
浏览 3提问于2018-12-04得票数 0
1回答
我正在运行几个使用google云存储上的Avro数据的batch Spark管道。我需要更新一些管道，使其更实时，并且想知道spark structured是否可以以流的方式直接消费来自gcs的文件，即parkContext.readstream.from(...)可以应用于从外部源的存储桶下连续生成的Apache beam已经有像File.MatchAll().continuously()，Watch，watchnewFiles这样的东西，允许beam管道监控新文件并以流的方式读取它们(从而消除了对pu
浏览 1提问于2018-01-05得票数 2
5回答
我正在使用spark streaming从kafka broker中流式传输数据。我正在使用spark streaming对数据执行转换。有没有人能推荐一个可视化工具，我可以用它来显示实时的图形和图表，这些图表会随着数据流的更新而更新？
浏览 0提问于2015-05-15得票数 3
我在很多地方读过关于流数据的文章，但只是试图理解使用Map Reduce技术处理它时所面临的挑战？请分享你的建议和想法。
浏览 1提问于2014-11-28得票数 0
如果我使用Dataproc，它如何处理从Apache和Spark到Dataproc的实时流数据？
浏览 2提问于2022-09-14得票数 0
[0]+y[0],x[1]+y[1])).map(lambda x:x[0]/x[1])
avg.pprint() 现在，我想要有一个小的(实时的它不起作用(绘图没有更新)： avg.foreachRDD(lambda x:myList.append(x.collect()))
sns.barplot(x=myList[-1]) 可视化这样的流数据最简单的方法是什么
浏览 40提问于2020-12-22得票数 0
我是spark的新手。我需要从像twitter tweet这样的流数据中构建一个共现图(在tweet中，-words将成为节点，如果单词来自同一tweet，我们会在它们之间添加一条边)。我们可以使用spark streaming来构建一个实时的共现twitter图吗？spark streaming是否适用于此用例？我不确定是否可以使用spark streaming来完成。
浏览 1提问于2015-06-04得票数 6
1回答
您能提供一些关于使用Python使用Azure Service Bus流消息的建议吗？因为我发现Azure Service Bus没有spark结构化流源，所以在这种情况下，我可以使用提供的Python客户端读取Azure Service Bus消息，然后从Python客户端读取每个消息并将其写入Kafka主题，在这个Kafka主题上，我将应用spark结构化流编程。我的用例是使用Azure Service Bus流消息，并通过将其转换为时间流数据库InfluxDb或P
浏览 0提问于2021-03-09得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
