火花流统计API
是一种用于实时数据处理和分析的云计算服务。它提供了一种简单且高效的方式来处理大规模的实时数据流，并能够实时计算和聚合数据，以支持实时决策和洞察。
火花流统计API的主要特点和优势包括：
- 实时性：火花流统计API能够实时处理和分析数据流，使用户能够及时获取最新的数据洞察。
- 可扩展性：它可以处理大规模的数据流，并能够根据需求进行水平扩展，以应对不断增长的数据量。
- 简单易用：火花流统计API提供了简单且易于使用的接口和工具，使开发人员能够快速上手并进行开发。
- 强大的计算能力：它支持复杂的实时计算和聚合操作，如窗口计算、过滤、转换和聚合等，以满足各种数据处理需求。
- 多样化的应用场景：火花流统计API广泛应用于实时数据分析、实时监控、实时推荐、欺诈检测、智能物联网等领域。
腾讯云提供了一系列与火花流统计API相关的产品和服务，包括：
- 腾讯云流计算（Tencent Cloud StreamCompute）：腾讯云的流计算产品，提供了基于火花流统计API的实时数据处理和分析服务。详情请参考：腾讯云流计算产品介绍
- 腾讯云消息队列CMQ（Cloud Message Queue）：腾讯云的消息队列服务，可与火花流统计API结合使用，实现实时数据流的传输和处理。详情请参考：腾讯云消息队列CMQ产品介绍
- 腾讯云云数据库TDSQL（TencentDB for TDSQL）：腾讯云的云数据库服务，可用于存储和管理火花流统计API处理的数据。详情请参考：腾讯云云数据库TDSQL产品介绍
- 腾讯云云服务器CVM（Cloud Virtual Machine）：腾讯云的云服务器服务，可用于部署和运行火花流统计API的应用程序。详情请参考：腾讯云云服务器CVM产品介绍
总结：火花流统计API是一种用于实时数据处理和分析的云计算服务，具有实时性、可扩展性、简单易用、强大的计算能力和多样化的应用场景等优势。腾讯云提供了与火花流统计API相关的产品和服务，包括腾讯云流计算、腾讯云消息队列CMQ、腾讯云云数据库TDSQL和腾讯云云服务器CVM。
相关·内容
1回答
我用的是火花2.4。
我正在将星火流应用程序迁移到结构化流。
我正在为每个批处理进行生成度量，并且我希望控制每个微批的统计数据。我对每个processingDelay、schedulingDelay和totalDelay指标以及在结构化流中找到它们的位置很感兴趣。
我尝试了以下方法，但它不生成任何统计数据。
val recentBatchInfos = new StatsReportListener(60).batchInfos
val numberOfRecords = recentBatchInfos.map(_.numRecords).sum
有人能告诉我们如何使用，拥有对统计数据的控制
浏览 0提问于2018-11-16得票数 4
回答已采纳
1回答
火花流:源HBase
、、、
是否可能有火花流作业设置来跟踪HBase表并读取每批新的/更新的行？博客说HDFS文件属于受支持的源代码。但是他们似乎使用了以下静态API：
sc.newAPIHadoopRDD(..)
我找不到这方面的任何文件。是否可以使用火花流上下文从hbase中流？任何帮助都是非常感谢的。
谢谢!
浏览 4提问于2016-12-08得票数 2
我使用Spark2.3 (HDP 2.3.0.2.6.5.108-1)和 (JavaInputDStream)。
我正在编写一个使用火花流的组件的测试。我想做的是：
在单独的线程中启动组件，该线程启动火花流
等等，它已经启动了
用卡夫卡发送通知(用火花阅读)
等一下，它被处理了
验证输出
然而，我被困在(2)，我不知道我怎么能至少检查流媒体作业已经开始。有我可以使用的api吗？
备注：
我只能访问星星之火，而不是流媒体.所以，如果我能够从星星之火环境中访问这样的api，那就太完美了。
3位于2之后，因为将spark auto.offset.reset`设置为
浏览 1提问于2019-09-27得票数 1
回答已采纳
我有一个火花流程序运行在纱线集群的"yarn-cluster“模式。(-master丝-簇)。我希望使用json格式的REST来获取星火作业统计信息。我能够使用REST url调用：获取基本统计信息。但这提供了非常基本的统计数据。
但是，我希望获取每个执行器或基于RDD的统计数据。如何使用REST调用来实现这一点，以及在哪里可以找到确切的REST url来获取这些统计信息。虽然$SPARK_HOME/conf/metrics.properties文件提供了一些关于urls的信息，
5. MetricsServlet is added by default as a sink in ma
浏览 9提问于2015-12-29得票数 6
回答已采纳
1回答
我用的是卡夫卡0.9和星火1.6。火花流应用程序通过直接流API (版本2.10-1.6.0)从Kafka来流消息。
我有3个工人，每个8GB内存。每分钟我都会收到4000条给卡夫卡的短信，每个员工都在发送600条短信。我总是看到卡夫卡偏移量滞后于火花偏移量。
我有5个卡夫卡分区。
有没有办法让火花流更多的信息，每次拉从卡夫卡？
我的流媒体频率是2秒
应用程序中的火花配置
"maxCoresForJob": 3,
"durationInMilis": 2000,
"auto.offset.reset": "largest",
&#
浏览 1提问于2018-01-16得票数 0
回答已采纳
1回答
卡夫卡流有类似火种的蓄能器吗？
、、、、
Spark有一个用于以线程安全的方式( )积累数据的有用API，并附带了一些开箱即用的有用累加器，例如用于Longs 的。
我通常使用累加器连接调试，分析，监视和诊断到火花作业。我通常在运行火花作业以定期打印统计数据(例如TPS、直方图、计数、时间等)之前启动一个未来。
到目前为止，我还没有找到与卡夫卡流相似的东西。有什么东西存在吗？我认为，至少对于Kafka应用程序的每个实例，这是可能的，但是要在多个实例中完成这项工作，就需要创建一个中间主题。
浏览 0提问于2018-09-22得票数 1
回答已采纳
1回答
在过去几年中，我们开发了相当多的星火流(Direct )应用程序，这些应用程序正在我们的Cloudera平台上读取或写入Kafka、IBM、Hive、HBase、HDFS和其他应用程序。现在取消了Spark流的Direct (我们目前有2.3.2版本)，并且我们最近向我们的项目添加了汇合平台(附带了Kafka 2.2.0)，我们计划迁移这些应用程序。
什么是我们的火花流应用程序的自然替代？我们应该迁移到火花结构化流，或者更确切地说是卡夫卡流吗？
我个人对这两个框架没有任何经验，但在我看来，结构化流似乎是自然的选择。我们的代码库主要是用Scala编写的，它也可以用于结构化API。Kafka在Sc
浏览 4提问于2020-02-19得票数 0
回答已采纳
2回答
Nifi火花流
、、
我正在寻找的方式，我可以利用火花流在尼菲。我看到了几个SiteToSite tcp连接用于火花流应用程序的帖子，但我认为如果我能够从Nifi自定义处理器启动spark，那将是件好事。
PublishKafka将发布消息到卡夫卡，然后是Nifi火花流媒体处理器将阅读从卡夫卡的主题。
我可以使用从自定义的Nifi处理器启动星火流应用程序，但最大的挑战是它将为每个流文件创建火花流上下文，这可能是昂贵的操作。
有人建议在控制器服务中存储火花流上下文吗？还是使用Nifi运行星火流应用程序的更好方法？
浏览 1提问于2017-06-04得票数 3
3回答
我需要实现卡夫卡消费者在火花流的火花1.0。我写过卡夫卡制作人。有谁能帮我写一个火花接收器来提取卡夫卡的信息吗？另外，我能知道如何在Intellij IDEA中运行kafka星火流项目吗？
浏览 1提问于2014-09-10得票数 1
回答已采纳
2回答
阿帕奇卡夫卡和火花流
、、、、
我正在阅读这篇博文：
讨论了如何使用Spark流和Apache进行一些近乎实时的处理。我完全理解这篇文章。它确实展示了如何使用星火流来读取来自某个主题的消息。我想知道是否有一个Streaming可以用来将消息写入Kakfa主题？
我的用例非常简单。我有一组数据，我可以在一个固定的间隔(例如每秒钟)从给定的源读取数据。我用反应流来做这件事。我想用星火对这些数据做一些分析。我想要有容错能力，所以卡夫卡开始发挥作用。因此，我要做的是以下几点(如果我错了请纠正我)：
使用反应性流以固定的间隔从外部源获取数据。
把结果引向卡夫卡主题
使用火花流，为使用者创建流上下文
对消耗的数据执行分
浏览 3提问于2015-09-16得票数 4
回答已采纳
我有一个获取Twitter Periscope实时视频统计数据的需求，我寻找了twitter API，并找到了获取推文和媒体参与的API，所以我是否也可以使用它们来获取实时视频统计数据，因为live video也是以推文的形式发布的，我的假设正确吗？
浏览 10提问于2019-09-24得票数 0
回答已采纳
我首先生成一些消息，这些消息由kafka的代理保存在磁盘上。然后我启动火花流程序来处理这些数据，但是我无法接收火花流中的任何内容。而且没有任何错误日志。
但是，如果我在火花流程序运行时生成消息，它可以接收数据。
火花流只能接收卡夫卡的实时数据吗？
浏览 1提问于2016-04-19得票数 0
回答已采纳
1回答
我已经尝试了火花批处理API和火花结构化流API，但我仍然是非常新的，并想知道如何接近实时维度表可以实现。
我有一个用例用于在几乎实时(~10分钟延迟)中更新一个类型的二维表。它要求最后一个作业的输出作为新作业的输入。我的方法是运行一个连续的批处理火花作业，一旦它完成所有转换步骤，就从一开始就重新启动，而不是以成功的状态退出。它类似于流作业，但在内部运行批处理和阻塞(即不读取或处理新数据，最后读取的数据被合并到最终维度表中)。有可能吗？
浏览 0提问于2018-05-16得票数 1
2回答
我们能用Kstream和火花吗？
这是一种推荐的方法，还是使用火花流是一个更好的解决方案？
浏览 1提问于2021-10-18得票数 0
回答已采纳
3回答
我们的hadoop集群中有火花批处理作业和和火花流作业。
我们希望在同一个平台上对它们进行调度和管理。
我们遇到了气流，这符合我们对“编写、调度和监控工作流的平台”的需求。
我只想能够停止和启动火花流的工作。使用气流图和剖面图不是什么问题。
我的问题是，除了失去一些功能(图表、分析)之外，为什么我不应该使用气流来运行火花流作业？
我遇到了一个问题：
这说明这是可能的，而不是为什么你不应该。
浏览 1提问于2019-02-20得票数 10
1回答
我正在设置一个Apache Spark集群来执行实时流计算，并希望通过跟踪各种指标(如批大小、批处理时间等)来监视部署的性能。我的Spark Streaming程序是用Scala编写的
问题
描述列出了各种可用的端点。但是，我无法找到公开批处理级别信息的端点。是否有一种方法可以获取为应用程序运行的所有火花批次的列表以及其他批处理详细信息，如：
每批事件数
处理时间
调度延迟
退出状态:即批处理是否成功
如果这样的批处理级API不可用，可以批处理级别的统计数据(例如:大小、处理时间、调度延迟等)。通过将自定义仪表添加到火花流程序中获得。
提前谢谢
浏览 4提问于2017-04-11得票数 2
回答已采纳
1回答
我试图在循环 of 、Kafka消息上进行统计，这些消息由一个特性组成。当我收到同一周期的新消息时，我想重新计算这个特性的峰度。
目前，我能够对每条消息流执行简单的聚合(添加、计数)。
//set message count as new key (instead of String null)
val newStream : KStream[Int, Message] = builder.stream[String, Message]("queueing.sensors.data" )(consumed).map((_,v) => (v.msg_cou
浏览 4提问于2019-10-22得票数 1
回答已采纳
1回答
我创建的火花作业，搜索记录(SQL行)相关的关键字使用tf-以色列国防军模型。我目前正在做的测试是火花-提交工作，以获得结果。但是，理想情况下，我希望将此工作作为web服务，以便外部用户可以使用REST搜索记录。当多个用户通过API搜索自己的关键字时，这可能会生成许多并发请求来为多个用户运行作业。
我想知道我是否应该用spark作业服务器来支持这个场景，以便用户可以通过API提交作业，或者根据您过去的经验，您是否对这个特殊情况有任何建议。谢谢。
浏览 2提问于2017-04-03得票数 0
回答已采纳
1回答
我使用Spark2.2.0。
如何使用pyspark向Amazon流提供火花结构化流？
问题试图通过创建自定义接收器来回答非结构化流和scala的问题。
火花放电也有类似的可能吗？
spark.readStream \
.format("s3-sqs") \
.option("fileFormat", "json") \
.option("queueUrl", ...) \
.schema(...) \
.load()
根据的要求，接收机可以作为S3-SQS的文件源.不过，只有SQS才能采用一种方法。
浏览 3提问于2017-12-28得票数 15
回答已采纳
目前，我正在使用火花结构化流创建随机数据的数据帧(id，timestamp_value，device_id，temperature_value，注释)。
每批火花数据采集：
基于上面数据框架的屏幕截图，我想为列"temperature_value“提供一些描述性的统计数据。例如，最小、最大、平均、计数、方差。
我在python中实现这一目标的方法如下：
import sys
import json
import psycopg2
from pyspark import SparkContext
from pyspark.streaming import StreamingCont
浏览 4提问于2019-12-17得票数 2
回答已采纳
想知道我们是否可以生成PDF或XLSX文件，以便使用火花流/火花结构化流来报告。根据正式文档，有文件库，但支持PDF和XLSX吗？如果是这样的话，我们可以利用它作为报告代吗？
浏览 5提问于2019-12-19得票数 1
回答已采纳
有一些根本的问题，希望有人能把它们弄清楚。
因此，我想在我的应用程序中使用Apache和Apache。我已经读过了许多教程，并且了解了它是什么以及它将如何工作的基本概念。
用例：
数据将以40秒的间隔从移动设备(多个设备，比方说1000)中生成，我需要处理这些数据并将值添加到数据库中，然后这些值将返回到仪表板中。
我想要做的是使用Apache，并从android本身发出一个post请求，然后这些数据将由spark应用程序处理，仅此而已。
问题：
阿帕奇火花
我按照本教程来启动并运行。(我使用的是JAVA，而不是scala)链接：
做完所有事情后，我执行火花壳，然后启动。我还在服务器
浏览 4提问于2017-06-23得票数 0
2回答
我想在这里解释一下关于容错的问题。假设我在hdfs中有1到10个文件，火花流已经读取了这个文件。现在我的火花流不幸地停止了。我有hdfs中的文件，比如1到20，其中1到10个文件已经被火花流解析，11到20个文件是新添加的。现在我开始火花流，我可以看到文件1-30。因为我在hdfs中启动了21文件时的星火，我的星火样式将释放文件11-20。我怎么才能弄丢文件。我用fileStream。
浏览 0提问于2017-07-17得票数 1
回答已采纳
1回答
使用akka流与火花流进行流处理有什么优缺点？比如，内置背压，性能，容错，内置转换，灵活性等。我不是在问akka vs火花正反严格流组件。另外，我并不是在问引擎盖框架架构的差异。
浏览 1提问于2016-07-06得票数 9
回答已采纳
1回答
当使用火花直接流时，我试图将我的补偿保存给动物园管理员。我看到JavaInputDstream API有一个从特定偏移量开始的选项，但是我需要它，因为JavaPairInputDstream是解决方法，我们可以使用它来获取JavaPairInputDstream，因为在API中它是不可用的。
JavaInputDStream<String> messages = KafkaUtils.createDirectStream(jsc, String.class,
String.class, StringDecoder.class
浏览 3提问于2017-11-29得票数 0
寻找一个基于UI (API也是受欢迎的)工作流创建和管理框架。我从LinkedIn找到了阿兹卡班。计划在选择一个之前对少数人进行评估。
需求
基于UI的工作流mgmt
基于LDAP的auth与授权
所有行动的审计日志
对火花、hadoop/clouded/Cassandra/脚本的支持
依赖性管理
浏览 0提问于2016-10-22得票数 4
1回答
我对火花流检查点有点困惑，请帮帮我，谢谢！
有两种类型的检查点(元数据和数据检查点)。指南说，在使用有状态转换时，使用了数据检查点。我对此很困惑。如果我不使用有状态转换，那么stateful还会编写数据检查点内容吗？
我能控制代码中的检查点位置吗？我能控制哪一个rdd可以写到数据流中的数据检查点数据，比如批处理火花作业吗？我可以在流中使用foreachRDD rdd => rdd.checkpoint()吗？
如果我不使用rdd.checkpoint()，那么火花的默认行为是什么？哪个rdd可以写入HDFS？
浏览 1提问于2019-02-27得票数 0
3回答
我创建了一个项目，我想在其中消费卡夫卡流。因此，我需要使用火花流中的KafkaUtils。但是当我尝试使用KafkaUtils时，它们无法被解决。
我添加了火花流_2.11-2.0.1.jar，并尝试导入org.apache.scamk.Streing.kafka。但它也无法解决。
谁能告诉我我错过了什么吗？
亲切的问候
浏览 5提问于2016-10-12得票数 2
回答已采纳
如果这个问题没有意义，请原谅，因为我只是从火花开始，试着去理解它。
据我所读，Spark是对流数据进行实时分析的一个很好的用例，然后这些数据可以被推入下游的接收器，如hdfs/hive/hbase等等。
我对此有两个问题。我不清楚是否只有一个火花流作业运行或多次在任何给定的时间。假设我有不同的分析，我需要对卡夫卡的每一个话题或每一个流进卡夫卡的源进行分析，然后把这些结果推到下游。
是否允许您并行运行多个流作业，以便为每个流保持聚合分析分离，或者在本例中为每个Kafka主题保留聚合分析。如果是这样的话，那是怎么做到的，有什么文件可以给我指点吗？
首先要说明的是，我的用例是从不同的源流而来，每个源
浏览 9提问于2017-01-12得票数 4
回答已采纳
我已经将kafka broker从0.8升级到0.11，现在我正在尝试升级星火流作业代码，使其与使用spark 1.6.2-的新的kafka -I am兼容。
我搜索了很多步骤来做这个升级，我没有找到任何正式或非官方的文章。
我发现唯一有用的文章是，但是它提到了spark 2.2和kafka 0.10，但我有句话说
但是，由于新的集成使用的是新的Kafka消费API而不是简单的API，所以在使用上有明显的差异。此版本的集成被标记为实验性的，因此API可能会发生更改。
是否有人曾尝试将星火流1.6与kafka 0.11集成，或者是否最好先升级到2.X，因为缺乏关于火花流和kafka混合版
浏览 3提问于2017-10-01得票数 2
回答已采纳
2回答
如何将火花流与卡桑德拉连接起来？
、、、、
我在用
Cassandra v2.1.12
Spark v1.4.1
Scala 2.10
卡桑德拉正在收听
rpc_address:127.0.1.1
rpc_port:9160
例如，要连接卡夫卡和火花流，同时每4秒听一次卡夫卡，我有下面的火花作业
sc = SparkContext(conf=conf)
stream=StreamingContext(sc,4)
map1={'topic_name':1}
kafkaStream = KafkaUtils.createStream(stream, 'localhost:2181', "name
浏览 5提问于2016-01-25得票数 3
1回答
假设我的制作人正在制作一些消息，而Kafka消费者正在使用这些消息。现在我要把这些信息发送出去。我如何用python将卡夫卡与火花连接起来，并将卡夫卡的信息发送给火花呢？
浏览 4提问于2022-05-12得票数 -2
1回答
我们公司在cloudera上有9个节点集群。
我们有41个长时间运行的火花流作业，纱线+集群模式&一些定期的火花壳作业计划在每天下午1点运行。
当前，所有作业都以root权限提交给用户A角色
我遇到的问题是，当所有41个星火流作业都在运行时，我的计划作业将无法获得资源来运行。
我已经尝试过纱线公平调度器，但计划的作业仍然不运行。
我们预计火花流作业总是在运行，但当其他计划作业开始时，它将减少占用的资源。
请随时分享您的建议或可能的解决方案。
浏览 1提问于2019-07-16得票数 0
回答已采纳
我很好奇，如果一个星火流应用程序被优雅地击落是绝对必须的，还是它有通过预写日志导致重复数据的风险。在下面的场景中，我概述了队列接收器与队列交互时需要确认消息的步骤序列。
火花队列接收器从队列中提取一批消息。
火花队列接收器将批消息存储到预写日志中。
在将ack发送到队列之前，火花应用程序将被终止。
火花应用程序再次启动。
预写日志中的消息通过流应用程序进行处理。
火花队列接收器从队列中提取一批消息，这些消息已经在步骤1中看到，因为它们未被确认为已接收。
..。
我的理解是正确的，如何实现自定义接收器，与它随之而来的重复问题，它是正常的，要求一个优雅的关闭？
浏览 3提问于2015-07-29得票数 9
我正在学习apache spark与kafka的集成，这样当新消息到达Kafka的主题时，我的代码就可以自动运行。 我也读过官方文档 https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html 但我仍然对它的工作原理感到困惑。我有我的字数统计写的程序在java火花和另一边卡夫卡正在运行。 结构化流媒体是kafka和spark java代码之间的桥梁吗？它是否一直在监听kafka，并且每当消息到达时，它都会从kafka中提取消息，并将其传递给java代码？这是对的吗？ 如果没有，有没有人可以和
浏览 15提问于2019-12-10得票数 1
我还是新来的火花，我想了解更多关于它。我想用卡夫卡构建和数据管道架构，Spark.Here是我提议的体系结构，PostgreSQL为卡夫卡提供数据。条件是PostgreSQL不是空的，我想捕捉数据库中的任何CDC更改。最后，我想抓住卡夫卡的信息，并处理它与火花，以便我可以得到分析，在同时发生的疾病预防控制中心事件。
然而，当我试图运行一个简单的流时，似乎是星火接收到流中的数据，而是批量处理数据，这不是我的目标。我看到一些文章说，这个例子的数据源来自我们希望监视的API，而且数据库流处理的情况有限。我以前已经完成了使用Kafka到另一个数据库的过程，但是我需要转换和聚合这些数据(我不是使用Con
浏览 0提问于2020-06-24得票数 1
回答已采纳
1回答
火花再划分
、、、
什么是需要重新划分数据。如何确定火花中的重新分区大小。
是适用于火花流和结构化流的重新划分概念。
DF.repartition(num)
浏览 1提问于2020-05-05得票数 0
回答已采纳
我在纱线模式下有一个火花集群，一些批处理和流作业要运行。我发现spring可以处理批处理和流作业，其内置火花。
我的问题是，spring xd能否在纱线模式下使用外部火花集群？怎么做？非常感谢。
浏览 1提问于2017-02-03得票数 1
回答已采纳
我正在寻找架构来做情感分析，在流与火花，我偶然发现了这个架构。
我想知道，在Twitter API中使用Nifi + Kafka而不是直接将Spark连接到它有什么好处，我想它会像这样更容错，但我真的不知道。
浏览 2提问于2022-01-08得票数 0
回答已采纳
我从loadimpact快速浏览了一下K6。
到目前为止，我得到的图表显示了全局级别的TPS、响应时间和错误率，但这并不是太有用。
当我进行负载测试时，我宁愿在全局级别获得这些统计数据，但也在流级别或APi级别获得这些统计数据。这样，例如，如果我看到一些高延迟，我可以立即判断是由单个API引起的，还是所有API都很慢。
或者我可以说给定的API是HTTP/500，或者是几个不同的API。
K6可以在API级别、流级别和全局级别显示TPS、响应时间、HTTP状态等统计数据吗？
谢谢
浏览 1提问于2018-11-17得票数 1
我可以使用星火流1.5.1与kafka 0.10.0？该网站spark.apache.org建议火花流应该与卡夫卡0.8.2；
我只想知道，如果我用卡夫卡0.10.0和火花1.5.1？
有人能帮忙吗。
浏览 3提问于2017-07-14得票数 1
回答已采纳
1回答
阿帕奇星火统计集..。
、、、
我有以下关于Apache中表的统计数据收集的问题
收集到的所有数据都储存在哪里？在Metastore？
在星火和蜂巢共享一个亚稳态的系统中，蜂窝应用程序收集到的蜂窝表上的统计数据是否将提供给火花优化器？类似地，星火收集到的数据是否将提供给hive优化器？
是否有可能强迫Spark收集加载在内存中的Dataframe上的统计数据，或者在从Dataframe创建的临时表上收集统计数据？
浏览 3提问于2018-10-16得票数 3
回答已采纳
2回答
我是新的火花和卡夫卡和我有一个稍微不同的使用模式火花流与卡夫卡。我在用
spark-core_2.10 - 2.1.1
spark-streaming_2.10 - 2.1.1
spark-streaming-kafka-0-10_2.10 - 2.0.0
kafka_2.10 - 0.10.1.1
连续事件数据正在被流到一个kafka主题中，我需要从多个火花流应用程序中处理这个主题。但是当我运行星火流应用程序时，只有其中一个接收数据。
Map<String, Object> kafkaParams = new HashMap<String, Object>(
浏览 3提问于2017-08-29得票数 4
回答已采纳
我已经有了一个深度学习模型，我正在尝试对流媒体数据进行评分。为此，我使用星火结构流api.When从kafka读取数据，我尝试将接收到的数据转换为H20Frame，下面是错误：
线程“主”org.apache.spark.sql.AnalysisException中的异常:必须使用writeStream.start()执行流源查询；
代码样本
Dataset<Row> testData=sparkSession.readStream().schema(testSchema).format("kafka").option("kafka.bootstra
浏览 0提问于2018-04-05得票数 1
1回答
有没有办法获取YouTube直播视频统计数据(比如，观看次数等)并将其保存到文件中？ 我浏览了API，但仍然不知道应该使用哪些参数。
浏览 94提问于2021-09-09得票数 0
1回答
我有一个外部数据源，它通过Kafka发送数据。
作为一个事实，这不是一个真正的数据，而是链接到数据。
"type": "job_type_1"
"urls": [
"://some_file"
"://some_file"
]
只有一个主题，但它包含了type字段，我需要基于该字段执行一个作业。
数据不是连续的，而是更像作业--它包含一组数据，这些数据应该在一个批处理中处理。下一个话题是独立的。应同步处理同一类型的所有主题。
选项：
使用火花流。
看起来这并不适合我的方案。而且没有内置的能力来考虑val
浏览 0提问于2019-07-29得票数 3
1回答
我有一个用例
我们有java框架，每隔半个小时就可以解析从Kinesis到Hive表的实时数据。
我需要访问这个蜂箱表并进行一些接近实时的处理。一个小时的延迟是可以的，因为我没有访问Kinesis流的权限。
一旦处理完成火花(最好是电火花)，我必须创建一个新的动感流和推送数据。
然后我将使用Splunk，并将它拉近实时。
问题是，有谁用python做过从蜂箱中流出来的火花？我得先做个POC然后再做实际的工作。
任何帮助都将不胜感激。
提前谢谢！！
浏览 2提问于2017-10-08得票数 0
我目前正在开发spring运行时容器，我使用：
火花1.6.1+ Hadoop 2.7.2 +Spring 1.3.1
我的问题：
这些版本是否与spring容器(1.3.1)兼容？
这些是否可以作为集群环境中的spring启动来部署？
是否有任何特定的材料清单建议与火花一起使用的弹簧-xd？我看到了一些用于git中心的火花流的例子，这些例子是在maven中央存储库还是关键的公共存储库中正式发布和提供的？
浏览 1提问于2016-06-01得票数 2
回答已采纳
2回答
从卡夫卡星火流接收空值
、、、、
我是火花流的新手，我正在实现一些小练习，比如从kafka发送XML数据，并且需要通过火花流接收流数据。我尝试了所有可能的方法。但是每次我得到空值时.
Kafka端没有问题，唯一的问题是从Spark .接收流数据。
下面是我实现的代码：
package com.package;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.streaming.Duration;
import org.apache.spark.stream
浏览 5提问于2016-09-18得票数 1
回答已采纳
你好，我将一些行推入bigquery表中，如下所示：
errors = client.insert_rows("course-big-query-python.api_data_set_course_33.my_table_aut33",[string_tuple], selected_fields = schema2)
assert errors == []
但是，当我在可视化界面上验证结果时，我发现实际的表大小为0，
我验证流缓冲区统计数据，那里有成功插入的表：
我还删除了对表的查询，结果存储在一个时态表中，如下所示：
因此，我希望支持将表插入
浏览 0提问于2019-03-10得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
