我从Kafka源码的结构化Spark Streaming开始，并遵循了一个简单的教程。我的kafka服务器是OSS Kafka。my-log-topic", Integer.toString(i), Integer.toString(i))); }
} 生产者只写入(0,0)到(999,999) 从本主题中读取的结构化流代码如下所示class com.apple.arcadia.solr.batch.DimaStreamer --jars $JARSPATH target/mainproje
浏览 22提问于2019-06-14得票数 0
回答已采纳
(通过火花提交)1) Producer - works精细( 0.9 api和0.10 api生产者兼容) 2)使用KafkaUtils的卡夫卡消费者流- works精细(这里似乎也有0.9API和0.1016/10/24 02:31:08错误yarn.ApplicationMaster: User类抛出异常: java.lang.NoSuchMethodError: java.lang.No
浏览 3提问于2016-10-24得票数 1
回答已采纳
我使用Apache结构化流。结构化流是建立在Spark引擎上的可伸缩和容错的流处理引擎。由于它构建在Spark引擎上，这是否意味着spark.sql.adaptive.enabled适用于火花结构化流？
浏览 7提问于2022-04-30得票数 -1
1回答
当我将结构化流应用于静态数据集时，火花引擎将得到静态数据集的全部数据。在这种情况下，使用流处理静态数据集意味着什么？我所期望的是结构化流能够一次获得整个数据集的一部分，然后我在数据集中的这一部分上计算它，直到整个数据集被遍历。否则，使用结构化流和spark SQL处理静态数据集是完全相同的。对静态数据集使用结构化流的原因是静态数据集可能很大。我们希望使用结构化流来防止静态数据集上的数据一次性加载到内
浏览 4提问于2019-11-15得票数 2
回答已采纳
1回答
如何使用pyspark向Amazon流提供火花结构化流？火花放电也有类似的可能吗？然而，如何直接发送流到火花流还不清楚。
浏览 3提问于2017-12-28得票数 15
回答已采纳
2回答
排列星河数据集列
、、、
我正在使用Spark2.3.1的结构化流API。是否有可能在火花流数据的列中对值进行排序？我尝试使用下面的代码，然后在异常消息之后意识到流上下文不可能遍历整个窗口。.withColumn("rank", row_number().over(Window.orderBy($"transactionTime")))
org.apache.spark.sql.AnalysisException:流数据框架/数据集不支持非基于时间的窗口。
浏览 0提问于2018-07-06得票数 4
回答已采纳
1回答
我不知道星火‘结构化API’是什么意思。如果你能更具体地告诉我，我将不胜感激。
对不起，我没有完美的英语。(我得到了翻译的帮助。)
浏览 1提问于2019-06-06得票数 2
回答已采纳
2回答
我想要火花持续监视一个目录，并使用spark.readStream读取CSV文件，只要该文件出现在该目录中。
请不要包括一个解决方案的火花流。我正在寻找一种方法，通过使用火花结构化流。
浏览 3提问于2017-09-13得票数 10
回答已采纳
使用火花结构化流Trigger.Once()计算策略运行多数据流查询，而不会出现应用程序故障。
浏览 38提问于2021-10-01得票数 0
当我提交Spark结构化流应用程序时，我得到的错误如下：火花版本： 2.1.0使用Scala版本2.11.1，OpenJDK 64位服务器VM，1.8.0_151
卡夫卡版本： kafka_2.12
浏览 1提问于2018-03-13得票数 0
1回答
我用的是火花2.4。我正在为每个批处理进行生成度量，并且我希望控制每个微批的统计数据。我对每个processingDelay、schedulingDelay和totalDelay指标以及在结构化流中找到它们的位置很感兴趣。
我尝试了以下方法，但它不生成任何统计数据。
浏览 0提问于2018-11-16得票数 4
回答已采纳
我下载了结构化流()所必需的星火流-kafka-0-10_2.11.jar，并将其作为“依赖-工件”添加到齐柏林飞艇( Zeppelin )的“streaming”-interpreter(也处理%pyspark请按照“结构化流+ Kafka集成指南”的部署部分部署应用程序。请按照“结构化流+ Kafka集成指南”的部署部分部署应用程序。
我想知道至少有一个调整(解释器配置或直接加载)应该有效。但是在重新启动(火花和齐柏林飞艇)之后，我总是会遇到
浏览 1提问于2019-07-19得票数 5
回答已采纳
10回答
我正在使用一个卡夫卡源在星火结构化流接收汇合编码的阿夫罗记录。我打算使用，但与火花结构化流的集成似乎是不可能的。
我已经看到了这个问题，但无法让它与合流模式注册表一起工作。
浏览 0提问于2018-02-20得票数 28
回答已采纳
2回答
在我的星星之火结构化流应用程序中，我正在读取来自Kafka的消息，过滤它们，然后最终坚持到Cassandra。我用的是火花2.4.1。从结构化流文档中
容错语义提供端到端的精确一次语义是结构化流设计的关键目标之一。为此，我们设计了结构化流源、接收器和执行引擎，以可靠地跟踪处理的精确过程，以便它能够通过重新启动和/或重新处理来处理任何类型的故障。假设每个流源都有偏移量(类似于Kafka偏移量，或Kinesi
浏览 0提问于2019-04-24得票数 2
1回答
我第一次使用火花放电。火花版本: 2.3.0卡夫卡版本: 2.2.0
我有一个卡夫卡生产者，它以avro格式发送嵌套数据，我正在尝试用火花流/结构化流写代码，这将反序列化从kafka到dataframe的avro，做转换，把它以拼花格式写成如何在火花放电中转换相同的内容。谢谢。
浏览 3提问于2019-05-02得票数 3
回答已采纳
4回答
我有一个自定义的火花流读取器，它从WebSocket读取数据。我要试一试星火结构的流媒体。
如何在Spark结构化流中创建流数据源？
浏览 13提问于2017-12-02得票数 14
回答已采纳
1回答
我试图使用Kafka作为我的来源来做火花流，但是我得到了如下错误：
如果你们都能分享你的想法并提供一些解决方案，这将是非常有帮助的。谢谢并提前。请回答!！
希望得到答案！
浏览 6提问于2017-07-17得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
