2回答
我在我的kafka主题中有一个流数据。我需要使用pyspark以pyspark dataframe的形式从topic中读取这些数据。但是当我调用readStream函数时，我不断地收到错误。我的代码如下：
os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages org.apache.spark:spark-streaming-kafka-0-8_2
浏览 15提问于2018-01-12得票数 2
2回答
我正在尝试读取通过Kafka和SparkStreaming获取的HDFS存储的数据。我使用的是一个Java应用程序，它使用JavaRDD.saveAsTextFile方法将一些任意数据保存到Hadoop。数据保存在本地主机:50070的默认hadoop浏览器中。
然后，在pyspark应用程序中，我尝试使用sparkContext.textFile读取数据。问题是我读取的数
浏览 0提问于2018-01-22得票数 0
回答已采纳
我的kafka集群版本是0.10.0.0，我想使用pyspark流来读取kafka数据。但是在Spark Streaming + Kafka集成指南中，没有python代码示例。那么pyspark可以使用spark-streaming kafka -0-10来集成kafka吗？
提前感谢您的帮助！
浏览 11提问于2017-08-05得票数 0
1回答
我正试图使用docker在windows上运行apache，我的docker-compose.yml代码如下所示：services: image:jupyter/pyspark-notebook - "9092:9092" volumes::
image: 'bitnami/kafka:la
浏览 14提问于2022-09-07得票数 0
我正在pyspark中执行一个批处理作业，其中spark将每5分钟读取一次kafka主题中的数据。df = spark \ .format("kafka") \ ..option("startingOffsets", "earliest") \
.op
浏览 2提问于2020-03-04得票数 0
3回答
当我从Kafka主题创建一个流并打印它的内容时 os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.0.2 pyspark-shell' from pyspark.stre
浏览 2提问于2019-12-08得票数 1
回答已采纳
对于我的当前项目，我正在使用Kafka (python)，并想知道是否有任何方法可以将流式Kafka数据发送到AWS S3桶(而不使用汇流)。我从Reddit API获得我的源数据。我甚至想知道Kafka+s3是否是一个很好的组合，用于存储数据，这些数据将使用pyspark进行处理，或者我应该跳过s3步骤，直接从Kafka读取<
浏览 5提问于2022-08-28得票数 0
我编写了一些连接到kafka broker的示例代码，从主题读取数据并将其放入snappydata表。from pyspark.conf import SparkConffrom pyspark.sql import SQLContextspark-submit --master spark://10.0.0.4:1527 /path_to/fil
浏览 1提问于2020-11-30得票数 0
回答已采纳
1回答
火花流+ Kafka集成
、、、、
我试图整合星火和卡夫卡在木星笔记本使用。这是我的工作环境。火花版本:星星之火2.2.1卡夫卡版本: Kafka_2.11-0.8.2.2火花流卡夫卡jar: spark-streaming-kafka-0-8-assembly_2.11-2.2.1.jar
这是我的密码。from pyspark import SparkConte
浏览 1提问于2018-08-08得票数 0
我正在尝试使用spark streaming来读取kafka主题中的数据。我可以将消息生成kafka主题，但当使用spark streaming读取主题中的数据时，我收到错误消息，如下所示：
ERROR ReceiverTracker: Deregistered receiverreceiver 0 - java.lang.ClassCastException: java.util.HashMap cannot be cast to java.lang
浏览 0提问于2019-05-27得票数 1
我正在尝试使用数据库中的pyspark从Heroku postgres数据库流，使用kafka作为插件。下面有这样的代码，但是它连续运行，没有返回任何内容，也没有错误。我尝试在代码中添加触发器，但不知道要使用什么导入，因为我没有在网上找到它的包。.等待数据。{“消息”：“初始化源”，“isDataAvailable”：False，“isTriggerActive”：False}
我使用了kafka
浏览 14提问于2022-10-16得票数 0
卡夫卡有许多读/写火花数据的方法。我试着阅读来自卡夫卡主题的信息，并从中创建一个数据框架。可以从主题中提取消息，但无法将其转换为数据文件。任何建议都会有帮助。import pysparkfrom pyspark.context import SparkContextdf = spark \ .format(
浏览 1提问于2020-06-12得票数 1
我想每隔5秒阅读一个主题；对于较早版本的pyspark，我可以使用kafka-utils和window方法，但目前我不能使用它。现在，我用下面的代码从kafka用spark加载数据 .format("kafka") \
.option("kafka.bootstrap.servers", 'localhost:9092')
浏览 3提问于2022-01-16得票数 1
回答已采纳
我正在从spark (结构化数据流)中读取Kafka中的数据，但在spark中从kafka中获取的数据不是字符串格式。火花: 2.3.4{"Patient_ID":316,"Name":"Richa","MobileNo":{"long":7049123177},"BDate":{"
浏览 1提问于2019-12-27得票数 0
我正在使用kafka从远程mysql数据库读取数据，并将其传递到Pyspark streaming以应用情感分析，然后用该值更新mysql数据库中的列。这是最好的情况，还是有比这更有效的架构？
浏览 1提问于2019-11-20得票数 0
我已经设置了一个Kafka代理，并且我设法用pyspark读取记录。import osimport pysparkfrom pyspark import SparkConf, SparkContext, SQLContext, Rowfrom pyspark.
浏览 12提问于2020-05-20得票数 0
我对spark非常陌生，并从pyspark开始，我正在学习使用pyspark将数据从kafka推送到hive。from pyspark.sql import SparkSessionfrom pyspark.sql.functionsimport *
from pyspark.streaming.kafka imp
浏览 2提问于2020-02-17得票数 0
我使用pyspark流来读取kafka数据，但它出错了：from pyspark.streaming.kafka import KafkaUtilssc = SparkContext(appName="t
浏览 0提问于2020-01-05得票数 0
我正在尝试编写一个简单的pyspark作业，它将从kafka broker主题接收数据，对这些数据进行一些转换，并将转换后的数据放在不同的kafka broker主题上。我有以下代码，它从kafka主题读取数据，但在运行sendkafka函数时没有任何效果：import sys
浏览 4提问于2016-05-20得票数 8
回答已采纳
1回答
我从下面的链接中获得了关于kafka主题偏移流的pyspark。from pyspark.streaming import StreamingContextfrom pyspark.streaming.kafkatopicPartion = TopicAndPartition(topic, 0)
fromOffset = {topicPartion: long(PUT NUM
浏览 0提问于2018-10-06得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
