1回答
我试图插入数据到redis (Azure为Redis)通过火花。大约有7亿行，我正在使用星火红连接器插入数据。在抛出此错误后，它将失败。at redis.clients.jedis.util.RedisInputStream.readByte(RedisInputStream.java:43)
浏览 9提问于2021-06-29得票数 1
遵循本文档(https://github.com/RedisLabs/spark-redis/blob/master/doc/configuration.md)，使用部署在HDI集群上的Spark作业将记录写入下面是使用的配置： spark.redis.host = hostname of the Redis cluster
浏览 98提问于2021-07-20得票数 1
我正在寻找适合Apache Spark streaming的用例，以及Spring XD streams最适合的情况。
这里是否存在技术重叠？有没有人遇到过这两种情况都在使用的情况？
浏览 1提问于2014-10-02得票数 7
2回答
我配置了一个具有redis和maven的服务器，然后执行以下sparkSession操作.sql.builder.appName('try_one_core').config("spark.redis.
浏览 3提问于2020-02-19得票数 1
回答已采纳
2回答
val spark = SparkSession.builder() .master("local[*]") .config("spark.redis.port", "6379")
.config("spark
浏览 6提问于2020-07-08得票数 4
我想在PyCharm中调试Spark代码，因为它更容易调试。但是我需要添加一个spark-redis.jar，否则就是Failed to find data source: redisspark = SparkSession \.builder \ .config("spark.r
浏览 9提问于2019-07-11得票数 2
回答已采纳
1回答
将星火红连接器添加为依赖项的问题
、、、、
但是，当我试图在EMR中执行它时，我需要将它添加到我的built.sbt文件中，如下所示：libraryDependencies += "RedisLabs" % "spar
浏览 2提问于2018-08-03得票数 1
回答已采纳
1回答
据我所知，SparkSession有一个参数"spark.redis.ssl“，它接受'true‘或'false’的布尔值。但是，我想知道如果将"spark.redis.ssl“选项设置为'true‘，那么在我存储的ssl证书的路径中输入的确切位置。val spark = SparkSession .master("local[*]")
.config("<em
浏览 28提问于2022-08-25得票数 0
我在Redis中有一个普通的scala map (键和值)。现在，我想在我的一个spark-streaming程序中读取该映射，并将其用作广播变量，以便我的从机可以使用该映射来解析键映射。我使用的是spark-redis 2.3.1库，但现在我确定如何阅读它。在redis表"employee“中映射- name | value123 David125Alex 这就是我试图在spark</
浏览 19提问于2019-05-07得票数 0
我已经在databricks "com.redislabs:spark-redis_2.12:2.5.0"中安装了以下jar。并尝试使用相应的身份验证创建火花会话。下面是我用creds创建火花会话的代码
redis= SparkSession.builder.appName("redis_connection").config("spark.redis.host", "hostname").config(&q
浏览 7提问于2021-03-01得票数 2
1回答
我为redis实例创建了一个蓝色缓存。我想用第一列的dataframe作为键，第二列作为值，将写到redis。我怎样才能在蔚蓝中做到这一点？
浏览 4提问于2021-07-01得票数 0
回答已采纳
我正试图连接到Azure缓存中的来自databricks的redis。SparkSession\.appName("myApp")\ .config("spark<
浏览 10提问于2022-03-10得票数 1
1回答
我正在尝试使用spark-redis加载数据集，但操作总是失败。我尝试写入的spark dataframe有8500万行，但写入操作在2500万行之后大致失败。我想知道如何解决这类问题。下面是我在Python脚本中执行的操作：
SPARK_JARS = ['/home/jovyan/jedis-3.6.0.jar', '/home/jovyan/spark-redis_2.12.config
浏览 100提问于2021-06-11得票数 2
1回答
我试图从emr集群连接到aws集群，我将jar驱动程序上传到s3，并使用这个引导操作将jar文件复制到集群节点：这是我的连接测试火花应用程序：from pyspark.sql import SparkSessionif __name__ == "__mai
浏览 12提问于2022-07-18得票数 1
回答已采纳
现在，这两个对象都在Spark上运行，但我似乎不能确定为什么流不工作。 也许是redis在写入流端时实现它的接收器的方式，也可能是我尝试做这项工作的方式。我基于spark redis的示例构建了我的代码，并使用示例代码尝试实现针对我的情况的解决方案。我每天加载Oracle数据，并将其发送到redis流，稍后将从流中提取该流并保存到Mongo。", redisHost)
.config("spark.redis.port", redi
浏览 21提问于2020-08-12得票数 2
ports: environment: REDIS_PORT/*"
- "kafka" image: docker.io
浏览 15提问于2021-07-16得票数 0
回答已采纳
1回答
我在Spark Structured streaming中读取Kafka中的事件，需要一个接一个地处理事件并写入redis。我为此编写了一个UDF，但它给了我spark上下文错误。conf = SparkConf()\.setMaster(spark_master_url)\.set
浏览 10提问于2020-07-13得票数 0
回答已采纳
1回答
我正在使用Redis2.3.1从Kafka中读取一系列的值作为DStreams，我想对这些数据进行一些转换，比如取一个移动平均值，然后将其保存到PySpark中。我的spark工作代码看起来有点像这样： batch_duration = 1
spark_session = SparkSession \ .appName("my-app") \
spark_context = s
浏览 32提问于2019-06-22得票数 0
Primus有许多插件，其中两个插件是:primus集群和primus-redis房间。这两种方法都是为了在有许多节点进程时使用Redis pub-sub进行扩展。这意味着火花不会被保存-传递给Redis，这样每个进程都知道总共有多少火花。
有谁知道如何实现这一点吗？
浏览 3提问于2014-05-28得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
