现在，这两个对象都在Spark上运行，但我似乎不能确定为什么流不工作。 也许是redis在写入流端时实现它的接收器的方式，也可能是我尝试做这项工作的方式。我在流媒体上找到的几乎所有示例都与Spark samples有关，比如文本流媒体或TCP，而我在关系数据库上找到的唯一解决方案是基于Kafka connect的，我现在不能使用它，因为该公司没有在kafka上使用CDC的<
浏览 21提问于2020-08-12得票数 2
现在我使用python(Python 3) redis客户端将元素添加到redis流中，这是库的依赖关系： redis~=5.0.3 然后这是我使用Python将元素写入redis的代码： def push_message_to_stream(article): message = {
浏览 18提问于2021-05-11得票数 3
回答已采纳
我正在寻找适合Apache Spark streaming的用例，以及Spring XD streams最适合的情况。
这里是否存在技术重叠？有没有人遇到过这两种情况都在使用的情况？
浏览 1提问于2014-10-02得票数 7
我在Databricks中有一个DataFrame流，我想对每个元素执行一个操作。在网上，我找到了一些特定的用途方法，比如将其写入控制台或将其转储到内存中，但我想添加一些业务逻辑，并将一些结果放入Redis中。更确切地说，这就是在非流情况下的情况： ("key1", "value1"), ("key3",
浏览 1提问于2019-03-25得票数 1
回答已采纳
1回答
我在前端使用了事件流。后端的Yield函数。将客户端存储在redis队列中。我正确地将用户存储在redis队列中，但我不知道如何向特定的登录用户发送推送通知。我的问题是如何将通知推送到特定的登录用户。前端代码： source.onmessage = functi
浏览 2提问于2015-02-03得票数 1
在对数据执行聚合后，我使用pyspark将kafka流定向到redis。最终输出是一个流数据名。
我连接到kafka streams的代码。kafka.sasl.jaas.config": 'org.apache.kafka.common.security.plain.PlainLoginModule required username="user@stream.com在我的研究之后，我发现我可以使用"
浏览 15提问于2021-02-27得票数 0
2回答
我正在使用火花结构流foreachBatch从redis读取批记录，通过以下代码(试图通过stream.read.batch.size设置batchSize ) .option("stream.read.batch.size").load()
val query = data.writeStream.foreachBatch {Long)
浏览 0提问于2019-06-20得票数 5
回答已采纳
背景我正在尝试运行一个submit命令，该命令流自Kafka，并在AWS (Version5.23.0)中执行JDBC接收器到postgres中，并使用(2.11.12版本)。.jar \到我的火花提交作业，以便将罐子发送给驱动程序和执行者。还尝试过使用--jars /usr/lib/spark/jars/postgresql-42.1.4.jar \来执行我的火花提交作业，这是emr中spar
浏览 0提问于2019-06-20得票数 4
1回答
如何在熊猫操作网页上制作进度条
、、、、
我发现tqdm现在和熊猫一起工作，它有一个progress_apply方法而不是apply。但我不确定它是否与网页上的进度条相关。我想应该是因为它能在木星笔记本上工作。接下来的问题是如何触发下载。现在，我的convert函数没有问题地触发下载，因为响应是由一个文件形成的。如果要呈现页面，则使用return render_template(...)生成响应。既然我只能有一个响应，那么只有一个调用/convert的3和4可以吗？
不是一个网页开发
浏览 0提问于2019-04-12得票数 11
回答已采纳
1回答
我们有来自两个Kafka主题的两个InputDStream，但我们必须将这两个输入的数据连接在一起。问题是每个InputDStream都是独立处理的，因为有了foreachRDD，任何东西都不能返回给join。inputDStream2.asInstanceOf[CanCommitOffsets].commitAsync(offsetRanges) })
我认为我可以返回Message1ListBuffer和Message2ListBuffer但这是行不通的，我不认为这是最好<em
浏览 0提问于2019-05-24得票数 0
我试图读取卡夫卡的数据，并将其上传到格林梅利的数据库使用火花。我使用的是格林梅-火花连接器，但我正在获取数据源，io.pivotal.greenplum.spark.GreenplumRelationProvider不支持流写入。是否格林梅源不支持流媒体数据？我可以在网站上看到“连续ETL管道(流)”。我曾尝试将数据源命名为“绿梅”，并将"io.pivotal.greenplum.spark.GreenplumRelatio
浏览 0提问于2019-04-04得票数 0
回答已采纳
我知道我可以用xlen或xinfo stream mystream full.得到流的总长度 我还知道，我可以使用xpending来获取挂起队列的长度，即尚未确认的项。有没有一个命令可以给我已经/已经/被ack'd的物品的数量或标识？(除了假设xlen - len(xpending) = len(unackd)?)
浏览 33提问于2020-09-24得票数 4
我正在尝试设置一个Azure database，以便将数据从AzureSQL数据库复制和反造假到另一个AzureSQL数据库，以便使用数据流报告/BI，但我在插入日期时遇到了问题。这是我的数据流的定义。审计日志显示了以下失败的语句(考虑到它使用VARCHAR(50)作为[CommitStamp]的类型，这并不令人惊讶
INSERT BULK dbo.T_301fcb5e4a4148d4a48f2943011b2f04看起来模
浏览 1提问于2019-07-09得票数 4
回答已采纳
但是我需要添加一个spark-redis.jar，否则就是Failed to find data source: redisspark = SparkSession \.builder \ .config("spark.redis.host",
浏览 9提问于2019-07-11得票数 2
回答已采纳
我在Azure上有一个Greenplum集群，当使用简单的JDBC连接时，我可以从本地机器访问它的数据。现在，我尝试在Spark中使用相同的JDBC驱动程序，如下所示： at com.pivotal.<
浏览 0提问于2020-03-26得票数 0
回答已采纳
我在Unix服务器中使用JDK1.8，并使用spark.jdbc42连接到Azure。<init>(Unknown Source) at com.simba.spark.hivecommon.api.HS2Cl
浏览 9提问于2022-08-09得票数 0
我的Jet工作是转换Redis流数据-转换是-我为流中的每个项目查找map -如果发现它包含一个或多个项目(列表)。我想将排出流中的项作为单独的项来编写，而不是作为列表的一个元素。我的代码可以工作，但是它将列表作为一个单独的项目写入到另一个Redis流中-我需要的是将列表的每个元素单独写入到流中(以便其他作业可
浏览 15提问于2019-11-13得票数 1
回答已采纳
我需要使用Spark引擎部署Apache应用程序。我的问题是，我是否可以在关键的云创建环境上部署星火应用程序。如果有的话，你能提供例子吗？
谢谢
浏览 3提问于2017-09-12得票数 0
回答已采纳
您能给出一个在Python中使用Redis‘xread和xadd的简单示例(显示返回值的类型和格式、xread和xadd的输入)吗？我已经读过许多文档，但没有一个是Python的。Redis 给出了一个例子：1518951480106-0sample ={b"hello&quo
浏览 0提问于2019-03-06得票数 7
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
