1回答
我正在尝试使用KinesisUtils.createStream从Pyspark中读取kinesis中的数据，但问题是我得到了这个错误。Spark Streaming's Kinesis libraries not found in class path. Try one of the following.
1./spark-submit --packages org.apache.spark:spark-s
浏览 33提问于2020-01-16得票数 0
我有一个包含tweet流的kinesis数据流。我如何在pyspark上(在emr上)读取这个流？我希望能够在此数据流上执行操作。JavaPackage' object is not callable File "/usr/lib/spark/python/lib/pyspark.zip/pyspar
浏览 35提问于2020-07-03得票数 1
我正尝试在AWS提供的jupyter笔记本电脑中使用spark / python读取kinesis流。我从AWS文档中获取了代码，但当我尝试使用kinesis创建数据帧时，我得到了一个依赖错误。下面是我的代码：from datetime import datetimeimport base64fr
浏览 10提问于2021-07-20得票数 0
我已经准备了pyspark代码，以便在我的spark streaming中从AWS Kinesis读取数据。代码运行正常，没有任何错误，但没有获取任何记录。我只用一个分片创建了一个运动数据流，并使用kinesis实用工具来创建运动火花流。= "test"endpoint_url = &q
浏览 19提问于2019-04-26得票数 0
1回答
我正在尝试读取从PySpark.My到JSON的流JSON数据，如下所示：我已经指定了模式，但是当spark读取数据时，我会得到from pyspark.sql.types import *
from pyspark.sql.functions import from_json
浏览 0提问于2018-09-21得票数 0
回答已采纳
我是kinesis的新手，我正在尝试使用spark-streaming (Pyspark)处理kinesis流数据，并面临以下错误
以下是我的代码:我正在将twitter数据推送到我的kinesis流中我尝试在所有依赖项中都包含--jars，但仍然使用相同的issue.Spark版本-2.4.3和2.3.3，并使用适当的spark-streaming kinesis</em
浏览 0提问于2019-07-20得票数 2
我是Apache Spark Streaming的新手。正在尝试构建Spark以从Kinesis Stream中读取值。这是我的python脚本from pyspark import SparkContext
from pyspark.streaming import StreamingContextfrom pyspark.streaming.kinesis import Kine
浏览 1提问于2016-11-25得票数 0
我正在尝试运行word计数示例，它集成了AWS Kinesis流和Apache。随机线按一定的间隔放置在运动中。我确信没有凭据问题，如果我使用假凭据，我将获得访问异常。添加代码以供参考from pyspark.streaming import StreamingContextfrom pysp
浏览 4提问于2017-01-25得票数 2
回答已采纳
我们如何在Amazon kinesis中处理静态数据？例如，我有excel表格中的数据，我想在Kinesis中处理它们。有可能吗？如果是，那么如何实现呢？
浏览 0提问于2016-05-05得票数 0
我正在尝试创建一个应用程序，以便从Kinesis数据流中读取。MVN存储库包含software.amazon.kinesis:amazon-kinesis.client和com.amazonaws:amazon-kinesis-client.
浏览 2提问于2019-12-03得票数 4
回答已采纳
1回答
在中，它列出了一个StreamEncryption字段，并说，
为指定的流启用或更新服务器端加密.
当您将数据生产者的数据发送到Kinesis流时，Kinesis数据流服务使用AWS KMS密钥对您的数据进行加密，然后将其存储在rest中。当您的流从您<em
浏览 0提问于2018-01-24得票数 2
回答已采纳
1回答
我已经设置了一个带有Firehose的Kinesis流，该流应该获取放入流中的数据，并将其存储在S3存储桶中。目前，我可以看到我的数据流正在获取数据，我的消防管正在读取它，但随后没有向S3发送任何内容。Kinesis firehose读取数据：然后我可以在这里看到它没有将其传递给S3：消防站的IAM角色有
浏览 2提问于2020-04-02得票数 1
1回答
我有一个Javascript应用程序编写实时数据到Kinesis流.是否有任何现成的连接器可以使用S3作为我的消费者来自Kinesis？在我的例子中，Kinesis不是一个选项，因为还有另一个应用程序可以从流中读取来进行实时分析。兰博达也是如此(我们不想全身心投入到AWS中去)。我看了KCL (KinesisClientLibrary)，它公开了IRecordProcessor，这帮助我捕获了流<e
浏览 0提问于2017-08-19得票数 0
1回答
这里我从kinesis读取数据，并将其存储在流rdd中。JavaReceiverInputDStream<byte[]> stream = KinesisUtils.createStream(sc, "speng-ba
浏览 0提问于2015-10-07得票数 0
我需要写一个java应用程序，从Kinesis流读取和存储数据到Kafka主题。我不能使用连接器，我必须使用Kafka Streams，因为其中涉及到很多逻辑。Kafka Stream是否可以直接从Kinesis流读取，或者我必须先将数据存储到Kafka topic才能被Kafka Stream读取？我读了很多关于Kafka Streams的文章，除了Kafka主题之外，我从来没有见过Kafka Stream
浏览 18提问于2019-07-29得票数 1
1回答
如何使用python boto3将日志发送(接收)到不同的kinesis stream shard？当只有一个分片时，我可以发送和接收，但是如果我为我的kinesis流指定了多个分片，我不知道它是如何工作的。
浏览 3提问于2017-09-13得票数 0
1回答
我是AWS的新手，所以我不知道发生以下情况时的行为是什么。
假设我有一个带有JSON数据的Kinesis流(假设每隔几分钟就会插入几千条消息)。现在有一个Lambda函数，每次将一个新的msg插入到Kinesis中时都会调用它，它读取msg，并在插入Redshift之前进行一些处理。那么，如果出现一些错误，而Lambda函数在处理过程中崩溃，并且需要几分钟甚至几个小时(我不知道这是否可能)，那么会发生什么呢？它将继续
浏览 0提问于2018-12-12得票数 2
我有来自不同生产者的数据进入Kinesis streams。根据数据的类型，需要将数据转换为几个不同的表。我正在尝试从Kinesis Streams中读取Lambda，将数据转换到不同的表中，然后使用Kinesis Firehose批量和复制到Redshift中。但是，由于Firehose一次只能发送到一个Re
浏览 3提问于2017-09-15得票数 2
我正在使用Python3.6中一个启用异步的Kinesis模块来部署到AWS (所以我需要这个模块兼容3.6 )。我的用例是懒散地从磁盘中读取一个文件(大约100 My压缩- 1GB未压缩)，并将数据(每次500行)流到Kinesis。当我正在阅读下一批500行的时候，我希望Kinesis制作人开始把500张唱片推送给Kinesis。
我注意到的是，它一次以500
浏览 0提问于2019-03-13得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
云直播
实时音视频活动推荐
腾讯云开发者
