我使用Flink FileSink将我的数据存入s3文件存储。 我需要将我的数据结构化为子目录，如"s3://mybucket/dt=20210926/hour=13/“。现在，我成功地使用DateTimeBucketAssigner将我的数据写入定制的存储桶，如下所示： FileSink<RowData> orcSink = FileSink
浏览 178提问于2021-09-27得票数 0
回答已采纳
我使用Apache读取kafka主题中的数据，并将其存储在服务器上的文件中。我使用FileSink存储文件，它按日期和时间顺序创建目录结构，但没有创建日志文件。当我运行程序时，它会创建目录结构，如下所示，但是日志文件不会存储在这里。/flink/testlogs/2021-12-08--07
/flink/tes
浏览 5提问于2021-12-08得票数 0
回答已采纳
我有一个Flink数据管道，它将从S3下载的日志文件转换为另一个S3桶。1.15.0.jar & aws-java-sdk-1.12.217.jar复制到FLINK_HOME/plugins/s3-fs-presto目录。当作业使用flink run命令提交到集群时，我得到以下异常 at org.apac
浏览 14提问于2022-05-12得票数 1
回答已采纳
在遵循之后，我能够通过接入点+ VPC端点从AWS CLI完全访问S3存储桶。基本上我用的是和我使用的方法一样final FileSink<ConsumerRecordPOJO<CacheInfo>
浏览 46提问于2021-11-27得票数 0
我正在使用Flink S3接收器，我已经创建了自定义检查点滚动策略来定义基于文件大小的滚动条件。按照下面的代码，我的S3部件文件大小不应该超过100 mb的大小，但我在s3桶中看到的文件大小高达2 mb。这背后的原因是什么？如何执行Flink输出文件大小不应超过100 of的大小？FileSink.forBulkFormat(s3SinkPath, new ParquetWriterFactory<>(builder))
浏览 21提问于2022-08-20得票数 0
2回答
当我想到按某个键的动作时，我通常会想到把所有与钥匙匹配的事件都扔到同一个桶里的类比。正如您可以想象的那样，当Flink应用程序开始处理大量数据时，您所选择的键开始变得重要，因为您希望确保您能够很好地清理状态。这就引出了我的问题，Flink到底是如何清理这些“水桶”的？如果存储桶是空的(所有的MapStates和ValueStates都是空的)，Flink是否关闭密钥空间的那个区域并删除桶？这两个事件都存储在状态中。
鲍勃，电脑11
浏览 1提问于2020-04-29得票数 1
回答已采纳
1回答
是否可以通过apache Flink和process在S3源存储桶中读取事件，并将其发送回其他S3存储桶？有没有专门的连接器，或者我必须使用Apache Flink中提到的可用的读取/保存示例？在这种情况下检查点是如何发生的，flink是自动跟踪它从S3源存储桶中读取的内容，还是需要构建自定义代码。在S3源码的情况下，flink也保证只处理一次吗？
浏览 24提问于2020-06-28得票数 2
1回答
我正在尝试使用Flink以流的热情从消息队列中使用一个有限制的数据。{"id":-2,"name":"End"}
浏览 0提问于2021-11-03得票数 0
回答已采纳
1回答
Flink表与蜂巢目录存储
、、、、
我看到了Flink使用目录查询Hive的可能性。所以我看到了两种处理这个问题的方法：
使用表-Api，我将从kafka主题创建一个表，并将它与Hive目录连接起来。我最大的担忧是与存储有关。在这两种情况下，哪些存储在内存中，哪些不是？Hive目录
浏览 5提问于2021-02-22得票数 1
从文件中，当使用熔丝GCS时，只有堆预定义的存储桶到指定的路径。
如果我有许多存储桶，展示如何挂载所有存储桶作为根目录可以访问或创建任何存储桶作为目录？
浏览 0提问于2018-06-12得票数 0
我在运行flink作业时遇到了问题，flink作业基本上是对mysql数据库运行查询，然后尝试创建一个必须从不同作业访问的临时视图。resultStream = tableEnv.toDataStream(resultTable);
env.execute();
浏览 36提问于2022-02-14得票数 0
回答已采纳
我知道S3存储桶实际上没有目录，因为存储空间是平面的。但是可以用python/boto3 3创建程序目录，但我不知道如何创建。我在纪录片里看到了这个：
“虽然S3存储是扁平的:桶包含键，但S3允许在桶中使用分隔符将目录树结构强加给桶。例如，如果您将键命名为‘a/b/f’，并使用‘/’作为分
浏览 7提问于2015-12-10得票数 22
回答已采纳
1回答
我们正在测试Flink的本地恢复选项，以实现大键控状态的快速恢复。我们取消了当前正在运行的作业，然后从上一个检查点重新启动它，我们发现之前的状态仍保留在文件系统中。我们不希望本地任务的磁盘使用量无限增加。
浏览 0提问于2018-12-18得票数 0
它在我的本地测试目录上工作，扫描并自动打开.gz文件内容。但是，当我使用s3桶源运行它时，它不会处理.gz压缩文件。不过，这个Flink作业仍然会在.log桶上打开s3文件。如何在s3文件系统上解决这个问题？库：
/opt/flink/lib/flink-csv-1.13.2.jar:/opt/flink/lib/flink-json-1
浏览 6提问于2021-12-21得票数 1
回答已采纳
我有一个远程运行的Flink作业管理器，并且正在使用来安排作业。
Flink启用保存点，以便我可以中断正在运行的作业，并从保存的状态恢复它。保存点数据的持久化位置应该在作业管理器的外部(例如，这样我就可以重新配置和重新启动作业管理器并恢复作业)，比如HDFS卷或S3存储桶。不会将my-awesome-job-savepoints解析为远程持久性位置的子目录(即使设置了state.savepoints.dir配置键)，而是尝试创建REST service my-aweso
浏览 23提问于2017-08-23得票数 1
回答已采纳
我正在启动一个新的Flink应用程序，以允许我的公司执行大量的报告。我们有一个现有的遗留系统，所需的大部分数据都保存在Server数据库中。在开始使用新部署的Kafka流的更多数据之前，我们首先需要使用这些数据库中的数据。
我花了很多时间阅读Flink书籍和网页，但我有一些简单的问题和假设，我希望你能帮助我，这样我才能进步。现在我正在尝试针对我们的生产数据库编写代码，我需要能够使用SQL查询在“流”中读取数据--似乎没有JDBC源连接器，所以我认为必须自己调用JDBC，然后可能使用env
浏览 1提问于2021-08-10得票数 2
回答已采纳
1回答
我正在尝试检查点/保存点，我的flink状态在EMR上运行到AWS上的s3桶。请注意：
实例(主节点和核心节点)具有正确设置的IAM角色，以访问s3桶和它中的所有目录/文件(AmazonS3FullAccess策略附加到角色，不会覆盖它)。I可以从从节点和主节点成功地使用aws s3 cp xxx s3://flink-bc/checkpoints将文件复制到存储点/检查点的aws s3 cp xxx s3:&
浏览 2提问于2019-10-08得票数 0
我有几个动态目录，例如：example.com/random我希望这些目录中的每一个都能在屏蔽s3的同时解析到不同的URL存储桶(我希望看到上面的s3，而不是URL存储桶)。我可以创建一个主存储桶并在其上托管example.com，然后在该s3存储桶上创建路由规则以重
浏览 1提问于2021-10-04得票数 0
我得到的错误信息是$ cd flink-0.9.0
$ .Diagnostics: File file:/home/hadoop/.flink/application_1439466798234_0008/flink-conf.yaml does not existjava.io.FileNotFoundException: File file:/home/hadoop&#
浏览 4提问于2015-08-13得票数 8
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
