1回答
我正在编写一个在HDFS上运行的Spark应用程序，输出是一个RDD，我必须将其保存到RocksDB。但我不知道如何让RocksDB与HDFS和Spark一起工作。请给我一些关于如何在HDFS上设置RocksDB并将其与Spark集成的说明 我们已经访问了网站https://github.com/facebook/rocksdb/tree/master/hd
浏览 76提问于2019-10-07得票数 0
我们希望使用带有RocksDB后端(HDFS)的Apache Flink来进行有状态流处理。但是，我们的应用程序状态(键控状态)将是of级的。据我所知，当我们从保存点恢复作业时，所有操作员状态数据都将从HDFS上的保存点位置发送到每个任务管理器。如果状态是to级的，那么如果所有这些状态都需要传输，那么每次部署都将导致非常长的停机时间。我想知道，在RocksDB的情况下，是否可以配置延迟加载，其中键控状态在需要时从HDFS中检索，然后缓存到本地磁盘上。 谢谢!
浏览 29提问于2020-04-23得票数 0
env = StreamExecutionEnvironment.getExecutionEnvironment()
env.setStateBackend(new FsStateBackend("hdfs我的意思是，当一个检查点完成时，检查点数据将保存在HDFS(chk-XXX)或RocksDB中，但是当flink作业继续运行时，taskManager将积累越来越多的属于该任务管理器的状态，它们总是保存在内存中吗是否可以在TaskManager进程中使用RocksDB来保存TM的状态数据？谢谢
浏览 18提问于2020-09-07得票数 0
回答已采纳
我正在探索使用Flink rocksDb状态后端，文档似乎意味着我可以使用常规的文件系统，比如：file:///data/flink/checkpoints，但是代码javadoc在这里只提到了hdfs我想知道是否可以使用本地文件系统与flink rocksdb后端，谢谢！Flink代码：
浏览 3提问于2019-10-29得票数 3
回答已采纳
2回答
我希望将flink store存储在HDFS中，以便在崩溃后可以从HDFS恢复flink状态。我计划每隔60秒将状态写入HDFS。我如何才能做到这一点？这是我需要遵循的配置吗？
浏览 129提问于2021-11-01得票数 0
回答已采纳
2回答
会话窗口将需要累积会话的所有事件，并使用ProcessWindowFunction处理它们。 我们使用Flink 1.9，128个容器，总共20G内存来运行我们的作业，截止率是0.3。当会话窗口开始触发process函数时，网络缓冲区使用率开始变得非常高，然后我们开始得到Kafka输入滞后。我们的设置： state.backend: rocksdbstate.backend
浏览 170提问于2020-10-16得票数 1
我在RocksDBStateBackend中使用flink 1.11，代码如下所示：stateBackend.setDbStoragePath(config.getString("/tmp/rocksdb/"));
env.setStateBackend
浏览 0提问于2021-02-24得票数 0
回答已采纳
我需要找到或开发一个模块，它可以支持:1.支持快速数据事务2.将所有状态异步备份到远程源(HDFS、GFS) 3.清除连续数据(如小于时间戳的数据)4.从远程源恢复 C++，just需要顺序读取。MQ和RocksDB基本上可以满足我的需求，但是MQ只支持java，RocksDB的随机查找对我没有用(可能会影响性能)，同时，我不知道如何将备份目录更改为远程可靠的源。
浏览 24提问于2020-09-25得票数 0
state.checkpoints.dir: hdfs:///.../checkpointsstate.backend.incremental: truestate.backend.rocksdb.localdir/rocksdb
浏览 19提问于2020-10-27得票数 0
回答已采纳
1回答
我们正在尝试使用RocksDB后端设置一个有状态的Flink作业。我们使用会话窗口，间隔30分钟。我们使用aggregateFunction，所以不使用任何闪烁状态变量。我们总共使用了10G内存和Flink 1.9,128个容器。以下是设置： state.backend: rocksdbstate.bac
浏览 58提问于2020-10-13得票数 3
回答已采纳
1回答
我有一个flink作业(scala)，它基本上是从kafka主题(1.0)读取数据(1分钟的事件时间滚动窗口，使用折叠函数，我知道这个函数不推荐，但比聚合函数更容易实现)，并将结果写入两个不同的kafka问题是--当我使用FS状态后端时，一切都运行顺利，检查点需要1-2秒，平均状态大小为200 mb --也就是说，直到州大小增加(例如，缩小差距)。我想我会尝试用于检查点的rocksdb (通过hdfs)，但是吞吐量明显低于fs状态后端。据我所知，在使用fs状态后端时，flink不需要对每个状态访问进行se
浏览 1提问于2018-11-11得票数 3
1回答
我正在尝试编译一个使用rocksdb的程序。现在，我正在编译的文件在A文件夹中。db.h但是在A/rocksdb-master/include/rocksdb/中。因此，我将这一行添加到我的文件中：它会找到这个文件，但问题是在db.h中，我有下面这行代码：
浏览 2提问于2015-09-01得票数 0
我使用的是RocksDB，它需要一个指向指针的指针才能打开： rocksdb::DB* db{nullptr};
const rocksdb::Status status = rocksdb::DB::Open(options, path, &db); 不出所料，我想使用unique_ptr。, fileFullPath, &(db.get())); 我得到了： error: lvalue required as unary ‘&’ operand 如果我
浏览 32提问于2021-09-27得票数 0
回答已采纳
1回答
基本上是its : KafkaSource.keyBy(keyId).SlidingWindow(stream，幻灯片).reduce.sink那么，什么是检查点永远运行作业的最好方法呢？
它将拥有数以百万计的独特keyId。
浏览 6提问于2022-11-07得票数 0
我正尝试在rocksdb的源代码中直接使用gRPC secondary我正在将它直接添加到rocksdb的源代码中。add_library(${ROCKSDB_STATIC_LIB} S
浏览 227提问于2021-02-19得票数 0
当state.backend.rocksdb.memory.managed设置为true时，每个任务槽中的每个rockdb都使用4GB内存。我的一些任务不需要rocksdb后端，所以我想通过设置state.backend.rocksdb.memory.fixed-per-slot: 6000m将这4GB增加到6GB。正如您所看到的，当没有设置state.backend.rocksdb.memory.fixed-per-slot和state.backend.rocksdb.memory.m
浏览 20提问于2022-11-15得票数 0
回答已采纳
2回答
我试着在R包里使用rocksdb。我使用了以下src/MakevarsPKG_LIBS = rocksdb/librocksdb.a -lbz2 -lz -lzstd -llz4 -lsnappy
rocksdb/librocks
浏览 2提问于2019-09-29得票数 2
回答已采纳
然后重新使用map对象(在工具的另一次运行中)，作为已经编译和填充的映射。1.这真的是最具表现力的解决方案吗？和我读过几篇关于序列化和存储对象的文章，但我不完全确定它们是否与我所需要的相同。
浏览 0提问于2019-07-04得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
