1回答
我正在编写一个在HDFS上运行的Spark应用程序，输出是一个RDD，我必须将其保存到RocksDB。但我不知道如何让RocksDB与HDFS和Spark一起工作。请给我一些关于如何在HDFS上设置RocksDB并将其与Spark集成的说明 我们已经访问了网站https://github.com/facebook/rocksdb/tree/master/hdfs，但是我们找不到<em
浏览 76提问于2019-10-07得票数 0
我们希望使用带有RocksDB后端(HDFS)的Apache Flink来进行有状态流处理。但是，我们的应用程序状态(键控状态)将是of级的。据我所知，当我们从保存点恢复作业时，所有操作员状态数据都将从HDFS上的保存点位置发送到每个任务管理器。如果状态是to级的，那么如果所有这些状态都需要传输，那么每次部署都将导致非常长的停机时间。我想知道，在RocksDB的情况下，是否可以配置延迟加载，其中键控状态在需要时从HDFS中检索，然后缓存到本地磁盘上。 谢谢!
浏览 29提问于2020-04-23得票数 0
env = StreamExecutionEnvironment.getExecutionEnvironment()
env.setStateBackend(new FsStateBackend("hdfs我的意思是，当一个检查点完成时，检查点数据将保存在HDFS(chk-XXX)或RocksDB中，但是当flink作业继续运行时，taskManager将积累越来越多的属于该任务管理器的状态，它们总是保存在内存中吗是否可以在TaskManager进程中使用RocksDB来保存TM的状态数据？谢谢!
浏览 18提问于2020-09-07得票数 0
回答已采纳
我正在探索使用Flink rocksDb状态后端，文档似乎意味着我可以使用常规的文件系统，比如：file:///data/flink/checkpoints，但是代码javadoc在这里只提到了hdfs我想知道是否可以使用本地文件系统与flink rocksdb后端，谢谢！Flink代码：
浏览 3提问于2019-10-29得票数 3
回答已采纳
2回答
我们的设置： state.backend: rocksdbstate.backend.rocksdb.memory.managed: true#https://github.com/facebook/rocksdb/wiki/Memory-usage-in-R
浏览 170提问于2020-10-16得票数 1
RocksDBStateBackend中使用flink 1.11，代码如下所示：stateBackend.setDbStoragePath(config.getString("/tmp/rocksdb/"));
env.setStateBackend(stateBacke
浏览 0提问于2021-02-24得票数 0
回答已采纳
1回答
我想我会尝试用于检查点的rocksdb (通过hdfs)，但是吞吐量明显低于fs状态后端。尽管如此，有时这种状态无法在内存中使用，我正试图找出如何使rocksdb状态后端执行“更好”。
是因为不推荐的折叠功能吗？我是否需要微调一些在文档中不易搜索的参数？有小费吗？
浏览 1提问于2018-11-11得票数 3
我需要找到或开发一个模块，它可以支持:1.支持快速数据事务2.将所有状态异步备份到远程源(HDFS、GFS) 3.清除连续数据(如小于时间戳的数据)4.从远程源恢复 C++，just需要顺序读取。MQ和RocksDB基本上可以满足我的需求，但是MQ只支持java，RocksDB的随机查找对我没有用(可能会影响性能)，同时，我不知道如何将备份目录更改为远程可靠的源。
浏览 24提问于2020-09-25得票数 0
org.apache.flink.runtime.state.heap.HeapKeyedStateBackendBuilder.build(HeapKeyedStateBackendBuilder.java:114)state.savepoints.dir: hdfs:/
浏览 19提问于2020-10-27得票数 0
回答已采纳
2回答
我希望将flink store存储在HDFS中，以便在崩溃后可以从HDFS恢复flink状态。我计划每隔60秒将状态写入HDFS。我如何才能做到这一点？这是我需要遵循的配置吗？
浏览 129提问于2021-11-01得票数 0
回答已采纳
1回答
我们正在尝试使用RocksDB后端设置一个有状态的Flink作业。我们使用会话窗口，间隔30分钟。我们使用aggregateFunction，所以不使用任何闪烁状态变量。以下是设置： state.backend: rocksdbstate.backend.rocksdb.memory.managed: true
浏览 58提问于2020-10-13得票数 3
回答已采纳
1回答
基本上是its : KafkaSource.keyBy(keyId).SlidingWindow(stream，幻灯片).reduce.sink那么，什么是检查点永远运行作业的最好方法呢？
它将拥有数以百万计的独特keyId。
浏览 6提问于2022-11-07得票数 0
我正尝试在rocksdb的源代码中直接使用gRPC secondary我正在将它直接添加到rocksdb的源代码中。
为了解决gRPC依赖关系，我使用grpc提供的CMakeLists示例将依赖关系添加到rocksdb的CMakeLists.txt文件中。我在Ubuntu18.04中安装了gRPC和protobuf，这是我添加到rocksdb的CMakeLists中的内容。与grpc、prot
浏览 227提问于2021-02-19得票数 0
1回答
Kafka流窗口聚合几乎正常工作
、、、、
, std::allocator<rocksdb::ColumnFamilyOptions> > const&, std::string const&, rocksdb::Env*, rocksdb::, rocksdb::DB**)+0x16c8
C [librocksdbjni6827723631295059350.so+0x316937] rocksdb::DB::Open(rocksdb:] std::_Function_handler&l
浏览 9提问于2019-04-11得票数 1
这是源代码，没有什么特别之处： rocksdb::Options options;
options.compression = rocksdb:(rocksdb::InternalStats*，int，bool，bool，0x000000007e86fb rocksdb::VersionEditHandler::LoadTables(rocksdbrocksdb：：VersionEditHandler：：Chec
浏览 19提问于2022-11-20得票数 0
回答已采纳
我在RocksDB接口中找到了一个ingestExternalFile()。但是当我尝试将sst文件从一个RocksDB摄取到另一个RocksDB时，它给了我一个令人震惊的异常： at org.rocksdb.RocksDB.ingestExternalFile(Native Meth
浏览 32提问于2018-02-24得票数 1
1回答
Exception in thread "main" java.lang.ExceptionInInitializerErro at org.rocksdb.RocksDB.<clinit>(RocksDB.java:35)
at org.rocksdb.Options.java.lang
浏览 2903提问于2018-08-15
云服务器
ICP备案
即时通信 IM
云直播
实时音视频
腾讯云开发者
