(ObjectOutputStream.java:1136) at java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java(ObjectOutputStream.java:1432) at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1178(ObjectOutputStream.java:1509) a
我们希望通过Flink的BucketingSink或StreamingFileSink将压缩数据写入HDFS。我已经编写了自己的Writer,如果没有失败发生,它工作得很好。但是,当它遇到故障并从检查点重新启动时,它将生成有效长度的文件(hadoop< 2.7)或截断该文件。不幸的是,gzip是二进制文件,文件末尾有尾部。因此,在我的例子中,简单的截断不起作用。有什么想法可以为压缩hdfs接收器启用一次语义吗? 这是我的作者的代码: public class HdfsCompressStringWriter extends StreamWriterBaseV2<JSONObjec
(ObjectOutputStream.java:1184) at java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java(ObjectOutputStream.java:1496) at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java(ObjectOutputStream.java:1548)