ParquetWriter或AvroParquetWriter可以单独存储模式吗？
ParquetWriter和AvroParquetWriter是两种用于将数据写入Parquet文件格式的工具类。它们都是用于将数据以列式存储的方式写入Parquet文件，从而提供更高的压缩比和查询性能。
ParquetWriter和AvroParquetWriter都可以单独存储模式。单独存储模式是指将每个列的数据存储在独立的文件中，而不是将所有列的数据存储在同一个文件中。这种存储模式可以提供更好的查询性能，因为查询时只需要读取相关列的数据文件，而不需要读取不相关列的数据。
对于ParquetWriter和AvroParquetWriter，可以通过设置相应的配置参数来指定存储模式。例如，可以使用ParquetWriter的setRowGroupSize方法来设置每个数据文件的大小，从而控制存储模式。默认情况下，ParquetWriter和AvroParquetWriter会使用一种称为"dictionary encoding"的压缩算法来进一步提高存储效率。
ParquetWriter和AvroParquetWriter适用于需要高性能和高压缩比的数据存储场景，特别是在大数据处理和分析领域。它们可以与各种数据处理框架和工具集成，如Hadoop、Spark、Hive等。
腾讯云提供了一系列与Parquet文件格式相关的产品和服务，例如腾讯云对象存储（COS）用于存储Parquet文件，腾讯云数据仓库（CDW）用于分析Parquet文件中的数据。您可以通过访问腾讯云官方网站（https://cloud.tencent.com/）了解更多关于这些产品和服务的详细信息。
相关·内容
您知道吗，ParquetWriter或AvroParquetWriter可以在没有数据的情况下单独存储模式吗？现在，schema被写入到parquet文件中： AvroParquetWriter.Builder builder = AvroParquetWriter.builder(new Path(file.getName()))
.withSchema(payload.g
浏览 13提问于2020-04-21得票数 0
这是我用来生成拼花文件并将它们存储在本地的代码，但现在我想将它们存储在hdfs中。javier/parquet-files/data" + postfijoFilename + ".parquet"; AvroParquetWriterparquetWriter = new AvroParquetWriter(path,
avroSchema, C
浏览 1提问于2018-03-07得票数 2
回答已采纳
(ParquetWriter.java:270) at org.apache.parquet.hadoop.ParquetWriter.(ParquetWriter.java:222) at org.apache.parquet.hadoop.ParquetWriter.(ParquetWriter.java:188) at org.apache.parquet.avro.AvroParquetWriter.(AvroParquetWriter.java:131) at
浏览 0提问于2019-02-17得票数 0
尽管如此，考虑到Parquet是一种柱状格式，它似乎只能在批处理模式下写出整个文件(不支持更新)。我想我可以聚合我的消息(内存中的缓冲区或其他临时存储)，并使用动态文件名以批处理方式写出它们，但我觉得自己缺少了一些东西，比如分区/文件手工命名等等。MyObject object = new MyObject("test");
ParquetWriter</
浏览 3提问于2016-11-23得票数 0
回答已采纳
我想得到一个Spark应用程序的输出(我们只使用核心Spark，在该项目上工作的人不想将其更改为Spark SQL)作为Parquet或Avro文件。我可以在不使用SparkSQL的情况下实现这一点吗？
我的数据是表格，它有列，但在处理过程中，将使用所有数据，而不是单个列。
浏览 3提问于2018-08-17得票数 0
当我试图在AvroParquetWriter中设置RollingSink时，我遇到了一个问题，接收器路径和写入路径似乎有冲突
at org.apache.parquet.hadoop.ParquetWriter.<init>(ParquetWriter.java:92)
at org.apache.parquet.hadoop.ParquetWr
浏览 2提问于2016-12-14得票数 2
2回答
"name": "history", "type": "array", }}]}
我的模式类型
浏览 12提问于2016-07-01得票数 2
回答已采纳
这一问题发生在两个地方：import org.apache.avro.Schemaimport org.apache.parquet.hadoop.metadata.CompressionCodecNameclass AvroWriter[T <: GenericRecord]() extends Writer[T] {
@trans
浏览 9提问于2017-12-27得票数 2
回答已采纳
接收器和写入器可以正常工作，但当写入器将avro genericrecord写入到拼图时，该文件是从正在进行中创建的，等待完成。但是这些文件是0字节的空文件。有人能告诉我代码出了什么问题吗？我尝试将AvroParquetWriter的初始化放在open()方法中，但结果仍然相同。;import org.apache.parquet.hadoop.metadata.CompressionCodecNamecom.any.Data
浏览 6提问于2017-02-17得票数 3
所有的Avro-Parquet转换示例，我可以找到使用AvroParquetWriter与废弃签名(主要是：Path file, Schema schema)和泛型映射。我找不到任何进一步的文档或例子。所以我有几个问题：
1) AvroParquetWriter不支持Avro特定映射吗？还是通过那个SpecificData.get()方法呢？注释“生成Java类和接口的实用程序”。2)在AvroParquetWriter构造函数中发生了什么，有什么示例或文档可以
浏览 3提问于2016-02-10得票数 4
回答已采纳
似乎不使用Apache的唯一方法是将对象转换为Avro文件，然后读取该文件并获取模式，然后您可以从该模式创建一个parquet文件。这告诉我编写代码是错误的(当然，如果它不能创建一个有效的拼板文件，它会抛出一个异常吗？)getSchema(classOf[Program])
val parquetWriter= new AvroParquetWri
浏览 4提问于2017-09-28得票数 1
2回答
有办法从java创建拼花文件吗？
我有内存中的数据(java类)，我想把它写到一个parquet文件中，以便稍后从apache中读取它。
浏览 3提问于2016-09-27得票数 18
回答已采纳
1回答
即使经过了大量的搜索，大多数建议似乎都是使用avro格式和来自parquet的内部AvroConverter来存储对象。直接编写自定义对象还是使用Avro之类的东西作为中间模式定义，哪个更优？
浏览 0提问于2016-02-04得票数 4
<GenericData.Record> writer = AvroParquetWriter at org.apache.parquet.hadoop.ParquetW
浏览 2提问于2019-11-08得票数 0
任何示例代码或示例都会很有帮助。据我所知，无论是蜂巢，猪，火花都被用来将消息转换为拼花。我需要转换到镶木，而不涉及这些只有Java。
浏览 2提问于2016-10-05得票数 19
回答已采纳
2回答
写入拼板错误
、、
我正在尝试读取一个csv文件，并使用预部署的Spark上的SparkRunner，使用本地模式将它写入parquet格式。org.apache.beam.sdk.util.UserCodeException: java.lang.NoSuchMethodError: org.apache.parquet.hadoop.ParquetWriter<init>(AvroParquetWriter.java:162)
at org.apache.parquet.avro.AvroParquetWriter</e
浏览 0提问于2019-08-07得票数 0
回答已采纳
3回答
使用反射将pojo写到拼图文件
、、、、
我能够使用反射生成avro模式，然后使用AvroSchemaConverter创建拼花模式。另外，我无法找到一种将Pojos转换为GenericRecords (avro)的方法，否则我可以使用AvroParquetWriter将Pojos写成块文件。有什么建议吗？
浏览 11提问于2014-10-18得票数 5
回答已采纳
我已经设置了一个包含3列和2行的简单模式： var UserKey = new Parquet.Data.DataColumnSchema(UserKey.Field, AADID.Field, UserLocale.Field当使用FileStream写入本地文件时，将创建一个文件，当代码完成时，我可以在文件中看到两行= new ParquetWriter(schema, fileStream)) {
浏览 3提问于2020-08-07得票数 3
回答已采纳
2回答
blockSize = 256 * 1024 * 1024;writer = new AvroParquetWriter
浏览 25提问于2016-09-22得票数 3
我有一堆模式位于orbeons“WEB\lib”中的JAR文件中的XForms。(我能够使用"oxf:“协议获得单独的模式)。我想知道是否可以在模式中使用"appInfo“来存储给用户的文本(xforms、警报或提示)，而不是将其分解为一个单独的xml文件。(原因是模式的后续版本可能会发生这种文本更改，XSD文档器可以获取这些信息。)
我记得事情很简单。这里有人干这个吗？它对Or
浏览 5提问于2021-11-01得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
