在avro模式中表示spark `StructType`
在avro模式中表示spark `StructType`
提问于 2020-04-06 10:43:01
如何描述avro模式中的spark StructType数据类型？我正在生成一个拼图文件，其格式在avro模式中描述。然后将该文件从S3加载到spark中。存在array和map数据类型，但这些数据类型与StructType不对应。
回答 1
Stack Overflow用户
发布于 2020-04-08 21:15:21
使用org.apache.spark.sql.avro包(Spark2.4)，您可以将sparkSQL模式转换为avro模式，反之亦然。
你不能这样尝试：
import org.apache.spark.sql.avro.SchemaConverters val sqlType = SchemaConverters.toSqlType(avroSchema) var rowRDD = yourGeneircRecordRDD.map(record => genericRecordToRow(record, sqlType)) val df = sqlContext.createDataFrame(rowRDD , sqlType.dataType.asInstanceOf[StructType])
你也可以在这里找到更多的答案：Code
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/61057961
复制相关文章
相似问题
社区富文本编辑器全新改版！诚邀体验～
全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验
腾讯云开发者
