谷歌BigQuery是否有计划实现本地JSON支持?
我正在考虑将蜂窝数据(~20T)迁移到Google BigQuery,但是hive中的表定义包含在BigQuery中不支持的映射类型。
例如,下面的HiveQL:
select gid, payload['src'] from data_repository;尽管如此,它可以通过使用正则表达式来处理。
发布于 2012-10-18 14:12:51
从2012年10月1日起,BigQuery为导入和导出支持换行符分隔的JSON。
博文:http://googledevelopers.blogspot.com/2012/10/got-big-json-bigquery-expands-data.html
关于数据格式的文档:https://developers.google.com/bigquery/docs/import#dataformats
发布于 2012-05-11 15:47:42
最好的方法是在导入之前强制您的所有类型进入csv,如果您有复杂的字段,则通过查询中的正则表达式(如您所建议的)对它们进行分解。
尽管如此,我们正在积极研究对新输入格式的支持,并对哪些格式最有用的反馈感兴趣。底层查询引擎(德莱尔)中支持类似于单元映射类型的类型,但是BigQuery目前并没有公开接收嵌套记录的机制。
https://stackoverflow.com/questions/10548856
复制相似问题