我想使用apache drill生成一个具有非常特定模式的parquet文件。我使用CTAS加入了两个表，如下所示： SELECT e1.returneddocids AS returneddocids, e1.pathinfo`/tmp/tier1.parquet` e1 LEFT JOIN dfs.tmp.shadow3 c1 ON TRUE LIMIT 100
);
浏览 24提问于2020-02-06得票数 0
正在寻找一个关于如何在Java或Scala中读取和写入Map<String, Object>文件的简明示例？下面是预期的结构，使用com.fasterxml.jackson.databind.ObjectMapper作为Java语言中的序列化程序(即使用parquet寻找等价物)：
public static
浏览 0提问于2015-06-01得票数 13
3回答
我已经将mysql表导出到一个拼图文件(基于avro)。现在，我想从该文件中读取特定的列。我如何才能完整地阅读特定的列？我正在寻找java代码的例子。有没有api可以让我传递需要的列，然后得到一个二维表的数组？
浏览 2提问于2014-08-16得票数 3
3回答
动机:我想将数据加载到Apache Drill中。我知道Drill可以处理JSON输入，但我想看看它是如何处理拼图数据的。有没有什么方法可以做到这一点，而不是首先将数据加载到Hive等中，然后使用其中一个Parquet连接器生成输出文件？
浏览 0提问于2014-02-11得票数 18
有人能告诉我从synapse专用sql池表中读取数据的最佳方法吗？我的要求是从两个单独的专用池中的表中读取选定的列，应用一些转换，然后写入其中一个专用池中的另一个表。
浏览 17提问于2022-05-18得票数 0
存储桶中的文件格式是这样的。格式为年/月/日/时戳，数据为part-0000文件为json格式。我配置drill并指向我的存储桶名称 "type": "file", "connection": "s3://com.giaosudau.win-bid": {
"type&quo
浏览 7提问于2015-07-30得票数 2
3回答
我有一些使用Apache Spark和Spark-SQL的经验。最近我发现了Apache Drill项目。你能描述一下它们之间最重要的优势/区别是什么吗？我已经读过了，但这个话题对我来说还不清楚。
浏览 0提问于2015-04-22得票数 15
回答已采纳
2回答
坚持星火
、、、、
我是星火世界的新手。如何持久化一个Dataframe，以便我们可以跨组件使用它。我有一个卡夫卡流，我正在通过Rdd.Tried RegisterAsTempTable生成Dataframe，但是在另一个程序中无法访问该表。我希望通过sqlContext访问另一个类中的数据，并使用查询结果进行进一步计算。
浏览 8提问于2016-10-26得票数 4
回答已采纳
10回答
我找不到关于Apache文件的任何简单的英文解释。例如：
如何查看拼花文件？任何有关这些问题的帮助都将不胜感激。
浏览 1提问于2018-06-19得票数 58
回答已采纳
我希望创建一个Apache，以便能够将一个组的所有值聚合到一个值列表中。这应该适用于任何主要类型(必需，可选)和次要类型(varchar、dict、map、int等)。我的实现基于，并为必需的和可选的varchars创建了以下两个类(首先，这是如何统一的？)因此，我必须在代码中为org.apache.drill.exec.vec
浏览 3提问于2020-07-15得票数 0
6回答
我想在我的一个项目中使用地板作为柱状存储。但是我不想依赖hadoop/hdfs库。是否可以在hdfs之外使用地板？或者，最小依赖是什么？
浏览 6提问于2015-03-26得票数 28
回答已采纳
1回答
在将拼图格式的数据从Snowflake卸载到s3之后，我创建了一个具有等效snowflake模式的Hive表，并将s3作为外部位置，但我得到以下错误：看起来Snowflake卸载spark'
STORED AS
浏览 1提问于2020-06-30得票数 0
4回答
我知道我们可以使用Spark和Impala加载拼花文件，但不知道我们是否可以使用Hive完成同样的工作。我读了很多文章，但仍然很困惑。如果我遗漏了一些明显的东西，请给我建议或指出正确的方向。
浏览 2提问于2015-12-16得票数 25
回答已采纳
我已经使用saveAsTable方法在配置单元中保存了一个远程DB表，现在当我尝试使用命令select * from table_name访问配置单元表数据时，它给出了以下错误：thrift.ThriftCLIService (ThriftCLIService.java:FetchResults(681)) -java.io.IOException: parqu
浏览 2提问于2016-06-15得票数 20
我已经在虚拟机中安装了/:4.0.0映像。我感兴趣的是卡夫卡主题，它是hdfs中的纯文本数据(字符串格式)。flush.size=3hadoop.home=/usr/bin/hadoop# connect-standaloneat org.apache.parquet.avro.Av
浏览 1提问于2018-02-13得票数 0
通过Polybase加载Azure数据仓库，我正在阅读Azure Blob上的Parquet文件。
首先，我在SQL中创建了一个外部表来指向Parquet文件，然后用CTAS加载。我怀疑这与如何创建Parquet文件有关，Parquet文件是从、使用df.to_parquet和使用pyarrow创建的。深入分析源代码并进行实验，我发现数据类型数据在Arrow (Parquet之前的
浏览 0提问于2019-04-17得票数 1
我有一个Cloudera集群，在这个集群上，我将大量数据存储在一个作为Parquet存储的Hive表中。该表由整数batch_id进行分区。我插入一批新行的工作流程是首先将行插入到暂存表中，然后插入到大型累积表中。我正在使用一个本地模式的脚本来完成这个任务。我希望Parquet文件大而少。我尝试在运行时设置不同的</em
浏览 2提问于2018-02-27得票数 0
3回答
如何提高大数据性能？
、、、、
我是这个概念的新手，而且还在学习。我在AWS S3中共有10个TB文件，在AWS EC2中有4个实例(m3.xLarge)(1个主程序，3个工作人员)。目前，我正在Apache上使用与python一起使用的星星之火。我使用以下命令读取文件；在zeppelin解释器设置中：
master =我应该做更多的编
浏览 1提问于2016-11-09得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
