因此，基本上，我有一个python So作业，它读取一些简单的json文件，然后尝试将它们写成由一个字段分区的orc文件。分区不是很平衡，因为有些键非常大，而另一些键非常小。我的记忆出现了问题：向执行程序添加内存似乎没有任何效
浏览 1提问于2016-11-16得票数 0
回答已采纳
在用HDFS上所有可能的分区加载表之后--多个ORC文件，即HDFS上的每个分区目录都有一个ORC文件。我需要将每个分区下的所有这些ORC文件组合成一个大的ORC文件，用于一些用例。有人能建议我将这些多个ORC文件(属于每个分区)合并成一个大的ORC文件吗？
我尝试过从分区表中创建一个新的非分区ORC表。它确实减少了文件的数量，但没有减少到一个文件。
浏览 0提问于2017-12-29得票数 1
在SO和网络上的大多数问题/答案都讨论使用Hive将一组小的ORC文件合并成一个更大的文件，然而，我的ORC文件是白天分开的日志文件，我需要将它们分开。我只想每天“卷”ORC文件(这是HDFS中的目录)。解决这个问题的最佳办法是什么？
浏览 2提问于2018-04-26得票数 9
回答已采纳
2回答
我试图合并多个小兽人文件。遇到了ALTER串联命令，但这只适用于托管表。EXTERNAL TRUE numRows 27051810SerDe Library: org.apache.hadoop.hive.ql.io.orc.OrcSerde
浏览 2提问于2017-12-13得票数 2
3回答
我通常对gz文件进行cat并解压缩以查看其内容，例如: cat part-0000.gz | pigz -d | more注: pigz是一个并行的gz程序。
我想知道orc文件有没有类似的东西。
浏览 2提问于2013-12-31得票数 20
回答已采纳
我有n(large)数量的小尺寸的orc文件，我想合并成k(small)数量的大的orc文件。
这是使用配置单元中的alter table table_name concatenate命令完成的。
浏览 36提问于2017-01-24得票数 3
1回答
我们使用Spark来扁平化点击流数据，然后将其以ORC+zlib格式写入S3，我尝试过在Spark中更改许多设置，但最终创建的ORC文件的条带大小仍然非常小(<2MB)之前，每个文件的大小为20MB，我现在使用coalesce创建大小为250-300MB的文件，但每个文件仍有200个条带，即每个条带小于2MB
通过将hive.exec.orc.default.stripe.size那么，有没有关于如何增加创建的ORC文件的条带大小的想法？因为小条带的问题是，当
浏览 22提问于2018-01-14得票数 1
------------
from DB.order O LEFT JOIN DB.orderCompleted OrCON O.id = OrC.order_id
from DB.order O
浏览 0提问于2017-10-26得票数 0
完成工作后，我通常使用以下代码进行保存dataFrame.write.format("orc").save("/path/in/hdfs") //storing as ORC file as of Spark 1.4
Spark job在最终输出目录中创建了大量的小零件文件。最后，我想使用这些par
浏览 4提问于2015-07-06得票数 2
回答已采纳
我创建了另一个表(存储为ORC)，并复制了前一个表中的数据。当我检查ORC表中的数据大小时，它超过了2MB。
ORC是一种压缩文件格式，那么数据大小不应该更小吗？
浏览 2提问于2016-11-25得票数 0
我有一个orc对象，以及一个需要跟踪它可以看到的orc的radar对象。我使用一个列表跟踪orc，但是当我试图从列表中提取一个orc (或相关数据)时，我会得到一个属性错误。确切的错误是：这是雷达课
classdef addOrc(self, orc<
浏览 8提问于2015-04-20得票数 0
回答已采纳
如何使用这种"presto-orc“文件格式？我通常使用hive将数据写入ORC/RCFile/Parquet。
浏览 0提问于2015-11-16得票数 0
我正在使用一个巨大的历史文件(800 GB)和一个小的增量文件(3 GB)进行一些计算。在使用hqlContext & dataframe的spark中，计算发生得非常快，但当我试图将计算结果写为orc格式的hive table时，这将包含近200亿条记录，数据大小几乎为800 GB，这花费了太多时间[ UPDATED_RECORDS.write.format("orc").saveAsTable("HIST_ORC_TARGET") ]
那么我就面临着上面的问题。(&quo
浏览 3提问于2016-06-27得票数 1
2回答
我看到了这个链接，但我从这个链接得到的是，对于ORC文件，合并发生在一个条级。
如有任何帮助，请提前表示感谢。
浏览 0提问于2018-09-04得票数 2
2回答
我已经将一个文件加载到我的hive表中，它是ORC文件格式。Exception in thread "main" org.apache.hadoop.hive.ql.io.FileFormatException: Malformed ORC file /appsat org.apache.hadoop.hive.ql.io.orc.ReaderImpl.ensureOrcFooter(ReaderImpl.java:248)
at org.apache.hadoop.hive.ql.io.<em
浏览 5提问于2015-10-13得票数 0
回答已采纳
jdk 1.8 scala 2.12.11 spark 3.0.1当我在scala spark中读取配置单元表并写入导出orc文件时它运行成功
当我想从python pyspark中的句号导出orc文件中读取orc文件时，它正在成功运行。dfs = spark.read.orc("/Use
浏览 29提问于2021-02-19得票数 1
1回答
首先，我要说我不是一个程序员。然而，不知何故，我一直忙于编写XSLT验证模板。我正在尽我所能，用我所知不多的东西，从网上搜索到的东西。然而，我被一个使用'for-each‘结构的逻辑卡住了。> Required; only one ORC Segment per OrderGroup allowed <xsl:variable name=&
浏览 3提问于2014-01-31得票数 0
我正在发布一个简单的c++ Apache文件读取程序，其中：
根据给定的字符串过滤数据。#include <orc/Reader.hh> #include <orc/ColumnPrinter.hh> #include <orc/Exceptions.hh> #include <orc/OrcFile.hh；orc::ReaderOptions m_Rea
浏览 13提问于2021-12-29得票数 1
回答已采纳
1回答
我刚刚从服务器"hdfs dfs /user/hive/warehouse/"from“下载了一些文件，下载的文件夹文件没有扩展名(我以为它是一个拼板文件)，当我使用命令” *“检查它时，它显示了000000_0 :data，我使用的是val rddFromFile = spark.sparkContext.textFile("path")，它显示了每一行没有分隔或用"?”在每个字段之间--
浏览 5提问于2020-12-24得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
