我正在尝试以ORC格式存储Avro对象。
org.apache.hadoop.hive.serde2.avro.AvroLazyObjectInspector将Avro类型识别为无效原语，ORC编写器不支持该类型。
输入如下：
foo:uniontype<void,array<string>>
引起：
java.lang.IllegalArgumentException: Bad primitive category VOID
在ORC中允许空列吗？
浏览 6提问于2014-11-20得票数 1
1回答
我可以轻松地在Apache或Hortonworks的HDP中创建ORC文件格式：
CREATE TABLE ... STORED AS ORC
然而，在Cloudera的CDH4.5中，这是行不通的。(惊喜！)我得到：
失败:存储为子句中的SemanticException不可识别的文件格式: ORC
因此，作为另一种选择，我尝试下载并安装包含ORC类的Hive jar：
hive> add jar /opt/cloudera/parcels/CDH-4.5.0-1.cdh4.5.0.p0.30/lib/hive/lib/hive-exec-0.11.0.jar;
然后创建我的兽
浏览 2提问于2014-01-25得票数 1
回答已采纳
1回答
在星火中创建的数据之上创建蜂巢表
、、、、
我在星火下创建了ORC格式的数据如下：
var select: String = "SELECT ..."
sqlContext.sql(select).write.format("orc").save("/tmp/out/20160101")
select = "SELECT ..."
sqlContext.sql(select).write.format("orc").save("/tmp/out/20160102")
& so on...
现在，我正试图在Hive中创建一个外部表，如下
浏览 5提问于2016-12-08得票数 0
回答已采纳
ORC文字识别API, 请求参数的header需要设置Host, 但是Refused to set unsafe header "Host"。怎么处理？Host是保留字段无法设置。
浏览 786提问于2018-08-22
2回答
我的应用程序AndroidManifest.xml
<activity
android:name="com.test.orc.IdentifyIdcards"
android:screenOrientation="landscape" >
<intent-filter>
<action android:name="com_test_orc_IdentifyIdcards" />
<categor
浏览 7提问于2016-11-17得票数 1
回答已采纳
汽车证件照图片，使用ORC接口识别，准确率很低，但是把图片放到你们平台的测试上面，准确率很高，也就是说我调用你们接口，识别不出来，但是我把图片放到你们网站中识别，一下子就识别出来了，是不是因为免费版本的问题？假如后期我付费了，准确率会提高吗？
浏览 242提问于2020-09-25
我正在努力建立公司的新数据湖，并试图找到最好的和最近的选择在这里工作。因此，我找到了一个非常好的解决方案，可以使用EMR + S3 + Athena + Glue。
我所做的过程是：
1-运行Apache脚本，生成按日期划分的3000万行，存储在S3上。
2-运行雅典娜查询以创建外部表。
3-在EMR上检查了与Glue Data Catalog连接的表，它工作得很好。火花和蜂巢都能进入。
4-在按日期划分的其他文件夹中再生成3000万行。以Orc格式
运行Glue Crawler来识别新表。添加到数据目录中，雅典娜能够执行查询。但星火和蜂巢无法做到。见下文例外情况：
星火 Caused by:
浏览 6提问于2017-08-18得票数 15
回答已采纳
2回答
我正在尝试将两行结果合并为一行。以下是我的研究结果：
| OwnerTaxRate | OwnerTaxAmount | OwnerTaxTotal | LoanTaxRate | LoanTaxAmount | LoanTaxTotal
| 8.4% | 71.40 | 921.4 | NULL | NULL | NULL
| NULL | NULL | NULL | 8.4% | 10.08 | 130.08
下面
浏览 5提问于2014-09-17得票数 1
回答已采纳
1回答
我有3个数据文件存储在ORC中，由DATE分区。
/orc/orc_FLORIDA_2019-04-29/alloc_FLORIDA_2019-04-29/DATE=2019-04-29/myfile.snappy.orc
/orc/orc_FLORIDA_2019-04-29/avails_FLORIDA_2019-04-29/DATE=2019-04-29/myfile.snappy.orc
/orc/orc_FLORIDA_2019-04-29/orders_FLORIDA_2019-04-29/DATE=2019-04-29/myfile.snappy.orc
我提取了一周的数据，
浏览 1提问于2020-05-15得票数 1
回答已采纳
1回答
在单个加载中加载多个分区文件
、、、、
我试图在一次加载中加载多个文件。当我尝试使用一个文件时，它们都是分区文件，但是当我列出24个文件时，它给了我这个错误，并且我无法找到任何限制文档和在加载后执行联合的解决办法。还有别的选择吗？
下面的代码可以重新创建问题：
basepath = '/file/'
paths = ['/file/df201601.orc', '/file/df201602.orc', '/file/df201603.orc',
'/file/df201604.orc', '/file/df201605.
浏览 1提问于2018-01-19得票数 2
我们最近将FindBugs添加到构建和测试过程中，但在使用@SuppressWarning注释时，我们在构建过程中遇到了问题。
更有趣的是，这些代码将在我们的三台开发人员笔记本上编译，而不是在我们的构建系统上编译，尽管代码是相同的，使用中的Java编译器也是一样的(1.5.0_22 - 32位)。
问题是:我们有一个项目，HCSBeans，它取决于另一个项目，CommonLibrary。CommonLibrary只使用@SuppressWarning一次，而HCSBeans则不使用。CommonLibrary构建在我们的笔记本电脑和构建系统上，但是HCSBeans并不构建在构建系统上。此时，我
浏览 3提问于2013-01-15得票数 1
回答已采纳
2回答
我正在使用mac osX。我从git repo下载了llvm，现在我正在尝试构建示例(第6章)。我安装了/usr/local/bin/llvm-config：当运行：which llvm-config时，我得到了llvm 运行时 clang++ -g toy.cpp `llvm-config --cxxflags --ldflags --system-libs --libs core mcjit native` -O3 -o toy 根据以下建议：http://llvm.org/docs/tutorial/LangImpl06.html 我得到了： Undefined symbols for
浏览 57提问于2019-05-03得票数 2
回答已采纳
1回答
阿帕奇的新手。我曾尝试在我的HP-UX Apache2.2Web服务器上实现多个SSL CA证书，但每当我尝试使用辅助CA证书访问我的站点时，站点都无法识别它。
例如，我有DoD根证书和ORC根证书，我需要它们才能访问我的站点。我尝试通过连接证书(首先是DoD证书，然后是ORC根证书)来使用SSLCACertificateFile指令，而站点只识别DoD证书--这两次都是如此。我尝试使用SSLCACertificatePath指令，使散列文件链接的扩展名是连续的，并且只看到DoD证书。更重要的是，我尝试只在SSLCACertificateFile指令中使用ones，而DoD证书是唯一可见的。
浏览 15提问于2016-07-19得票数 1
我正在重新启动电话，我希望收到一条日志信息。我已经在BroadcastReceiver中注册了Androidmanifest，但是没有收到任何消息。我遗漏了什么？
androidmanifest:
<uses-permission android:name="android.permission.RECEIVE_BOOT_COMPLETED" />
<uses-permission android:name="android.permission.WAKE_LOCK" />
<!-- Receives an event
浏览 7提问于2022-02-19得票数 2
2回答
我在使用万花筒JIT chapter tutorial时遇到一些问题。 我用：(就像教程页面建议的那样) clang++ -g toy.cpp `llvm-config --cxxflags --ldflags --system-libs --libs core mcjit native` -rdynamic -O3 -o toy /tmp/toy-ce525d.o: In function `llvm::orc::LegacyIRCompileLayer<llvm::orc::LegacyRTDyldObjectLinkingLayer, llvm::orc::SimpleCompi
浏览 64提问于2020-01-02得票数 5
回答已采纳
2回答
占团体总数的百分比
、、、
我试图添加一个新的列，它将计算每种包类型的百分比总数。
下面的代码将产生以下结果。
因此，我想在新的专栏中显示出在这一特定的一周中，占到的总数的百分比。
代码：
SET DATEFIRST 1
SELECT
DATEPART (wk, t0.U_ORC_BE_ProdDate) AS [Week Produced],
--Display week number of date produced
(
CASE
WHEN t5.U_ORC_BE_NAME LIKE '%Cans%'
THEN 'Cans'
WHEN
浏览 4提问于2016-07-06得票数 3
回答已采纳
2回答
我正试图使用Pyarrow将一个Pandas DataFrame保存为.orc文件。包的版本是：pandas==1.3.5和pyarrow==6.0.1。我的python3版本是3.9.12。
下面是代码片段：
import pandas as pd
import pyarrow as pa
import pyarrow.orc as orc
df = pd.read_orc('sample.orc')
table = pa.Table.from_pandas(df, preserve_index=False)
orc.write_table(table, 'samp
浏览 36提问于2022-04-20得票数 0
hive> create table orc_table (name string,img_loc string) stored as orc tblproperties("orc.compress"="none");
FAILED: Error in semantic analysis: Unrecognized file format in STORED AS clause: orc
hive> create table orc_table (name string,img_loc string) stored as orcfile tbl
浏览 0提问于2016-09-28得票数 1
我试图在蜂巢中执行一个查询并得到错误。我一遍又一遍地检查，但没有发现任何问题。
CREATE view sta_v_clean_phrase_longtext (system, `function`, loglockmod, extinfo
, primarykey, foreignkey, flgprimkey, flgfrgnkey, ref_recn, text_line, copied,
inserted )
AS
SELECT system,
`function`,
loglockmod,
extinfo,
浏览 0提问于2019-07-07得票数 0
我正在尝试弄清楚如何访问和显示在我的AppDelegate中创建的NSMutable数组中的对象的信息。
来自我的AppDelegate.h
@property (readonly, retain) NSMutableArray *myRaces;
@end
AppDelegate * appDelegate;
来自我的AppDelegate.m
extern AppDelegate * appDelegate;
@synthesize myRaces;
- (BOOL)application:(UIApplication *)application didFinishLaunchingWit
浏览 0提问于2013-04-16得票数 1
回答已采纳
1回答
我在HDFS中有多个Orc文件，目录结构如下： orc/
├─ data1/
│ ├─ 00.orc
│ ├─ 11.orc
├─ data2/
│ ├─ 22.orc
│ ├─ 33.orc 我正在使用Spark阅读这些文件： spark.sqlContext.read.format("orc").load("/orc/data*/") 问题是其中一个文件已损坏，因此我想跳过/忽略该文件。 我看到的唯一方法是获取所有的Orc文件，并在将其传递给Spark之前逐个验证(通过读取它们)。但是这样我将读取相同的文件两次。 有什么方法可以避免我重复读取这些文
浏览 45提问于2021-06-18得票数 1
回答已采纳
我使用的是Spark 2.2.1，它有一个有用的选项，可以指定我想要在文件的每个分区中保存多少条记录；该功能允许在写入文件之前避免重新分区。但是，该选项似乎只适用于FileWriter接口，而不适用于DataFrameWriter接口:在这种情况下，该选项被忽略
df.write.mode("overwrite")
.option("maxRecordsPerFile", 10000)
.insertInto(hive_table)
当它以这种方式工作时
df.write.option("maxRecordsPerFile", 10000)
浏览 1提问于2018-06-06得票数 1
我有一个查询需要20秒才能执行，下面是我的查询：
SELECT MATLIGA.COD_MAT_FAMILIA
FROM
ORCAMENTOS.dbo.OR_1INSUMOS INSUMOS
INNER JOIN ORCAMENTOS.dbo.OR_MAT_GRUPOS GRUPOS ON (GRUPOS.EMPRESA='01' AND GRUPOS.FILIAL='01' AND GRUPOS.CODIGO_INTERNO = 'HOT' )
INNER JOIN ORCAMENTOS.dbo.OR_MATERIA
浏览 0提问于2012-12-06得票数 8
回答已采纳
我正在尝试在switch指令中使用字符串。我的想法是使用字符串的地址作为字符串的值(ConstantInt*)传递给switch指令，如果两个地址相等，则switch case应该匹配。
但当我在IR代码(由我的程序生成)下运行时，出现错误：
source_filename = "input/step/step1.ts"
target datalayout = "e-m:o-p270:32:32-p271:32:32-p272:64:64-i64:64-f80:128-n8:16:32:64-S128"
target triple = "x86_64-a
浏览 3提问于2020-08-14得票数 0
实际上，我不明白如何在相机预览中实现矩形。一切运行正常，但我不知道如何将矩形边框设置为这样的链接。请任何人帮帮我。谢谢。
package com.example.redsignal.eventbizz;
public class CameraActivity extends AppCompatActivity {
public static final String FRAGMENT_TAG = "camera";
private static final int REQUEST_CAMERA_PERMISSIONS = 931;
private static final i
浏览 2提问于2017-07-17得票数 2
回答已采纳
任何人，都知道如何从带有分区的Hive托管表中查询ORC分区表插入。我没有这样做。即使在为HIVE表插入新分区之后，我也无法使用SELECT和WHERE…查询它。好了！
以下是我的查询详细信息：
>DROP TABLE IF EXISTS mydb.loan_orc;
>CREATE TABLE mydb.loan_orc
(<NON PARTITION COLUMNS DEFINITION>)
PARTITIONED BY(<PARTITION COLUMNS DEFINITION>)
ROW FORMAT DELIMITED
FIELDS TERMINA
浏览 3提问于2015-06-26得票数 0
我有一个orc对象，以及一个需要跟踪它可以看到的orc的radar对象。我使用一个列表跟踪orc，但是当我试图从列表中提取一个orc (或相关数据)时，我会得到一个属性错误。
确切的错误是：
AttributeError: type object 'orc' has no attribute 'name'
这是雷达课
from source.orc import orc
class radar(object):
"""
radar Class
"""
def __init__(se
浏览 8提问于2015-04-20得票数 0
回答已采纳
2回答
如何读取ORC文件列数据
、、、
我已经下载了ORC c++ API并在我的Ubuntu上构建了它。现在我正在尝试批量读取它的列数据。在这个中，提到了orc::ColumnVectorBatch可以是特定列数据类型的dynamic_cast，比如：orc::Decimal64VectorBatch。但是它并没有将空指针作为动态转换结果。下面是我的代码：
// Orc Reader.
#include <memory>
#include <iostream>
#include <vector>
#include <list>
#include <fstream>
#
浏览 8提问于2020-06-12得票数 0
回答已采纳
1回答
我的查询如下：
SELECT JOB_NUMBER AS 'Key' FROM table FOR XML PATH(''), Type
它返回：
<Key>ORC0023</Key><Key>ORC0045</Key>
我想做的是像这样返回它：
<ORC0023></ORC0023><ORC0045></ORC0045>
我该怎么做呢？
浏览 3提问于2016-05-09得票数 1
2回答
我已经创建了一个表格employee_orc，它是具有快速压缩的orc格式。
create table employee_orc(emp_id string, name string)
row format delimited fields terminated by '\t' stored as orc tblproperties("orc.compress"="SNAPPY");
我已经使用insert语句将数据上载到表中。
employee_orc table has 1000 records.
当我运行下面的查询时，它显示了所有
浏览 1提问于2020-02-14得票数 0
2回答
我有一门课，它有很多方法。大多数方法都采用参数(总是同名)--我需要将参数的类型更改为其他类型，但也希望接受参数的“旧”版本(并raise a DeprecationWarning)。
编辑：我们可以假设参数总是作为关键字参数传递。
什么是最干的方式来做这件事？
我脑海中浮现的第一个解决办法是：
def check_orc(orc):
if isinstance(Snaga, orc):
orc = convert_to_urukhai(orc)
raise DeprecationWarning("You should not be sendin
浏览 2提问于2012-08-08得票数 1
回答已采纳
我正在尝试在Spark(2.3)中生成一个数据集，并将其编写为ORC文件格式。我正在尝试为ORC条带大小和压缩大小设置一些属性。我从那里得到了一些提示，所以发了帖子。但是spark没有遵守这些属性，并且我在生成的ORC文件中的条带大小比我设置的要小得多。
val conf: SparkConf = new SparkConf().setAppName("App")
.set("spark.sql.orc.impl", "native")
.set("spark.sql.hive.convertMetastoreOrc",
浏览 24提问于2018-08-29得票数 1
我不会发现错误的。通过删除重复项，我需要根据每个项目的最低日期更新一个表。
FOR temprow IN
SELECT MIN(orcitem_dtime_inclusao), orcitem_orc_id FROM orcamento_itens GROUP BY orcitem_orc_id ORDER BY orcitem_orc_id ASC
LOOP
UPDATE orcamentos SET orc_dtime_orcamento = temprow.orcitem_dtime_inclusao WHERE orc_id = temprow.orcitem_orc_id;
浏览 1提问于2021-05-29得票数 1
回答已采纳
我正在发布一个简单的c++ Apache文件读取程序，其中：
从ORC文件中读取数据。
根据给定的字符串过滤数据。
示例代码：#include #include // Orc特定的标头。#include <orc/Reader.hh> #include <orc/ColumnPrinter.hh> #include <orc/Exceptions.hh> #include <orc/OrcFile.hh> int main(int argc，char const *argv[]) { std::chrono::steady_clo
浏览 13提问于2021-12-29得票数 1
回答已采纳
jdk 1.8 scala 2.12.11 spark 3.0.1当我在scala spark中读取配置单元表并写入导出orc文件时
df.write.option("compression", "none").mode(SaveMode.Overwrite).orc(dump_path)
它运行成功
当我想从python pyspark中的句号导出orc文件中读取orc文件时，它正在成功运行。
dfs = spark.read.orc("/Users/muller/Documents/gitcode/personEtl/knowledge_source
浏览 29提问于2021-02-19得票数 1
1回答
无法在星火中配置ORC属性
、、、、
我正在使用Spark1.6(Cloudera5.8.2)并尝试下面的方法来配置ORC属性。但它不会影响输出。
下面是我尝试过的代码片段。
DataFrame dataframe =
hiveContext.createDataFrame(rowData, schema);
dataframe.write().format("orc").options(new HashMap(){
{
put("orc.compress","SNAPPY");
浏览 0提问于2017-01-20得票数 3
回答已采纳
1回答
在/mypath/orc/ path下面有几个用于不同日期的子文件夹：
/mypath/orc/mydate=20170817/part1.orc
/mypath/orc/mydate=20170817/part2.orc
/mypath/orc/mydate=20170820/part1.orc
/mypath/orc/mydate=20170820/part2.orc
/mypath/orc/mydate=20170821/part1.orc
/mypath/orc/mydate=20170821/part2.orc
我想要的输出与此类似(文件的实际名称并不重要)：
/mypath/par
浏览 0提问于2018-04-05得票数 0
回答已采纳
6回答
拼花对兽人和兽人之间的关系
、、、、
我正在对Hive中可用的存储格式进行一些测试，并使用Parquet和ORC作为主要选项。我包括ORC，一次是默认压缩，一次是Snappy。
我读过许多文档，说明Parquet在时间/空间复杂度上比ORC更好，但我的测试与我所读过的文档相反。
下面是我的数据的一些细节。
Table A- Text File Format- 2.5GB
Table B - ORC - 652MB
Table C - ORC with Snappy - 802MB
Table D - Parquet - 1.9 GB
就我的桌子的压缩而言，地板是最糟糕的。
我对上表的测试得到了以下结果。
行计数操作
Text
浏览 14提问于2015-09-03得票数 93
我正在尝试为XSLT验证模板编写逻辑，以便在各种条件下检查重复循环的XML消息。
消息的结构是
<VXU_V04.ORDER> One or more may be present, not a required group; I’m calling this “OrderGroup”
<ORC> Required; only one ORC Segment per OrderGroup allowed
<ORC.3> Required; only one ORC.3 field per ORC Segment allowed
<EI.1>, &
浏览 1提问于2014-02-03得票数 0
我正在我的macOS Catalina 10.15.6 (使用Apple clang版本12.0.0 (clang-1200.0.32.2))上编译Apache ORC，这里有一些错误。我能问一下是什么原因造成的吗？
(base) karlkatzen@chloes build % make package testout
[ 6%] Built target protobuf_ep
[ 11%] Built target lz4_ep
[ 17%] Built target libhdfspp_ep
[ 23%] Built target googletest_ep
[ 28%] Buil
浏览 55提问于2020-09-21得票数 0
我需要将表结果保存到S3上的orc中，我就是这样做的：
tEnv.createTemporaryTable("my_output_table", TableDescriptor.forConnector("filesystem")
.schema(outputSchema)
.option("path", s3OutputPath)
.format(FormatDescriptor.forFormat("orc").build())
浏览 15提问于2022-10-17得票数 0
回答已采纳
我编写了一段简单的代码来演示和理解类-但是，当我运行这段代码时，我的列表显示它们是空的，包含"None“值，而不是用户输入的字符串作为名称。
#Static methods do not require the object to be initiated. Can be remotely accessed from outside the function .
#Counting critters and remote access.
class Orc (object):
total = 0
def get_score (self):
浏览 1提问于2011-06-01得票数 0
回答已采纳
1回答
我有一个用例，我把数据从Mongodb推送到orc文件中的hdfs，该文件每隔1天运行一次，并附加HDFS中现有的orc文件中的数据。
现在我担心的是，如果在写入orc文件时，作业以某种方式失败或停止。考虑到一些数据已经写入orc文件，我应该如何处理这种情况。我想避免在orc文件中出现重复。
用于写入orc文件格式的代码片段
val df = sparkSession
.read
.mongo(ReadConfig(Map("database" -> "dbname", "collection"
浏览 24提问于2020-02-04得票数 0
回答已采纳
我们从ORC文件中读取数据，并使用MultipleOutputs将其写回ORC和Parquet格式。我们的工作只有Map，没有reducer。在某些情况下，我们会遇到以下错误，导致整个作业失败。我认为这两个错误都是相关的，但不确定为什么不是每个工作都会出现这些错误。如果需要更多信息，请让我知道。 Error: java.lang.RuntimeException: Overflow of newLength. smallBuffer.length=1073741824, nextElemLength=300947
Error: java.lang.ArrayIndexOutOfBounds
浏览 185提问于2019-03-20得票数 2
1回答
我的代码依赖于orc-core-1.5.5，我需要它在Spark-2.3.3环境下运行。但Spark-2.3.3只有orc-core-1.4.4。
出于某种原因，我的案子不允许“--罐子”。所以我尝试使用Maven Shade插件将orc 1.5.5添加到我的最后一个jar中。但是当我将这个jar提交给Spark-2.3.3时，它仍然是java.lang.NoSuchMethodError: org.apache.orc.OrcFile$ReaderOptions.getUseUTCTimestamp()Z (它只存在于1.5.5版本中)。我的应用程序似乎没有在我的jar中使用orc 1.5.
浏览 0提问于2019-08-21得票数 1
回答已采纳
我试图在有多个HL7段的地方读取ORC消息。terser.get()方法只获取第一个ORC段的值。尝试从/ORDER(2)/ORC-X-X读取时，该方法不返回任何值。
Terser mesg = new Terser(next);
System.out.println(mesg.get("/ORDER(2)/ORC-2-1"));
该方法将返回mesg.get("/ORDER/ORC-2-1")的值。我希望它也能返回到"/ORDER(2)/ORC-2-1"。
完整的路径：
浏览 1提问于2019-05-14得票数 1
回答已采纳
首先，我创建了一个名为“ProDF”的dataframe。然后，我需要将proDf保存为“orc”格式表，我使用了以下代码：
import org.apache.spark.sql.SaveMode
proDF.write.mode(SaveMode.Overwrite).format("orc").saveAsTable("product_orc_table")
然而，Spark返回了一个失败：
inode="/apps/hive/warehouse/product_orc_table":uma_kanagarajan:hdfs:drwxr-
浏览 0提问于2019-03-27得票数 1
回答已采纳
1回答
首先，我要说我不是一个程序员。然而，不知何故，我一直忙于编写XSLT验证模板。我正在尽我所能，用我所知不多的东西，从网上搜索到的东西。然而，我被一个使用'for-each‘结构的逻辑卡住了。无论如何，如果你好心回答，请说慢一点，并使用小词！
我正在尝试编写一个XSLT验证规则来分析XML消息。我想要验证的消息部分的基本结构是
<VXU_V04.ORDER> One or more may be present, not a required group; I’m calling this “OrderGroup”
<ORC> Required; only one
浏览 3提问于2014-01-31得票数 0
从我搜索到的内容来看，我发现了使用Hive创建ORC表的方法，但是我想要一个ORC文件，我可以在这个文件上运行我的自定义映射--减少作业。
另外，请告诉我，由Hive为我的ORC表创建的仓库目录下的文件是ORC的表文件，而不是我可以使用的实际ORC文件？喜欢：/user/hive/warehouse/tbl_orc/000000_0
浏览 4提问于2016-02-14得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
