我正在尝试将一些表从Postgres到Hive进行sqoop，并在sqooping时将它们转换为ORC。
I使用了以下命令.
sqoop导入--hcatalog home /usr/hdp/current/hive-webhcat -连接jdbc:postgresql://-用户名用户-密码pwd - table --hcatalog数据库默认-hcatalog hcatalog -m -stanza“存储为orcfile”-创建-hcatalog-表-m 1
我得到了以下错误：
ERROR tool.ImportTool:导入失败: org.apache.hive.hcatalog.c
浏览 6提问于2021-10-14得票数 0
1回答
我是Maven的新手，对于我一直遇到的问题，我希望能得到一些帮助。由于一个依赖URL的非法参数异常，我无法编译我的一个项目。这是我的pom：
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="https://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0
浏览 2提问于2014-05-14得票数 0
我正在尝试从Pig脚本加载数据。数据存储在HBase中，我可以在HCatalog中映射和创建表。但是当我试图从Pig访问HCatalog表时，我得到了异常，因为
Caused by: java.lang.ClassCastException: org.apache.hadoop.hive.hbase.HBaseStorageHandler cannot be cast to org.apache.hcatalog.mapreduce.HCatStorageHandler
at org.apache.hcatalog.common.HCatUtil.getStorageHandler(H
浏览 0提问于2014-03-05得票数 0
1回答
data = load 'tablename'using org.apache.hive.hcatalog.pig.HCatLoader();
//Did some etl;
Store finalresult into 'tablename' USING org.apache.hive.hcatalog.pig.HCatStorer();
我能够通过org.apache.hive.hcatalog.pig.HCatLoader()从hive加载数据，但无法存储。
例外：
错误1115: org.apache.hive.hcatalog.common.HC
浏览 1提问于2016-08-16得票数 0
我可以使用sqoop命令从sql server拉取表：
Sql数据库: MyDB sql表: dbo.TestTable
sqoop import
-connect 'jdbc:sqlserver://xx.xxx.xxx.xxx;database=MyDB'
--username Cread -P
--table TestTable
--hcatalog-database default
--hcatalog-table testTable_hive
--create-hcatalog-table
浏览 18提问于2017-03-07得票数 0
回答已采纳
我试图从我的本地机器上的storm-hive项目运行HiveTopology，但连接到运行在Linux服务器上的远程hive。我已经遵循了创建ORC格式的表格的说明，并且所有的设置都是按照进行的
我得到了以下错误
com.google.common.util.concurrent.UncheckedExecutionException: java.lang.RuntimeException: Unable to instantiate org.apache.hive.hcatalog.common.HiveClientCache$CacheableHiveMetaStoreClient
浏览 0提问于2015-10-10得票数 1
我刚刚安装了一个运行在ubuntu上的单节点Hadoop2.2.0集群。我尝试了几个基本的例子计算，它工作得很好。
然后，我尝试设置单元0.12.0，其中包括hcatalog。
我实际上是跟踪这个的。
当我尝试启动hcatalog时，总是会出现以下错误：
bash $HIVE_HOME/hcatalog/sbin/hcat_server.sh启动
dirname:缺少操作数，请尝试“dirname帮助”以获得更多信息。启动亚稳态服务器init，测试是否初始化正确.
/usr/local/hive/hcatalog/sbin/hcat_server.sh:第91行: /usr/local/hi
浏览 6提问于2014-01-20得票数 0
在运行某些作业时，我得到了以下异常：
java.io.FileNotFoundException: File file:/usr/lib/hive-hcatalog/share/hcatalog/hive-hcatalog-core-*.jar does not exist
at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:511)
at org.apache.hadoop.fs.RawLocalFileSystem.getFile
浏览 2提问于2014-08-05得票数 0
1回答
我正在尝试在hadoop1上安装oozie。
编译时：
[INFO] Reactor Summary:
[INFO]
[INFO] Apache Oozie Main ................................. SUCCESS [0.372s]
[INFO] Apache Oozie Client ............................... SUCCESS [1.530s]
[INFO] Apache Oozie Hadoop 1.1.1.oozie-4.0.1 ............. SUCCESS [0.052s]
[INFO] Apache
浏览 1提问于2015-09-23得票数 1
1回答
我希望生成一个SQOOP命令，该命令由一些变量(如CUSTOM_PARAMS )附加。我已经在一个文件中定义了变量:比如hi.cfg
这个变量有一些单引号，比如'orc‘。
cat hi.cfg CUSTOM_PARAMS=“--从blah..blah中查询select *，其中\$条件--由blah拆分--创建-hcatalog-外部表--hcatalog-存储为'orc‘--压缩--压缩--编解码器'snappy’-字段--由‘-m’5结束--目标-dir /any/dir”
当我在命令提示符上源文件并执行回显时，它给出了在那里所写的内容，这看起来是正确的。
浏览 0提问于2016-11-13得票数 4
回答已采纳
我正在尝试使用spark sql (scala)从Hive表中读取数据，它抛出的错误如下
ERROR hive.log: error in initSerDe: java.lang.ClassNotFoundException Class org.apache.hive.hcatalog.data.JsonSerDe not found
java.lang.ClassNotFoundException: Class org.apache.hive.hcatalog.data.JsonSerDe not found
at org.apache.hadoop.conf.Config
浏览 29提问于2019-06-11得票数 2
我正在学习“猪和蜂巢”。我偶然发现了HCatalog的一个概念。我尝试在pig中使用HCatalog加载表，并且我成功了。现在，我想使用HCatstorer。如果配置单元中已经存在表，那么可以使用HCatalog在现有表中插入新数据吗？
浏览 6提问于2016-01-25得票数 0
1回答
我在网上看到了一些关于蜂巢是否使用HCatalog访问转移库的相互矛盾的帖子，我希望有人能帮我解决这个问题？
配置单元是否使用实际的HCatalog应用编程接口来访问元数据，或者它是否有自己的机制来检索元数据，并且HCatalog是否仅由非配置单元工具使用来访问元数据？
浏览 3提问于2015-08-18得票数 1
Hadoop版本-1.2.1
Maven版本- 3.0.5
蜂巢版本- 0.14.0
猪版- 0.14.0
当我开始用下面的命令构建oozie时
./mkdisro.sh -DskipTests
我得到了以下错误
[INFO] Apache Oozie Share Lib Sqoop ...................... SKIPPED
[INFO] Apache Oozie Share Lib Streaming .................. SKIPPED
[INFO] Apache Oozie Share Lib Distcp .....................
浏览 11提问于2015-08-09得票数 0
回答已采纳
3回答
我试图从以下链接执行这个hcatalog示例：
当我运行作业时，我会得到以下异常。
Exception in thread "main" com.google.common.util.concurrent.ExecutionError: java.lang.NoClassDefFoundError: org/antlr/runtime/RecognitionException
at com.google.common.cache.LocalCache$Segment.get(LocalCache.java:2232)
at com.google.common
浏览 1提问于2014-10-29得票数 1
1回答
我想比较两个安全目录(.cat)文件的每个标签的散列。
我使用CryptCATEnumerateMember函数获取所有标记，并尝试使用CryptCATEnumerateAttr获取散列，但这没有起作用。
IntPtr pMemberPtr = CatalogFunctions.CryptCATEnumerateMember(hCatalog, IntPtr.Zero);
while (pMemberPtr != IntPtr.Zero)
{
CRYPTCATMEMBER cdf = (CR
浏览 0提问于2019-06-12得票数 1
回答已采纳
2回答
即使尝试了几个小时，我们也没有找到解决方案..现在我们得到了一个新的错误..
我们使用以下命令运行配置单元作业
sudo -u hdfs hive --service jar \
giraph-hcatalog-0.2-SNAPSHOT-jar-with-dependencies.jar \
org.apache.giraph.io.hcatalog.HiveGiraphRunner \
-vertexClass org.apache.giraph.vertex.MutableVertex \
-vertexInputFormatClass org.apache
浏览 0提问于2013-01-19得票数 0
回答已采纳
使用Ambari 2.4.0.1的HDP-2.5.0.0
我可以从Server源db在HCatalog中创建一个表，例如：
sqoop import --null-string '\\N' --null-non-string '\\N' --hive-delims-replacement '\0D' --hcatalog-home /usr/hdp/current/hive-webhcat --hcatalog-database MS_Management_Coaching --hcatalog-table TripAggregate --cre
浏览 2提问于2016-10-13得票数 0
回答已采纳
我试图在Hadoop3.3.0的windows 10中安装sqoop1.4.7，
在GIT上使用./configure-sqoop，我得到以下操作/p：
警告: C:\sqoop_data\sqoop-1.4.7.bin__hadoop-2.6.0/../hbase不存在！HBase导入将失败。请将$HBASE_HOME设置为HBase安装的根目录。警告: C:\sqoop_data\sqoop-1.4.7.bin__hadoop-2.6.0/../hcatalog不存在！HCatalog的工作将失败。请将$HCAT_HOME设置为HCatalog安装的根目录。警告: C:\sqoop_dat
浏览 1提问于2020-09-06得票数 0
我尝试从分区的Hive表加载文件。
LKR_BU = LOAD 'baseName.tableName' USING org.apache.hive.hcatalog.pig.HCatLoader();
运行后，我得到以下错误：
2016-07-04 15:01:58,743 [uber-SubtaskRunner] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 2245: Cannot get schema from loadFunc org.apache.hive.hcatalog.pig.HCatLoader
关于信息，我
浏览 1提问于2016-07-04得票数 0
我想使用HDP2.2发行版，但计划只对我的ETL作业使用Pig+MR。希望使用HCatalog记录架构，但希望避免设置配置单元。我需要它才能拥有HCatalog吗？
浏览 5提问于2015-01-31得票数 0
如何连接到HCatalog，利用Spark / Spark / Java将数据存储在蜂巢转移中
我们需要为此使用HiveContext()吗？我如何配置Hcatalog？
浏览 4提问于2015-08-22得票数 3
回答已采纳
我正试图在Kylin上构建一个立方体，并将Spark作为引擎类型。该集群包含以下工具：
操作系统图像: 1.0-debian9 9
Apache Spark 2.4.4 (从1.6.2改为1.6.2)
Apache Hadoop 2.7.4
Apache Hive 1.2.1
在构建多维数据集时，我会得到这个错误：
java.lang.NoSuchMethodError: org.apache.hive.common.util.ShutdownHookManager.addShutdownHook(Ljava/lang/Runnable;)V
at org.apache.hive.hc
浏览 6提问于2019-12-17得票数 2
回答已采纳
1回答
我正在尝试使用scala从一个独立的scala罐子中进行蜂箱蒸。下面的代码片段
val hiveConfig = new HiveConf
hiveConfig.addResource(new Path("file://<path to core site>"))
val hiveEP = new HiveEndPoint(hiveConfig.getVar(ConfVars.METASTOREURIS),
<database_name>, <table_name>, new java.util.ArrayList[String])
val
浏览 4提问于2017-04-28得票数 1
我想运行Hcatalog，为此我触发了以下查询: mohnish@mohnish:/usr/lib/hive/hcatalog/sbin$ ./hcat_server.sh开始我发现以下错误: Hadoop not found。
你能帮我找出问题出在哪里吗？
浏览 3提问于2014-08-11得票数 0
请解释一下，HCatalog和HBase之间的关系是什么？
我发现了这些定义：
Apache HCatalog HCatalog是一个元数据抽象层，用于引用数据，而不使用底层文件名或格式。它将用户和脚本与物理存储数据的方式和地点隔离开来。
Apache HBase HBase (Hadoop DataBase)是一个分布式、面向列的数据库。HBase使用HDFS作为底层存储。它支持使用MapReduce和点查询(随机读取)的批处理样式计算。
我们在Hive中使用creates，它在HCatalog中创建表。我只是不明白。为什么不在真实的数据库中，也就是HBase？
HCatalog似乎是一种用
浏览 4提问于2013-11-15得票数 7
回答已采纳
有人能告诉我，HCatalog在使用之前需要安装吗？或者可以作为jar文件使用？
我在VM上运行了Cloudera，我可以使用HCatalog作为我的job，Pig，Hive，没有问题。我还以为相同的MR代码会在另一个hadoop安装的平台上工作，但显然不是这样，而是抛出在HCatInputFormat.setInput()上的异常。当我使用Pig -useHCatalog时，提示我的用法是错误的，这意味着它不知道什么是-useHCatalog参数。
以前没有想过在Cloudera上使用HCatalog .
浏览 3提问于2013-11-04得票数 1
回答已采纳
我正在尝试使用配置单元，并使用'use db‘命令切换数据库。我的设置是Hadoop 2.4.0和Hive 0.13.1。我将以下3个属性添加到一个.settings文件中
set hive.exec.failure.hooks=org.apache.hadoop.hive.ql.hooks.ATSHook;
set hive.exec.post.hooks=org.apache.hadoop.hive.ql.hooks.ATSHook;
set hive.exec.pre.hooks=org.apache.hadoop.hive.ql.hooks.ATSHook;
然后我打开hive
浏览 1提问于2014-06-20得票数 0
1回答
我已经使用下面的DDL在Hive中创建了ORC分桶表：
create table Employee( EmpID STRING , EmpName STRING)
clustered by (EmpID) into 10 buckets
stored as orc
TBLPROPERTIES('transactional'='true');
然后运行Sqoop Import：
sqoop import --verbose \
--connect 'RDBMS_JDBC_URL' \
--driver JDBC_DRIVER \
--tabl
浏览 46提问于2017-12-22得票数 0
回答已采纳
1回答
字符串级联不适用于猪
、、、
我在hcatalog中有一个表，它有3个字符串列。当我试图连接字符串时，会得到以下错误：
A = LOAD 'default.temp_table_tower' USING org.apache.hcatalog.pig.HCatLoader() ;
B = LOAD 'default.cdr_data' USING org.apache.hcatalog.pig.HCatLoader();
c = FOREACH A GENERATE CONCAT(mcc,'-',mnc) as newCid;
无法解决使用imports：、java.lan
浏览 3提问于2014-10-10得票数 3
我需要在Pig中加载特定分区(日期)的数据。此数据是在Hive中创建的，并按日期进行了分区。所以我想通过HCatalog在Pig中加载数据。
HCatalog文档指出，要在Pig中加载某个分区，首先加载整个数据集，然后对其进行筛选，即：
a = load 'web_logs' using org.apache.hcatalog.pig.HCatLoader();
b = filter a by datestamp > '20110924';
--但我担心这会首先把的整个数据装入包a中，然后只在b中过滤它。我是否正确？
在Hive中，这是工作的(没有HCa
浏览 0提问于2014-05-06得票数 1
回答已采纳
如何不使用Spark SQL从Spark Job连接到HCatalog。
我们使用的是Cloudera发行版的Spark，因为他们目前还不支持Spark SQL。
有没有其他方法可以让我们从Spark Job连接到o HCatalog？
浏览 3提问于2015-08-19得票数 1
1回答
我在程序中使用maven依赖项hive-hcatalog-core。
这个jar存在于带有接口的项目maven依赖项中(如图像顶部)。
接口ICacheableMetaStoreClient虽然提供了类，但无法从导入org.apache.hive.hcatalog.common中解析。(图像-bottom)
因此，在进行火花提交时，我得到了例外：
com.google.common.util.concurrent.UncheckedExecutionException: java.lang.IllegalArgumentException:在类加载器中看不到接口org.apache
浏览 3提问于2017-06-07得票数 0
我尝试通过json数据(使用spark.sql)在pyspark数据帧中查询hive表，但出现了以下错误 ERROR log: error in initSerDe: java.lang.ClassNotFoundException Class org.apache.hive.hcatalog.data.JsonSerDe not foundjava.lang.ClassNotFoundException: Class org.apache.hive.hcatalog.data.JsonSerDe not found
浏览 28提问于2020-07-16得票数 0
我正在使用Hortonworks (HDP)沙箱，并在此基础上安装HAWQ 2.0
我正在尝试使用hcatalog选择配置单元表，但无法从HAWQ访问配置单元表。执行pivotal文档中提到的以下步骤。
postgres=# SET pxf_service_address TO "localhost:51200";
SET
postgres=# select count(*) from hcatalog.default.sample_07;
ERROR: remote component error (500) from 'localhost:51200'
浏览 1提问于2016-06-23得票数 1
1回答
我目前正在使用在CentOS 6.5上配置Cloudera开发映像，安装基本组件，然后根据需要添加不同的组件。目前，我正在使用上面链接的教程中的HCatalog安装/测试。
我已经成功地安装了这个包，现在正在用下面的脚本测试与Pig的HCatalog集成：
A = LOAD 'groups' USING org.apache.hcatalog.pig.HCatLoader();
DESCRIBE A;
在运行该命令之前，我已经在Hive中创建和填充了一个“组”表。当我使用命令pig -useHCatalog test.pig运行脚本时，我会得到一个异常，而不是预期的输出。下面
浏览 2提问于2014-03-10得票数 0
回答已采纳
我从Hortonworks升级到了最近的Hadoop：
Hadoop 2.4.0.2.1.2.1-471
Subversion git@github.com:hortonworks/hadoop.git -r 9e5db004df1a751e93aa89b42956c5325f3a4482
Compiled by jenkins on 2014-05-27T18:57Z
Compiled with protoc 2.5.0
From source with checksum 9e788148daa5dd7934eb468e57e037b5
This command was run using
浏览 2提问于2014-06-19得票数 1
2回答
我想知道有谁知道一个很好的教程安装HCatalog在蜂巢顶部，这样我就可以加载数据通过蜂窝，查询通过Impala，也运行一些脚本使用猪？
我想知道从Cloudera下载虚拟机是否是最好的选择，但我还没有看到很多教程(配置步骤很清楚)来让HCatalog在Hive上运行！
提前感谢:)
浏览 3提问于2013-08-29得票数 0
我正在HortonWorks虚拟机中运行一个Pig脚本，目的是提取XML的某些部分，并将这些部分加载到HCatalog表中的列中。在我的本地机器上，我在XML文件上运行我的Pig脚本，并得到一个包含所有提取部分的输出文件。但是，由于某种原因，当我在HortonWorks VM中运行相同的脚本时，脚本似乎成功运行，但HCatalog表仍然是空的。
这是我的本地脚本：
REGISTER piggybank.jar
items = LOAD 'data1.xml' USING org.apache.pig.piggybank.storage.XMLLoader('row&
浏览 2提问于2014-03-25得票数 0
回答已采纳
我试图将hive表的最后一列(在hive中是STRING类型)更改为Postgres类型的date，下面的命令是：
sqoop export
--connect jdbc:postgresql://192.168.11.1:5432/test
--username test
--password test_password
--table posgres_table
--hcatalog-database hive_db
--hcatalog-table hive_table
我试过使用，但Postgres中的列仍然是空的：
-地图-列-单元batch_date=date
浏览 3提问于2017-01-18得票数 0
1回答
我在Azure上有HDInsight集群，在hdfs (Azure存储)中有.csv文件。
使用apache，我希望处理这些文件，并将输出存储在一个单元表中。为此，我编写了以下脚本：
A = LOAD '/test/input/t12007.csv' USING PigStorage(',') AS (year:chararray,ArrTime:chararray,DeptTime:chararray);
describe A;
dump A;
store A into 'testdb.tbl3' using org.apache.hive.h
浏览 2提问于2017-05-02得票数 1
我正在使用HCatalogue流api编写一个示例程序。
我有一个正在运行的hadoop、Hiveserver和一个Hivemetastore服务器。
我编写了一个java程序来连接到metastore.The，源代码如下所示
public class HCatalogueStreamingclient {
public static void main(String[] args) {
System.setProperty("hadoop.home.dir", "E:\\midhun\\hadoop\\hive\\winutils");
浏览 6提问于2016-10-27得票数 2
回答已采纳
在下面的Pig脚本中，这两个表是依次读取还是并行读取？
a = LOAD 'sampledb1.tb1' USING org.apache.hcatalog.pig.HCatLoader();
a_filter = FILTER a BY cpd_dt == '20150602';
b = LOAD 'sampledb2.tb2' USING org.apache.hcatalog.pig.HCatLoader();
b_filter = FILTER b BY cpd_dt == '20150602';
/* do some
浏览 3提问于2015-12-05得票数 0
3回答
我使用的是HCatalog版本0.4。我在配置单元'abc‘中有一个表，它有一个数据类型为'timestamp’的列。当我尝试像这样运行一个pig脚本时，"raw_data = load 'abc‘using org.apache.hcatalog.pig.HCatLoader();“我得到一个错误消息"java.lang.TypeNotPresentException:类型时间戳不存在”。
浏览 0提问于2014-02-20得票数 6
1回答
我已经编写了简单的猪脚本来读取蜂巢表中的数据。
A = LOAD 'default.movie' USING org.apache.hive.hcatalog.pig.HCatLoader();
DUMP A;
它是工作的时候，我运行的色调猪用户界面。但它使用的是标志useHCatalog。
当我使用命令行运行时，使用的标志是相同的。
pig -useHCatalog sample.pig
但是，如果没有此标志，我如何通过在pig脚本中提供所需的jar文件和配置来运行。我试过这个。但不管用
REGISTER /usr/lib/hive/lib/*.jar
REGIST
浏览 1提问于2015-12-15得票数 2
我在ambari HDP 2.5.0上安装了色调3.10
完全配置hue.ini
我的问题是var sqoop同步数据从mysql到hive，它抛出一个异常：
[main] ERROR org.apache.sqoop.hive.HiveConfig – Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.
[main] ERROR org.apache.sqoop.hive.HiveConfig – Could not load org.
浏览 1提问于2016-10-31得票数 1
我需要使用Sqoop创建具有三个分区(年份/月/日)的hive表。我在sqoop中检查了--hive-partition-key和--hive-partition-value。使用这些参数，我创建了分区、和--hive-partition-key year --hive-partition-value '2016'，我的问题是如何传递分区键和分区值的多个值，以创建类似于年份/月/日的分区。
sqoop import --connect jdbc:postgresql://localhost:7432/test_db \
--driver org.postgresql.Dri
浏览 10提问于2016-08-15得票数 0
回答已采纳
当我们调用Sqoop.runTool从Oracle数据库导入时。一旦Map和Reduce是启动程序，它就无法找到HCATALOG类：
2017-09-18 09:04:47,546 INFO主org.apache.hadoop.service.AbstractService:服务org.apache.hadoop.service.AbstractService在国家一级失败；原因: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.lang.RuntimeException: java.lang.ClassNotFoun
浏览 4提问于2017-09-18得票数 0
2回答
我已经配置了Hortonworks HDP和ambari服务，之后我添加了HAWQ和PXF。通过一些研究，我看到通过HCatalog查询存储在Hive中的数据是可能的，而且由于我已经加载了数据集以进行蜂窝化，这将简化工作，但我正在做一些基准测试，有人能告诉我使用Hcatalog是否会影响HAWQ的性能吗？
浏览 5提问于2017-09-25得票数 0
我创建了sqoop进程，它将数据从MS SQL导入到Hive，但我有一个'char‘类型字段的问题。Sqoop导入代码： sqoop import \
--create-hcatalog-table \
--connect "connection_parameters" \
--username USER \
--driver net.sourceforge.jtds.jdbc.Driver \
--null-string '' \
--null-non-string '' \
-
浏览 28提问于2019-04-05得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
