解析并加载到Hive/Hadoop中
解析并加载到Hive/Hadoop中是指将非结构化的数据（如文本、日志、XML等）转换为结构化的数据，并将其存储到Hive/Hadoop中，以便进行进一步的分析和处理。
在这个过程中，通常需要进行以下步骤：
- 数据预处理：对原始数据进行清洗、转换和整理，以便进行后续的数据处理。
- 数据解析：将非结构化的数据转换为结构化的数据，通常需要使用一些数据解析工具和库，如Hadoop的MapReduce、Pig、Hive等。
- 数据加载：将解析后的结构化数据存储到Hive/Hadoop中，通常需要使用Hive的CREATE TABLE语句创建一个表，并将数据导入到该表中。
在这个过程中，腾讯云提供了一些相关的产品和服务，可以帮助用户进行数据解析和加载。
- 腾讯云数据工具：提供了一些数据处理工具，如数据同步工具、数据清洗工具等，可以帮助用户进行数据预处理。
- 腾讯云数据分析：提供了一些数据分析工具，如Hadoop、Spark等，可以帮助用户进行数据解析和加载。
- 腾讯云数据仓库：提供了一些数据仓库服务，如Tcaplus、Tdsql等，可以帮助用户进行数据存储和查询。
总之，解析并加载到Hive/Hadoop中是一个复杂的过程，需要使用一些工具和服务来完成。腾讯云提供了一些相关的产品和服务，可以帮助用户进行数据解析和加载，以便进行进一步的数据分析和处理。
相关·内容
1回答
如何将文本文件加载到Hive外部表中？
create table MyDB.TEST (
Col1 String,
Col2 String,
Col3 String,
Col4 String)
STORED AS INPUTFORMAT
'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat';
我已经作为兽人创建了上表。但是，当从表中获取数据时，它显示了下面的错误，异
浏览 2提问于2018-02-22得票数 0
我刚接触hadoop/HIve学习，正在努力解决这个问题，对于分布式hadoop环境，hive和pig需要安装在哪里，是这个边缘节点还是我的hadoop安装的地方
Hadoop安装在不同的服务器上，例如hadoopVM、2个独立的数据节点DN1、DN2和边缘节点，我可以从这些节点向hadoop提交作业，以便将任何文件加载到HDFS
到目前为止，我没有任何问题，我正在尝试安装hive edge node，并得到以下错误
浏览 0提问于2018-05-10得票数 0
2回答
我使用Hadoop1.2，hbase 0.94.8和hive 0.14。我试图使用hive将数据插入到hbase表中。我已经创建了这个表：
CREATE TABLE hbase_table_emp(id int, name string, role string)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:name,cf1:role")
TBLPROP
浏览 7提问于2015-01-26得票数 0
回答已采纳
1回答
我试图将xml格式的数据加载到一个单元表中：-
我的XML文件是这样的-
<?xml version="1.0" encoding="UTF-8"?>
<catalog>
<book>
<id>11</id>
<genre>Computer</genre>
<price>44</price>
</book>
<book>
<id>44</id>
<genre>Fantasy&l
浏览 2提问于2015-04-10得票数 0
回答已采纳
1回答
我嵌套了JSON，当我将json保存到hive外部表时，它的字段以\分隔，那么我就会收到错误。 {"value":"{\"DUUID\": 67, \"GUUID\": 514, \"EOT\": 219.0, \"cc\": 3, \"enghr\": 20.0, \"battvolt\": 0.0, \"EOP\": 120.0, \"ts\": \"2020-12-31T14:22:37\", \"ts1\
浏览 27提问于2020-12-31得票数 1
回答已采纳
我已经编写了一个在现有HDInsight集群中运行良好的配置单元脚本。但是当我在按需集群中通过Azure数据工厂实例化脚本时，我得到了以下错误： Caused by: java.lang.ClassNotFoundException: Class org.apache.hive.hcatalog.data.JsonSerDe not found
at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:2214)
at org.apache.hadoop.hive.ql.plan.PartitionDe
浏览 45提问于2020-05-03得票数 0
回答已采纳
我有十几个web服务器，每个服务器都将数据写入一个日志文件。在每个小时开始时，使用运行以下命令的cron脚本将前一小时的数据加载到单元格中：
hive -e "LOAD DATA LOCAL INPATH 'myfile.log' INTO TABLE my_table PARTITION(dt='2015-08-17-05')"
在某些情况下，命令失败并退出时使用的代码不是0，在这种情况下，我们的脚本等待并再次尝试。问题是，在某些失败的情况下，数据加载不会失败，即使它显示了故障消息。如何确定数据是否已加载？
在加载数据的情况下，例如出现了这样的
浏览 0提问于2015-08-18得票数 1
回答已采纳
1回答
当我尝试使用配置单元逻辑表将数据从HDFS加载到HBase时，我面临以下问题。我是hadoop新手，无法跟踪错误，.I正在使用hadoop VM，
创建由配置单元管理的新HBase表
CREATE TABLE hive_hbasetable(key int, value string)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val")
TBLPROP
浏览 0提问于2015-01-21得票数 0
在使用Sqoop (Oozie中的sqoop命令)将数据加载到MySQL表时，我遇到了一些严重的问题(尝试了196次，都没有成功)。如果HDFS中只有一列数据(这里是foo)，那么就没有问题，但是当有超过1列(例如2列)时，数据不会加载到MySQL。
如果我自己运行Sqoop，那么数据会被加载到MySQL中，但是当我把它放到Oozie中时，数据不会被加载。
workflow.xml有两个部分，第一部分将数据从Hive表加载到HDFS，第二部分将数据从HDFS加载到MySQL。
我正在使用ClouderaVM。
错误消息为：
Caused by: java.lang.NumberFormatEx
浏览 1提问于2014-05-15得票数 1
1回答
我们正在使用Cloudera在Hadoop框架上创建POC。我们希望将多个客户端的数据加载到Hive表中。
到目前为止，我们对Server上的每个客户端都有单独的数据库。对于OLTP来说，这个基础结构将保持不变。Hadoop将用于OLAP。我们有一些主维度表，它们对每个客户端都是相同的。所有客户端数据库都有完全相同的架构。这些表具有相同的主键值。到目前为止，这是很好的，因为我们有单独的客户数据库。现在，我们试图将多个客户端数据加载到同一个数据容器(Hive表)中。现在，如果我们通过Sqoop作业从多个Server数据库直接将数据加载到Hive中，那么我们将有多个具有相同主键值的行。我正在考虑在
浏览 4提问于2016-01-27得票数 2
回答已采纳
2回答
我开始用Hadoop学习BigData
我无法将本地数据上传到Hive表
load data local inpath '/usr/local/nhanvien/testHive.txt' into table nhanvien;命令是：
我得到了错误：
将数据加载到表hdfs://localhost:9000/user/hive/warehouse/hivetest.db/nhanvien/testHive_copy_3.txt失败，异常不能将源文件/usr/local/nhanvien/testHive.txt移动到目标hivetest.nhanvien :执行错
浏览 7提问于2017-05-18得票数 0
我有一些JSON数据(大约60 in )，我必须加载到Hive外部表中。我使用的是Hive 3.x和Hadoop 3.x。表的模式如下：
CREATE TABLE people(a string, liid string, link string, n string, t string, e string)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.JsonSerDe'
STORED AS TEXTFILE LOCATION '/data/db/';
我还加载了用于serde的jar，如下所示:一个D
浏览 33提问于2021-02-16得票数 0
我有一个sample_data文件(前面在单元表中创建的模式，people，，在运行以下命令在表人员中加载数据时)：
LOAD DATA LOCAL INPATH 'sample_data.csv' OVERWRITE INTO TABLE people;
我追踪到了：
将数据加载到表hdfs://hive-master:54310/user/hive/warehouse/people/sample_data.csv失败，异常不能将源文件:/home/hduser1 1/sample_data.csv移到目标default.people :执行错误，从org.apache.h
浏览 0提问于2018-02-21得票数 1
2回答
我已经将一个文件加载到我的hive表中，它是ORC文件格式。
当我尝试使用
hadoop fs -text /apps/hive/warehouse/emp_rcfileformat/000000_0
或
hive --orcfiledump /apps/hive/warehouse/emp_rcfileformat/000000_0
这不会给我任何结果..。我用的是0.14蜂箱
如果我使用orcfiledump，则出错。
Exception in thread "main" org.apache.hadoop.hive.ql.io.FileFormatExcepti
浏览 5提问于2015-10-13得票数 0
回答已采纳
1回答
从ps -ef | grep java中，我看到许多这样的过程需要大量的内存。
hadoop-+ 65369 65322 0 Jul06 ? 00:01:45 /usr/jdk64/jdk1.8.0_112/bin/java -Xmx8024m -Dhdp.version=2.6.4-091 -Djava.net.preferIPv4Stack=true -Dhdp.version=2.6.4-091 -Dhadoop.log.dir=/var/log/hadoop/hadoop-qa -Dhadoop.log.file=hadoop.log -Dhadoop.home.dir
浏览 0提问于2018-07-08得票数 1
回答已采纳
我需要使用hive-exex jar org.apache.hadoop.hive.ql.parse.ParseDriver，org.apache.hadoop.hive.ql.parse.ASTNode，org.apache.hadoop.hive.ql.parse.ParseUtils，org.apache.hadoop.hive.ql.parse.HiveParser中的以下类来解析hive查询。
for accessing these classes from hive-exec jar i am using following maven dependency in my p
浏览 4提问于2016-02-16得票数 0
我在Windows上安装了R2.15.2。Hadoop & Hive在另一台PC上。我将RHive及其依赖项加载到R中，现在我正在尝试连接到Hive。
> Sys.setenv(HIVE_HOME="/home/hadoop/hive-0.7.0-cdh3u0")
> Sys.setenv(HADOOP_HOME="/home/hadoop/hadoop-0.20.2-cdh3u0")
> library(RHive)
> rhive.env(ALL=TRUE)
蜂窝家庭目录: / Home /hadoop/ Hive -0.7
浏览 0提问于2012-12-13得票数 2
2回答
我有hql文件，它有大量的单元查询，我想使用Spark执行整个文件。
这就是我尝试过的。
val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)
通常，为了执行单独的查询，我们这样做：
sqlContext.sql("SELECT * from table")
但是，当我们有具有数百个查询的hql文件时，我常常这样做。
import scala.io.Source
val filename = "/path/to/file/filename.hql"
for (line <- So
浏览 2提问于2017-11-30得票数 3
回答已采纳
我正在尝试使用hive action与Oozie一起使用hive。Oozie工作流应该将数据从一个Hive表加载到另一个Hive表。我在Hive中有一个表foo，它应该将数据加载到表"test“中。
我使用的是Cloudera VM和Hadoop 2.0.0-cdh4.4.0。
我使用以下命令运行工作流：
[cloudera@localhost oozie-3.3.2+92]$ oozie job -oozie http://localhost:11000/oozie -config examples/apps/hive/job.properties -run
当我转到JobT
浏览 1提问于2014-05-13得票数 1
我试图以编程的方式将dynamodb表加载到HDFS中(通过java，而不是通过hive)，我无法在网上找到如何做到这一点的示例，所以我想下载包含org.apache.hadoop.hive.dynamodb的jar并逆向工程这个过程。
不幸的是，我也找不到这个文件。
谁能帮我回答以下问题(按优先顺序排列)。
将dynamodb表加载到HDFS中的Java示例(该示例可以作为表输入格式传递给映射程序)。
包含org.apache.hadoop.hive.dynamodb的罐子。
谢谢!
浏览 1提问于2013-06-13得票数 1
1回答
我使用Hadoop1.1.2，hbase 0.94.8和hive 0.14。我试图使用hive在hbase中创建一个表，然后通过插入覆盖加载其中的数据。
目前，我能够创建该表：
CREATE TABLE hbase_table_emp(id int, name string, role string)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:name,cf1
浏览 1提问于2015-01-21得票数 0
回答已采纳
我在HDFS中有一个表，其中包含当前路径/apps/hive/warehouse/ratings。我尝试使用Hadoop中的copyToLocal函数将其下载到我的本地文件系统。
调用起作用了，没有显示错误，但是当我去检入下载的表时，它只是一个包含文件类型的文件夹。
您知道从HDFS中将表作为CSV文件下载的正确函数调用是什么吗？
这就是我现在使用的命令
hadoop fs -copyToLocal /apps/hive/warehouse/ratings /home/maria_dev
浏览 13提问于2018-01-04得票数 0
有人能帮我解决这个错误吗？由于这个异常，我无法将蜂窝数据加载到弹性搜索中。
-蜂巢控制台代码
Hive>
> create external table petrol_es(distributer_id STRING,distributer_name STRING,amt_IN STRING,amy_OUT STRING,vol_IN INT,vol_OUT INT,year INT)
> ROW FORMAT SERDE 'org.elasticsearch.hadoop.hive.EsSerDe'
浏览 4提问于2017-10-21得票数 0
回答已采纳
1回答
我查看了开发人员指南，但没有找到答案。到目前为止，我能够将CSV和ORC文件从HDFS加载到Vora，但能够从Hive加载吗？
在没有将Hive指定为源的情况下，我尝试使用等于/app/hive/仓库/tablename/00000_0的“路径”(或任何部分文件名)。但是，如果一个Hive表是由/tablename/目录中的多个文件表示的，我必须将它们显式地列在“path”中，这不是一个理想的选项。还有更好的办法吗？
更新:这个问题的上下文是，虽然Vora不提供数据持久性，但我希望使用Hive仓库作为持久化层，它最终仍然是文件，但有一些额外的组织。在SAP生态系统中使用Hadoop，我可以利用
浏览 2提问于2016-06-02得票数 0
回答已采纳
将SQL Server表映射到拼接台表时遇到错误。我制作了拼图表格，使SQL Server表格与相应的列数据类型相匹配。
但是sqoop推断时间戳列为long。这在将数据加载到拼花台上时产生了问题。将数据加载到parquet似乎是成功的，但获取是一个问题。
错误消息：
hive> select updated_at from bkfs.address_par1;
OK
Failed with exception java.io.IOException:org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.ClassCast
浏览 1提问于2016-10-03得票数 0
2回答
我是hadoop新手，我正在尝试这个教程：
1.使用参数: hive --auxpath /cygdrive/c/Hadoop/hive-0.9.0/lib/hive-hbase-handler-0.9.0.jar，/cygdrive/c/javaHBase/hbase-0.94.6/hbase-0.94.6.jar，/cygdrive/c/Hadoop/hive-0.9.0/lib/zookeeper-3.4.3.jar，/cygdrive/c/Hadoop/hive-0.9.0/lib/guava-r09.jar -hiveconf hbase.master=localhost:60010
浏览 5提问于2013-04-10得票数 1
回答已采纳
我想将数据从多层目录加载到我的table.but中，错误是：
hive> LOAD DATA INPATH 'hdfs://hadoop1:9000/logClassify/unLock' INTO
TABLE unLock;
失败: SemanticException第1行:17无效路径‘hdfs://hadoop1 1:9000/logClassify/解锁’：源代码包含目录:hdfs://hadoop1 1:9000/logClassify/unLock/2016
我已经在hive-site.xml文件中设置了params：
<property>
浏览 4提问于2016-09-23得票数 0
我试图使用气流构建数据迁移管道，源是Dataproc集群上的Hive表，目标是BigQuery。我使用DataprocHiveOperator从源获取模式和数据。这个操作符在内部使用Dataproc REST来提交和执行我们指定的Dataproc集群上的作业。输出将作为作业日志的一部分写入到文件中。我只需要这些日志的查询结果。
到目前为止，我已经修改了driverOutputResourceUri代码，通过使用driverOutputResourceUri参数将输出文件的内容作为字符串下载到调用方法中。此输出的返回类型是Pandas数据帧(根据我们的方便程度，可以将其更改为任何其他类型)。但这
浏览 0提问于2019-09-03得票数 3
回答已采纳
我正在编写一个shell脚本，将数据从hive表加载到Apache模式中。
SRC=$1
TGT=$2
SOLR_COLLECTION=$3
SCHEMA=$(python schemaFetch.py ${SRC})
hive -e "ADD JAR /hadoopfs/fs1/dev/solr-hive-serde-3.0.0.jar;
create external table if not exists ${TGT}${SCHEMA}
row format delimited
fields terminated b
浏览 0提问于2018-12-28得票数 4
1回答
我在亚马逊弹性MapReduce EC2实例上运行以下Hive查询：
CREATE EXTERNAL TABLE myExport (access_key string, active bigint,
api_id string, secret_key string)
STORED BY 'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler'
TBLPROPERTIES ("dynamodb.table.name" = "Authentication",
"dyna
浏览 2提问于2013-09-05得票数 3
回答已采纳
我是Hadoop生态系统的新手，在将大量数据加载到hdfs之前，我需要Bigdata专家提供一些关于实现模式验证/验证的建议。
设想如下：
我有一个具有给定模式的巨大数据集(其中大约有200个列头)。这个数据集将存储在Hive表/HDFS中。在将数据加载到hive表/ hdfs之前，我希望对所提供的数据执行模式级验证/验证，以便在将数据加载到hdfs中时避免任何不必要的错误/异常。就像有人试图传递一个数据文件，其中包含的列数不多，然后在第一级验证时，加载失败。
实现这一目标的最佳办法是什么？
你好，Bhupesh
浏览 2提问于2015-11-10得票数 0
7回答
我在本地机器上安装了Sqoop。下面是配置信息。
Bash.bashrc：
export HADOOP_HOME=/home/hduser/hadoop
export HBASE_HOME=/home/hduser/hbase
export HIVE_HOME=/home/hduser/hive
export HCAT_HOME=/home/hduser/hive/hcatalog
export SQOOP_HOME=/home/hduser/sqoop
export PATH=$PATH:$HIVE_HOME/bin
export PATH=$PATH:$HADOOP_HOME/bin
e
浏览 5提问于2014-03-30得票数 5
回答已采纳
1回答
我在s3://mybucket/ .gzip /*.gzip中有一堆文件。
我正在使用以下命令加载到一个表中：
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.max.dynamic.partitions.pernode=1000;
set hive.enforce.bucketing = true;
SET hive.exec.compress.output=true;
SET io.seqfile.compression.type=BLOC
浏览 0提问于2016-06-11得票数 0
CREATE TABLE employee_details(
emp_first_name varchar(50),
emp_last_name varchar(50),
emp_dept varchar(50)
)
PARTITIONED BY (
emp_doj varchar(50),
emp_dept_id int )
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.columnar.ColumnarSerDe'
浏览 0提问于2016-11-02得票数 1
我需要关于从Hadoop datalake (Kerberos认证)导入数据到AWS的建议。Hive表中的所有表都应该放在s3中，然后需要加载到AWS RDS。我考虑过以下选项: 1) AWS Glue ? 2) Spark连接到hive metastore ? 3)从AWS连接到impala？
大约有50个表需要导入。如何维护模式？导入数据，然后在RDS中创建单独的模式是不是更好？
浏览 3提问于2018-03-10得票数 0
Script_SusRes.q
select * from ufo_session_details limit 5
Workflow_SusRes.xml
<?xml version="1.0" encoding="UTF-8"?>
<workflow-app xmlns="uri:oozie:workflow:0.4" name="hive-wf">
<start to="hive-node"/>
<action name="hive-node&#
浏览 0提问于2015-11-03得票数 0
1回答
将快速压缩的数据写入蜂窝表
、、、、
我已经创建了一个hive表，现在我希望将快速压缩的数据加载到表中。因此，我做了以下工作：
SET mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.SnappyCodec;
SET hive.exec.compress.output=true;
SET mapreduce.output.fileoutputformat.compress=true;
CREATE TABLE toydata_table (id STRING, value STRING) ROW FORMAT DELIM
浏览 0提问于2014-03-04得票数 2
我上传了一个csv，其数据如下：
下面是我用来将数据上传到hive的命令
将文件拖到linux文件系统。
使用以下命令上载到hdfs。hadoop fs -put“/home/k深处/kd_city_data.csv”/home/k深处
使用hive将数据加载到表dev.k_site中，将数据加载到路径‘/home/k深处’中；
我的桌子是这样的：
浏览 3提问于2017-01-31得票数 0
回答已采纳
1回答
现在我正在实现apache hive，现在hive也像通常的hadoop mapreduce一样运行mapreduce算法。所以，我想知道，关于来自配置单元查询的mapreduce、映射器和reducer的解释。该查询如何执行mapreduce？
感谢所有人……
浏览 2提问于2015-03-02得票数 0
1回答
我不知道在Ubuntu17.04终端启动蜂箱时发生了什么，我在终端上遇到了一些错误。我刚开始面对一些问题，有人能帮我吗？
我已经(在.bashrc文件中安装和指定)：
Hadoop : 2.8.0
蜂箱: 2.1.1
Java : 1.8.0_131
SLF4J:类路径包含多个SLF4J绑定。jar:file:/usr/local/src/hive-2.1.1/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBinder.class :在jar:file:/usr/local/src/hadoop-2.8.0/share/
浏览 2提问于2017-06-03得票数 0
1回答
我是hadoop map reduce框架的新手，我正在考虑使用hadoop map reduce来解析我的数据。我有数千个大的分隔文件，我正在考虑为这些文件编写一个map reduce作业来解析这些文件并将它们加载到hive数据仓库中。我用perl编写了一个解析器，它可以解析这些文件。但是我仍然坚持使用Hadoop map reduce来做同样的事情
例如:我有一个类似x=a y=b z=c的文件.....x=p y=q z=s.....x=1 z=2 ....诸若此类
现在我必须加载这个文件作为hive表中的列(x，y，z)，但是我不能确定我是否可以继续使用它。任何关于这方面的指导都会很有
浏览 0提问于2011-07-07得票数 3
回答已采纳
我在HDFS中有数据。我想把这些数据加载到hbase和hive表中。我已经写了一个bash shell脚本，在其中我已经写了一个猪脚本加载数据从HDFS到HBASE，也写了hive脚本加载数据从HDFS到HIVE表，这是完美的fine.Here我的HDFS数据文件具有相同的结构，我正在加载所有的数据文件到单一的hbase和hive表。
现在我的查询是假设如果我在HDFS目录中接收到更多的数据文件，并且如果我再次运行shell脚本，它将再次创建具有相同名称的hbase和hive表，并告知表已经存在。如何编写配置单元和hbase查询，以便第一次检查表是否存在，如果表不存在，则第一次创建表，并将数据
浏览 2提问于2014-05-21得票数 0
1回答
从蜂巢查询HBase表
、、、
以下是环境细节: Hadoop: 2.4.0Hive: 0.11.0 HBase: 0.94.18
我创建了一个HBase表并导入了10,000行：
hbase(main):008:0> create 'genotype_tbl', 'cf'
将数据加载到表中。
hbase(main):008:0> count 'hbase_tbl'
10000 row(s) in 176.9310 seconds
如本文所述，我创建了一个Hive表(使用本页的说明：)
CREATE EXTERNAL TABLE hive_tbl(key int,
浏览 1提问于2014-07-23得票数 0
回答已采纳
1回答
我的Ambari版本是HDP 2.5.2，Hive版本是Hive 1.2.1000.2.5.3.0-37。
我在试着看到合并操作在蜂巢中运行。我尝试了以下步骤：
启用Ambari上的ACID事务并重新启动HIVE服务
创建目标表，其中包含员工的旧薪资。
创建表emp(id int，name string，sal int)，由(id)聚集成4个存储为ORC TBLPROPERTIES(‘事务性’=‘true’)的桶；
在上面插入4条记录。
插入emp值(1，'ABC',1000)；
在emp值中插入(102，‘XYZ’，2000年)；
插入emp值(103，'
浏览 7提问于2017-10-13得票数 0
我试图将XML数据加载到Hive中，但是我得到了一个错误：
org.apache.hadoop.hive.ql.metadata.HiveException: Hive运行时处理行{"xmldata":""}时出现的java.lang.RuntimeException错误
我使用的xml文件是：
<?xml version="1.0" encoding="UTF-8"?>
<catalog>
<book>
<id>11</id>
<genre>
浏览 12提问于2014-07-07得票数 5
1回答
我有按ID1和ID2分组的记录，如下所示：
ID1 ID2 date_time
Apple pear 2020-03-09T12:11:25:622Z
Apple pear 2020-03-09T12:23:36:825Z
Apple lemon 2020-03-08T08:01:16:030Z
Apple lemon 2020-03-09T10:11:12:930Z
Apple lemon 2020-03-09T15:13:02:610Z
Lime peach 2020-03-
浏览 7提问于2020-03-13得票数 1
回答已采纳
我尝试从本地计算机连接hadoop集群，但得到以下错误
[ashsshar@slc01nwj work]$ hive --config /<hive_conf_file_location>/conf -S -f /<hive_scirpt>
1 2.0.0-cdh4.2.0
FAILED: IllegalArgumentException java.net.UnknownHostException: <cluster_name>
[ashsshar@slc01nwj work]$
我还尝试在hadoop集群上执行相同的hive脚本，运行良好。
浏览 1提问于2014-03-13得票数 0
在配置单元中加载数据时，我收到以下错误："java.sql.SQLException:处理语句时出错:失败:执行错误，从org.apache.hadoop.hive.ql.exec.MoveTask返回代码1“
我在hdfs中有一些数据，我正在尝试将这些数据加载到配置单元中。
我在ambari hive cli上运行以下命令: 1-创建表格currency_new(CurrencyId int，ThreeLetterIsoCode字符串，名称字符串，Rate bigint，LastUpdate bigint，Active string)；
创建表currency_new成功
2-将数据
浏览 1提问于2016-12-05得票数 2
2回答
在将数据加载到表时出现错误，非常感谢您的帮助。
hive> load data local inpath '/home/Xperttech/Desktop/datagen_10.txt' into table patient;
Copying data from file:/home/Xperttech/Desktop/datagen_10.txt
Copying file: file:/home/Xperttech/Desktop/datagen_10.txt
Loading data to table default.patient
Failed with exce
浏览 0提问于2014-07-25得票数 4
1回答
嗨，我有一个hive表，它从sqoop获取数据，所以有一个字符串字段fc，它的值为空值。所有其他值都以数字的形式出现。我已经写了一个UDF，这样我就可以得到一个值hast1000 is is null in the column，如果不是null，我应该会得到相同的value.My udf代码，如下所示
package com.cascrmg.customudf;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Tex
浏览 2提问于2017-11-17得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
