Join hive表:在另一个表的列中加载多行的值
Join hive表是指在Hive中使用JOIN操作将两个或多个表连接起来。JOIN操作是一种常用的数据处理操作，它可以根据两个或多个表之间的关联条件，将它们的行按照一定的规则进行组合，生成一个新的结果集。
在Hive中，JOIN操作可以通过多种方式实现，包括内连接（INNER JOIN）、左连接（LEFT JOIN）、右连接（RIGHT JOIN）和全连接（FULL JOIN）。这些连接方式可以根据实际需求选择合适的方式进行数据连接。
JOIN操作的优势在于可以将不同表中的数据进行关联，从而实现更复杂的数据分析和查询。通过JOIN操作，可以将多个表中的数据按照某种关联关系进行组合，得到更全面、更准确的结果。
JOIN操作在实际应用中有广泛的应用场景，例如在电商领域中，可以通过JOIN操作将用户信息表和订单信息表进行关联，从而得到每个用户的订单信息；在社交网络分析中，可以通过JOIN操作将用户关系表和用户行为表进行关联，从而得到用户之间的关系和行为信息。
对于Hive表的JOIN操作，腾讯云提供了一系列的产品和服务来支持，例如腾讯云的数据仓库产品TencentDB for Hive，可以提供高性能的数据存储和查询服务；腾讯云的大数据计算引擎Tencent Cloud DataWorks，可以提供强大的数据处理和分析能力。具体产品介绍和链接地址如下：
- 腾讯云数据仓库产品TencentDB for Hive：TencentDB for Hive是一种高性能、可扩展的数据仓库解决方案，支持Hive表的创建、管理和查询操作。它提供了丰富的数据存储和计算能力，可以满足各种规模的数据处理需求。了解更多信息，请访问：TencentDB for Hive产品介绍
- 腾讯云大数据计算引擎Tencent Cloud DataWorks：Tencent Cloud DataWorks是一种全托管的大数据计算引擎，支持Hive表的JOIN操作和其他复杂的数据处理操作。它提供了可视化的数据开发和调度工具，可以帮助用户快速构建和管理数据处理流程。了解更多信息，请访问：Tencent Cloud DataWorks产品介绍
通过以上腾讯云的产品和服务，用户可以方便地进行Hive表的JOIN操作，并且获得高性能和可靠的数据处理能力。
相关·内容
1回答
我们在一个Hive表中有客户数据，在另一个Hive表中有销售数据，而另一个Hive表中有TB的数据。我们试图为多个客户提取销售数据，并将其保存到一个文件中。
到目前为止我们尝试过的是：
我们厌倦了客户表和销售表之间的左外部连接，但由于庞大的销售数据，它无法工作。
val data = customer.join(sales,"customer.id" = "sales.customerID",leftouter)
因此，另一种方法是根据特定的客户区域列表提取数据表单sales表，并查看该区域数据是否具有客户数据，如果存在数据，则将其保存在其他数据中，并将数据加载
浏览 4提问于2017-06-01得票数 0
回答已采纳
1回答
默认情况下，我将原始数据加载到我的hive表中，所有列都是字符串。现在，我需要更改hive表的数据类型，以导出到SQLServer。当类型转换为单元列时，空字段返回'NULL'，尝试将蜂窝表加载到dataframe中并对列进行类型化，但仍然对空字段返回'null‘。SQLserver无法识别这样的值。
当我从hive或dataframes获得数据时，有人能提出避免显示“null”值的解决方案吗？
浏览 1提问于2018-05-30得票数 1
回答已采纳
我正在处理一个查询，该查询要求我与另一个hive表一起使用用户ID号来提取用户名。是否可以只为该用户名的结果编写子查询，或者是否应该进行连接？
表1: Assigned_Tasks有task_number、owner_id、标题、描述、进度、ds的列
表2: Employee_info有employee_id、employee_name、employee_team的列
SELECT task_numb,
owner_id,
title,
description,
progress
WHERE ds = 'DATEID'
AND progress != 'FINISHED
浏览 2提问于2022-06-29得票数 0
1回答
我知道如何使用Hue在Hive中添加列注释。我特别希望在上显示注释，在Hue中的几行，当它太长而不能在一行上读取时。
我创建了一个表，我在以前的堆栈溢出帖子中找到了一个表作为示例：
CREATE TABLE test_table(
col1 INT COMMENT 'col1 one line comment',
col2 STRING COMMENT 'col2 two lines comment',
col3 STRING COMMENT 'col3 three lines comment',
col4 STRING
浏览 2提问于2017-06-30得票数 2
我想要创造的东西，我解释如下。在蜂巢里可以这样做吗？
我可以在Python中使用Pandas并替换over列，但我想知道这能用Hive中的查询来完成吗？
我已经上传了Hive中的Source表，并创建了如下所示的维度表( Cloudera HUE)，那么是否可以通过使用维度表id值并替换源表中的值来创建该事实表？
我有我的源表：
I从源表：创建维度表
和我想创建像这样的事实表：
浏览 2提问于2020-05-19得票数 1
回答已采纳
我在postgresql中创建了一个表：
create table retail_fact( id serial not null, name text);
我有客户表在hive和MySQL中，我想从他们加载数据到PostgreSQL retail_fact表使用Pentaho pdi (通过presto连接)。
另外，当我用Hive和MySQL中的数据加载表时，o希望id在Postgres中自动递增(用更简单的术语。我需要一个sql查询来做同样的事情)。
查询类似于以下内容：
insert into postgresql.rpt.order_fact(
select name from h
浏览 0提问于2017-11-17得票数 1
2回答
配置单元和Sqoop分区
、、、
我有来自Netezza表的sqoopd数据，输出文件在HDFS中，但有一列是时间戳，我想将其作为日期列加载到我的hive表中。使用该列，我想在date上创建分区。我该怎么做呢？
示例:在HDFS中，data is like = 2013-07-30 11:08:36
在配置单元中，我只想加载日期(2013-07-30)，而不是时间戳。我想每天对该列进行分区。
如何以动态方式逐列传递分区？
我已经尝试将数据加载到一个表中作为源。在最后一个表中，我将执行insert、overwrite table partition by (date_column=dynamic date) select * f
浏览 3提问于2015-01-29得票数 0
我有一个HIVE表，按日期字段分区，每天都会加载。我们收到一个请求，要求在末尾添加一个新列，并将数据加载到相同的HIVE表中。在保留现有数据时，有没有更好的方法来处理这个列的更改请求。
是否需要删除现有表中的数据，并使用新列重新创建表，然后加载数据。
浏览 1提问于2014-08-07得票数 1
我有两个CSV文件，我上传到HDInsight中的Azure存储。我可以毫无问题地将这两个文件上传到集群中。然后我用.创建两个蜂巢.
CREATE EXTERNAL TABLE IF NOT EXISTS hive_table1(id int, age string, date string...)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\;' STORED AS TEXTFILE LOCATION '/user/hive/warehouse'
另一个表也有类似的语法。
现在，我希望将第一个CSV-文件加载到第一
浏览 4提问于2016-12-13得票数 1
回答已采纳
我在熊猫身上有一种情况。我有一个excel文件，它有一个名为item的列，它有一些文本。我有另一个dataframe有一个名为brand的列。如果项目列文本中存在品牌字符串，我希望在项目列前面添加品牌名称。
这是我的excel文件快照。
我的品牌数据图如下所示。
brand_df = pd.DataFrame({'brand':['spark','hadoop','hive']})
我想看看brand_df品牌是否存在于item_df中。如果品牌存在，那么它应该以update_column的名字出现在项目前面，如下所示
浏览 0提问于2019-07-09得票数 0
回答已采纳
Hive是一个数据仓库，用于查询和聚合驻留在HDFS上的大型数据集。
标准的INSERT INTO语法性能很差，因为：
每个语句都需要执行Map/Reduce过程。
每条语句都会导致一个新文件被添加到HDFS中--随着时间的推移，这将导致读取表时的性能非常差。
尽管如此，现在有了一个用于Hive / HCatalog的流API，如详细的。
我需要使用Python以速度将数据插入到Hive中。我知道pyhive和pyhs2库，但它们似乎都没有使用流API。
是否有人成功地让Python使用流API将许多行插入到Hive中，这是如何实现的？
我期待着你的见解！
浏览 4提问于2015-11-30得票数 4
1回答
我正在尝试弄清楚如何在HIVE Metastore中查询表和列的注释(描述)。如果有一种方法可以将注释添加到HIVE表/列，那么不应该是一种查询/报告来自HIVE Metastore的注释的方法吗？
请帮助:)
致以最好的问候，迈克尔
浏览 12提问于2018-07-25得票数 1
在表A中，我有一列(varchar*30) city-id，其值例如为1、2、3或2,4。值的描述存储在另一个表B中，例如1阿姆斯特丹2海牙3马斯特里赫特4鹿特丹
我必须如何将表A和表B连接起来才能在一行或多行中获得描述？
浏览 0提问于2017-08-11得票数 0
4回答
我对hive和sql非常陌生，我有一个关于如何处理以下问题的问题：
我有A桌：
Name id
Amy 1
Bob 4
Josh 9
Sam 6
我希望使用另一个表(表B)中的值来筛选它：
Value id
.2 4
.7 6
要获得一个与表A类似但只包含id列中也出现在表B的id列中的值的新表：
Name id
Bob 4
Sam 6
所以我想我会写一些开始的东西。
CREATE TABLE Table C AS
SELECT * FROM Table A
WHERE id....
浏览 3提问于2015-05-12得票数 0
回答已采纳
我有一个名为dept的MySQL表，我基于时间戳列ts将其加载到配置单元外部表dept表中，作为增量附加检查列last-value。
这可以很好地工作，现在我想根据dept_name和ts列将动态分区添加到我的配置单元表dept中。
我知道我可以在sqoop之外创建表动态分区，但在将数据加载到动态分区方面需要帮助。我看过一个使用--hive-partition-key & --hive-partition-value的例子，但是值是硬编码的。在不对配置单元分区值进行硬编码的情况下，我可以使用SQOOP (dept1，时间戳1/Dept1，timestamp2..etc)和(dept2，
浏览 22提问于2016-08-26得票数 0
sqoop导入作业失败的原因是: java.sql.SQLException:数值溢出--我必须加载Oracle表，它在Oracle中有列类型号，没有刻度，并且在hive中转换为DOUBLE。这是Oracle和Hive两种数值的最大可能大小。问题是如何克服这个错误？
浏览 9提问于2017-04-29得票数 1
回答已采纳
我创建了一个包含数值列(如double和string columns.My文件)的hive表，其中包含了数值列和字符串列的一些空值。当我试图将一个文件加载到这个表中时，数值列的空值将被文件中的'\N‘替换为'\N’。我知道这是处理数值类型列的空值的hive属性，但是我想阻止它，或者有任何方法可以将NULL更改为其他东西而不是‘\N’。
浏览 0提问于2017-04-22得票数 9
回答已采纳
1回答
我正面临一个问题，在这个问题中，我无法查看来自Hive的某些数据。重现问题的步骤。创建一个表 drop table if exists hive_parquet_nulls_test ;
create table hive_parquet_nulls_test (
name String
)
partitioned by (report_date DATE)
stored as PARQUET; 然后创建一个具有新列的数据框并加载它们 import java.sql.Date
import org.apache.spark.sql._
import org.apache.spark.s
浏览 30提问于2019-12-21得票数 3
回答已采纳
1回答
我有一个Hive表，它有一个struct数据类型列(下面的示例)。表是在avro文件上创建的。
通过使用pyspark，如何将记录扁平化，以便在每个列中获得简单的数据类型值(而不是struct、数组或列表)来加载另一个Hive表。
我可以使用Hive表或avro文件作为源。
样本数据-
蜂巢列名: Contract_Data
{"contract":
{"contractcode":"CCC",
unit:
{"
浏览 0提问于2018-11-19得票数 0
我使用Sqoop增量导入，每天将数据输入到我的hive表中。我有以下场景:我有一个RDBMS表:用列清空数据
id name city
1 Sid Amsterdam
2 Bob Delhi
3 Sun Dubai
4 Rob London
我将数据导入到Hive中，使用Sqoop增量导入，通过cron作业将数据导入到shell脚本来完成工作。
#!/bin/bash
DATE=$(date +"%d-%m-%y")
while IFS=":" read -r server dbname tablename
浏览 2提问于2017-04-17得票数 1
回答已采纳
3回答
有一个包含大约100列的HIVE表，按列ClientNumber和Date进行分区。我正在尝试将来自另一个HIVE表的数据插入到仅30列中，并动态创建Date分区。
问题是所有数据都会加载到"ClientNumber=123/date=__HIVE_DEFAULT_PARTITION__“分区中，这并不是我们所期望的。
脚本如下所示：
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
FROM DBName.Table2
INSERT INTO TABLE DBN
浏览 2提问于2016-11-21得票数 0
我正在尝试使用一个表中的子查询对hive中另一个表的每一行进行聚合。我知道hive不支持SELECT子句中的子查询，所以我尝试在FROM子句中使用子查询，但似乎hive也不支持相关子查询。
下面是示例:表A包含帐户交易的数据，该数据具有日期列( d1和d2)和货币列以及其他列，我要做的是获取表B中每个帐户在日期d1和d2之间的汇率值之和(它包含一年中每一天的货币汇率)。我正在尝试这样的东西：
SELECT
account_no, currn, balance,
trans_date as d2, last_trans_date as d1, exchng_rt
FROM
浏览 2提问于2018-01-22得票数 0
2回答
蜂巢表上的时间戳
、、、、
我正在尝试将数据从Oracle加载到Hive，作为拼板。每次加载包含日期/时间戳列的表时，它都会自动将这些列转换为BIGINT。是否可以使用sqoop并将时间戳/日期格式加载到单元格中？
已经尝试过先在蜂巢中创建表，然后使用黑斑马来加载数据INPATH的拼花文件。
仍因错误而失败
“文件XX的第XX列的Parquet模式不兼容:时间戳”
顺便说一下，我在使用cloudera快速启动虚拟机。谢谢
浏览 0提问于2017-04-20得票数 1
回答已采纳
1回答
我是hadoop map reduce框架的新手，我正在考虑使用hadoop map reduce来解析我的数据。我有数千个大的分隔文件，我正在考虑为这些文件编写一个map reduce作业来解析这些文件并将它们加载到hive数据仓库中。我用perl编写了一个解析器，它可以解析这些文件。但是我仍然坚持使用Hadoop map reduce来做同样的事情
例如:我有一个类似x=a y=b z=c的文件.....x=p y=q z=s.....x=1 z=2 ....诸若此类
现在我必须加载这个文件作为hive表中的列(x，y，z)，但是我不能确定我是否可以继续使用它。任何关于这方面的指导都会很有
浏览 0提问于2011-07-07得票数 3
回答已采纳
2回答
蜂巢ETL
、、、、
我有两个大型的Hive表，比如TableA和TableB (它们是从不同的源加载的)。
这两个表具有几乎相同的表结构/列，具有相同的分区列，这是以字符串形式存储的日期。
我需要根据某些(相同的)筛选标准从每个表中筛选记录。
这些表中有一些包含“代码”的列，需要对这些列进行查找才能得到相应的“值”。
有8到10个这样的查找表，例如，LookupA、LookupB、LookupC等。
现在，我需要：
对来自TableA和TableB的过滤记录进行合并。
查找查找表，并将过滤记录中的“代码”替换为各自的“值”。如果“代码”或“值”分别在筛选的记录或查找表中不可用，则需要用零或空字符串替换它。
浏览 6提问于2016-05-22得票数 0
回答已采纳
我们正在尝试导入一个扁平的大型机文件来加载到hive表中。我能够使用sqoop导入大型机将其导入并加载到hive表中，但我的整个文件都放在一个列中，而且该列中也没有名称。
是否有可能在sqoop导入命令本身中定义表结构？
我们使用下面的命令从大型机导入并将其加载到Hive表
sqoop import-mainframe --connect mainframe.com --dataset mainframedataset --username xxxxx -P --hive-import --create-hive-table --hive-table table1 --warehouse-di
浏览 2提问于2016-08-24得票数 2
3回答
如何在Hive中执行EXCEPT子句(如SQL)
我有两个表，每个表都是一列唯一的ids。
我希望找到仅在表1中而不是在表2中的in列表。
表1
apple
orange
pear
表2
apple
orange
在SQL中，可以执行but子句()，但在Hive中不能这样做
浏览 1提问于2012-06-04得票数 14
回答已采纳
嗨，我试图把表上的外部连接放在另一个表上，匹配的列是String类型。
Hive将加入匹配的字符串列，还是需要转换成不同的数据类型？
我在子句上的连接类似于表a中的表a中的表1、表1和表2中的表2，表b (table1.a=table2.b)。A和B是字符串，这有用吗？
浏览 2提问于2016-12-08得票数 0
当我执行以下查询时，我会得到如下消息
Ora-01427单行子查询返回多行。
我正在尝试从另一个表中更新表A中的"City“列。我该怎么做？
表A:名称、PER_code(也有重复值或空值)、城市、PD_code
表B:名称，PER_code(无重复值，可能为null)，城市，Postal_code
更新声明：
UPDATE A
SET (A.city) =
(SELECT B.city
FROM B
INNER JOIN A
ON A.per_code=B.per_code
WHERE A.per_code is not null)
浏览 3提问于2017-11-24得票数 0
1回答
目前我正在开发Spark版本2.1.0，作为我的数据摄取工作的一部分，我必须使用ingest方法将数据摄取到hive表中。但是Spark 2.1版本有一个bug，当插入数据到hive表中时，insertinto方法不会保持列顺序。 我已经尝试在append模式下使用saveAsTable方法，但它不会起作用，因为在数据摄取之前，我首先使用正确的数据类型手动创建表。 我尝试从现有的hive表中创建spark数据帧，并尝试从其中获取列序列，并传递此列表结果以确保列序列，但每次都在hive表的顶部创建数据帧以获取列序列。每次加载hive表来创建数据帧都会占用内存吗？ 有没有人知道，如何用更好的方法
浏览 15提问于2019-02-26得票数 0
Hive的函数explode是的，它本质上是一个非常实用的函数，可以从一个单独的行生成很多行。它的基本版本采用值为值的数组的列，并为每个值生成同一行的副本。
我想知道在Impala是否存在这样的东西。我在文档中找不到它。
浏览 13提问于2017-11-22得票数 2
我可以从外部文件中的数据创建一个hive表。现在，我希望从前一个表中的数据创建另一个表，其中包含具有默认值的其他列。
我知道可以使用CREATE TABLE AS SELECT，但是如何添加具有默认值的其他列？
浏览 2提问于2015-05-04得票数 5
回答已采纳
2回答
性能调优配置单元查询
、、、
我有一个Hive查询，它选择大约30列和大约400,000条记录，并将它们插入到另一个表中。我的SQL子句中有一个连接，它只是一个内部连接。
查询失败，因为超出了Java GC开销限制。
奇怪的是，如果我删除join子句，只从表中选择数据(容量稍大一点)，那么查询就能正常工作。
我是蜂巢的新手。我不明白为什么这个连接会导致内存异常。
关于如何编写配置单元查询，是否有什么我应该知道的，以便它们不会导致这些问题？有没有人能解释为什么连接可能会导致这个问题，但是选择更大的数据量和相同的列数不会。
感谢您对此的想法。谢谢
浏览 0提问于2012-07-09得票数 13
回答已采纳
2回答
我在连接两个表时遇到了问题，这是基于Hive中的“介于”条件。基本上，因为Hive不支持这些连接，所以我不知道如何解决它。基本上，我想连接两个基于日期列的表，其中t1.date<=t2.date和t1.date>=t2.tdate2。表中没有匹配的其他列。我怎样才能做到这一点呢？
浏览 3提问于2017-11-14得票数 0
我在Hive中有两个表，一个外部表(X)和一个托管表(M)。这两个表具有具有复杂键(key_col_a、key_col_b)的相同列。
我如何计算复杂的列，第一个表中有多少记录在另一个表中，有多少记录不在？
我想计算一下，应该更新多少条记录(那些在另一个表中具有相同复杂键的记录)，以及应该使用复杂键列插入多少条记录(具有全新的键，以前没有见过)？
这对我不起作用：
SELECT count(*)
FROM table_x tx
LEFT JOIN table_m tm ON
tx.key_col_a = tm.key_col_a AND tx.key_col_b =
浏览 0提问于2018-05-14得票数 2
2回答
我正在运行Hive 071，我有一个表，有多行，具有相同的列值。
x | y |
---------
1 | 2 |
1 | 3 |
1 | 4 |
2 | 2 |
3 | 2 |
3 | 1 |
我希望x列是唯一的，并删除具有相同x val的行。
x | y |
---------
1 | 2 |
2 | 2 |
3 | 2 |
或
x | y |
---------
1 | 4 |
2 | 2 |
3 | 1 |
这两个都很好，因为只有在整个hive中才有截然不同的作品，我找不到一种方法来做到这一点。
请帮助Tx
浏览 3提问于2011-09-13得票数 13
嗨，我是新来的堆叠。我想将csv文件加载到一个蜂窝表中。我使用以下方法创建了hive表：
create table database1.table1(......) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';
此外，我还使用以下方法将数据加载到表中：
LOAD DATA INPATH .... OVERWRITE INTO TABLE database1.table1;
但当我运行这个：
select distinct col1 from table1;
我正在从其他列获得值以及来自col1的值。
据我所知，数据没有正确地加载
浏览 2提问于2019-04-03得票数 1
2回答
我有一个包含下列列的表
id, timestamp, current load count, previous load count
它有很多行。我有所有前三列的值，但是对于“以前的加载计数”，我需要在当前加载计数的前一天得到日期的计数。
请参阅下面的图像(表示例)以查看示例表
例如: id:4以前的负载计数与id:5的当前负载计数相同。
是否仍然需要编写SQL语句来更新以前的加载计数？
浏览 2提问于2020-03-10得票数 1
回答已采纳
我要将一个配置单元表的所有行插入到另一个配置单元表中
insert into table <table_name> as select * from <table_bkp>
我在表中有很多行，但它只插入了一行，从到请建议解决方案
我使用的是hive 1.2.1版本
浏览 0提问于2017-03-26得票数 0
1回答
在蜂巢中添加默认值的列
、、、、
我在Hive中是新的，我使用Hive1.1.0cdh5.11.1，我的问题在中很简单，但在Hive中似乎不一样。
我想在一个表中为每个列添加两个新列(column2，column3)，即一个常数/默认值，如下所示：
insert into table1(column2,column3) values (values2, DEFAULT, values3, DEFAULT)
但不起作用。我尝试创建另一个表table2，其中包含2列(c1、c2)，一行包含2个值: value2、value3和do：
INSERT (OVERWRITE) INTO table1(column2,column3)
S
浏览 1提问于2018-02-21得票数 1
我在Hive有两张桌子，Table1和Table2。我希望在Table1中获取每个不同的Table1，并将其映射到一个名为Table2类别的列中的每个不同的值。然而，我有点不知道如何在蜂巢里这样做。我要做的一个更好的例子是:假设Table1包含5个不同的customerID，Table2包含3个不同的类别。我希望我的查询结果如下所示：
但是，Table1和Table2没有任何共同的列，所以我对如何在hive中的这两个表上执行连接有点不知所措。这个任务可以在蜂巢里完成吗？任何有关这方面的见解都将不胜感激！
浏览 1提问于2018-10-12得票数 0
回答已采纳
1回答
假设我希望在Hive中创建一个包含4列的简单表，并加载一些管道分隔的数据。
CREATE table TEST_1 (
COL1 string,
COL2 string,
COL3 string,
COL4 string
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '|'
;
原始数据：
123|456|Dasani Bottled \| Water|789
对于Col3值，我期望的是"Dasani瓶装水“，它在中间有一些特殊的字符”\“，因此导致Hive表列从COL3开始，因为我使用”“作为分隔符创建了表。特殊字符中
浏览 0提问于2018-05-07得票数 0
2回答
我有几张关系松散的表。我需要评估一个计数和另一个计数。
查询%1为
SELECT
COUNT(n.Caption) AS Interfaces
FROM NodesData n
LEFT JOIN [Interfaces] i ON i.NodeID = n.NodeID
GROUP BY n.Caption
查询2是
SELECT
COUNT(n.Caption) AS Volumes
FROM NodesData n
LEFT JOIN [Volumes] v ON v.NodeID = n.NodeID
GROUP BY n.Caption
理想情况下，我需要输出一个包含
浏览 4提问于2020-05-12得票数 0
回答已采纳
1回答
使用查找表的单元查询
、、、
我有两张桌子，
带有的Customer表只包含一个列
另一个是查找表来定位客户级别(1,2,3,4)。
客户表
{
"Name": "John Doe",
"Info" : {
"Address": "111 Main Street",
"ID": 2222
}
}
查找表有2列，客户ID和级别.例如
ID Level
1111 1
1123 4
2234 1
如何编写一个Hive查询来从我的customer表中识别所有
浏览 0提问于2018-11-13得票数 1
我是大数据技术的新手。我的工作低于要求，需要帮助使我的工作更简单。
假设我在oracle中有两个表，每个表中有500个列。我的任务是将选定的列数据从这两个表(通过连接查询)移动到AWS S3，并在AWS上的hive表中填充数据。目前，要完全满足我的要求，我遵循以下步骤。
使用选定的列在AWS上创建外部单元表。我知道列名，但为了标识hive的列数据类型，我将访问oracle数据库表，识别oracle中的列类型，并创建hive脚本。
创建表后，我将使用所选的查询数据编写sqoop命令，并将目录目录提供给S3。
从S3数据修复表。
为了详细解释，假设T1和T2是两个表，T1有50
浏览 3提问于2015-09-24得票数 0
1回答
我需要查询一个单元表，并使用前一个表中的一个列过滤另一个表。
示例：
A = LOAD 'db.table1' USING org.apache.hive.hcatalog.pig.HCatLoader();
filterA = filter A by (id=='123');
B = LOAD 'db.table2' USING org.apache.hive.hcatalog.pig.HCatLoader();
//the problem is here. filterA has many rows. I need to apply f
浏览 0提问于2018-12-11得票数 0
回答已采纳
1回答
我有4个表-- Tab1 --列: id Tab2 --列: id，Tab1Id Tab3 --列: id，Tab2Id Tab4 -列: id，Tab3Id
从另一个表中可以有多行相同的id。同一个Tab1Id在Tab2中可以多次出现，相同的Tab3Id可以多次出现在Tab4中，等等。
现在我想获得所有的Tab1记录，这些记录在Tab4中没有任何行通过连接的表。
我能够获得所有在Tab3中都有条目的Tab4，但是如何将它们放在一个组中，以了解来自Tab1的条目在Tab4中没有条目。
Tab1
+----+
| id |
+----+
| 1 |
+----+
| 2 |
+----+
浏览 5提问于2022-07-14得票数 -1
1回答
使用Ambari 2.4.0.1的HDP-2.5.0.0
有几个SQL Server和Oracle数据库架构需要导入到HDFS/Hive。
目前的办法运作良好：
Sqoop从RDBMS导入HDFS的avro格式
在avro文件之上创建一个Hive外部表，即。dataaggregate_avro_compressed
从第2步创建最后一个表。自动执行此步骤，
在步骤2中从表插入数据到最后的表
现在，Step3。表必须是ORC +压缩+分区的，也可能是管理的。可以手动完成以下操作：
CREATE TABLE `dataaggregate_orc_empty`( ......
浏览 3提问于2016-10-17得票数 1
我是HBase的新手。有没有人可以给我提供一个关于如何在HBase表中进行批量加载的详细示例。
例如，我有一个10列、100K行的客户文件。我想将文件加载到HBase表中。
我已经创建了一个由HIVE管理的HBase表，并尝试使用load命令加载该表，但失败了。
看起来我只需要从HBase插入表。
hive (Koushik)> CREATE TABLE hive_hbase_emp_sample(eid int, ename string, esal double)
> STORED BY 'org.apache.hadoop.hive.hb
浏览 1提问于2016-07-08得票数 1
我有一些使用MySQL的经验，最近我不得不做一些关于HIVE的工作。
这两个查询的基本结构非常相似，但HIVE中的GROUP BY似乎有一点不同……因此，我无法实现以前使用GROUP BY在MySQL中实现的功能。
下面是我的问题，假设我有一个包含A、B、C列的表，我想选择具有max的行。B列值按A列分组。我将执行以下操作：
SELECT A, max(B) FROM myTable GROUP BY A
上面的代码可以在HIVE中运行，没有问题。但是，如果我还想查看列C中的值，它与max在同一行中，该怎么办？B值？在MySQL中，我可以这样做：
SELECT A, max(B), C FRO
浏览 0提问于2012-05-25得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
