使用多个字符集加载hive表中的数据

文章/答案/技术大牛

发布

1回答

将多个客户端数据加载到Hadoop的最佳实践

sql-server、hadoop、hive、sqoop、cloudera-quickstart-vm

我们正在使用Cloudera在Hadoop框架上创建POC。我们希望将多个客户端的数据加载到Hive表中。到目前为止，我们对Server上的每个客户端都有单独的数据库。我们有一些主维度表，它们对每个客户端都是相同的。所有客户端数据库都有完全相同的架构。这些表具有相同的主键值。到目前为止，这是

浏览 4提问于2016-01-27得票数 2

回答已采纳

1回答

character-encoding、hive、hdfs

我遇到的问题是，我有多个具有不同字符集的文件，例如一个文件具有中文字符集，另一个文件具有法国字符集，我如何将它们加载到单个配置子表中？我在网上搜索，发现了这个:-有了这个，我可以处理其中一个文件的字符集有没有办法一次性处理两个字符集？好的

浏览 12提问于2017-01-26得票数 4

1回答

当尝试将hdfs中的csv文件加载到hive表时没有选择行

hadoop、hive、hdfs

然后，我连接到Hive，并尝试使用以下语句创建一个外部表，指定我的csv文件在hdfs中的位置：当我执行这个命令时，它是在hive上创建一个外部表

浏览 0提问于2018-03-30得票数 0

1回答

如何使用apache nifi将多个json文件加载到具有正确映射的多个hive表中？

hadoop、hive、bigdata、apache-nifi

我需要使用apache nifi将基于表名的多个csv文件摄取到它们各自的配置单元表中。源json文件中的table_address数据应该转到配置单元中的table_address，其他表也是如此。简而言之，需要将源json文件中的记录分离到多个tablename.csv格式的csv文件<e

浏览 6提问于2019-04-10得票数 0

1回答

将胞外部表更改为同一数据库中的内部表也会删除另一个表中的数据。

java、hadoop、hive、hiveql、hive-table

我一直试图使用以下语句删除一个hive外部表落地式台架；此命令还从该数据库中的其他单元表中删除数据。此外，如果有任何方法，我们只能删除一个外部表，这是提到的，而不松散的其他数据。

浏览 1提问于2019-01-29得票数 3

1回答

Apache中的字符集、口音、特殊字符

hadoop、character-encoding、hive、diacritics

问题Variatï¿½ cancel

浏览 1提问于2015-04-29得票数 2

3回答

蜂窝:如果我手动将数据文件复制到表的位置文件夹中会发生什么？

hive、hdfs、load

我尝试将数据文件复制到表的location文件夹中(而不是使用load命令)，它的工作原理是我可以查询新数据。但是，我所看到的所有源都将使用load命令来执行此操作；它们从不谈论将数据文件直接复制到location文件夹。我给人的印象是，直接将文件复制到location文件夹并不是个好主意，但我看不出有什么解释可以解释为什么这是个坏主意。有人知道为什么不应该将数据文件直接复制到<

浏览 0提问于2018-12-25得票数 1

回答已采纳

2回答

何时使用Sqoop -创建-蜂窝表

hive、sqoop

有人能分辨出create-hive-table和hive-import方法的区别吗？两者都会创建一个蜂巢表，但每个表的意义究竟是什么？

浏览 1提问于2015-07-20得票数 5

1回答

如何加载和存储nvarchar

hadoop、character-encoding、hive、sqoop、nvarchar

堆栈:使用Ambari2.1安装HDP-2.3.2.0-2950 -以下步骤：在执行sqoop导入命令时，我没有使用任何与charset/unicode/utf-8相关的内容，导入也成功了。在创建Hive外部表时，我想知道应该为原始sql服务器表中的</em

浏览 3提问于2016-05-04得票数 0

2回答

如何使用python脚本将excel数据加载到单元格中？

python、python-3.x

我需要一个python脚本来使用python将多个excel表数据加载到hive表中。任何人在这方面有帮助。

浏览 11提问于2020-03-31得票数 0

5回答

Hive如何存储数据(从HDFS加载)？

hadoop、hive、hbase、hdfs、bigdata

在试图理解数据访问层(如Hive )的基本原理时，我需要了解表的数据(在Hive中创建)究竟存储在哪里？我们可以在Hive中创建外部和内部表。由于外部表可以在HDFS或任何其他文件系统中，因此Hive不将此类表的数据存储在仓库中。内部桌子呢？此表将作为Hadoop集群上<em

浏览 11提问于2015-10-28得票数 4

2回答

加载或指向多个拼板路径，用于用蜂巢或预存储程序进行数据分析

amazon-s3、apache-spark、hive、parquet、presto

我喜欢做的是拆分一个AWS EMR集群，并将拼板文件加载到HDFS中，并对其运行我的查询。我已经知道了如何用蜂巢创建表，并将其指向一个s3路径。但这就限制了我的数据只有一天。因为日期的每一天都有多个文件在路径下，如因此，问题之一是如何将多天的数据<e

浏览 5提问于2016-04-14得票数 2

1回答

在配置单元中加载数据时处理多个分隔符

hive、sqoop

我使用sqoop从db2导入数据，并使用'|‘作为字段delimiter.Then，使用load data命令将这些数据加载到hive表中。在hive table create语句中，我也使用了字段分隔符作为'|‘，但从源端为一列，我在数据本身中找到了30个记录中的1M个记录中的'

浏览 12提问于2020-09-30得票数 0

回答已采纳

3回答

将数据从HDFS复制到配置单元中的外部表时出错

hadoop、hive

我正在尝试将hdfs中的数据插入配置单元中的外部表。但是得到了低于错误。Usage: java FsShell [-put <localsrc> ...<dst>]命令 table location : hdfs://sandbox:8020

浏览 0提问于2018-07-03得票数 2

2回答

如何使用create- Hive* -table在配置单元中创建表时使用自定义分隔符*

mysql、hadoop、hive、sqoop

我正在尝试将数据从RDBMS表导入HDFS。然后，我使用create- hive -table将模式复制到配置单元，然后将数据加载到该配置单元表。testingsqoop -m 1 --fields-terminated-by ',' --enclosed-by "\'" --lines-terminated-by "\n" 用于创建配置单元表的命令"\n

浏览 5提问于2016-01-27得票数 1

2回答

在带有蜂巢的特定单词之前提取文本

regex、string、hadoop、text、hive

我在列中有如下所示的数据：提前谢谢。

浏览 5提问于2017-09-08得票数 0

回答已采纳

2回答

创建外部表但warehose为空？

hadoop、hive

我使用的是hive v0.13 我的数据存储在hdfs中，我使用create "CREATE external TABLE"为这些数据创建一个表。一切正常，我可以发出"select"语句。问题在仓库目录(hive.metastore.warehouse.dir)下，我没有看到添加任何files/data，这正常吗？我知道使用"externa

浏览 1提问于2015-06-04得票数 0

1回答

是否可以将蜂巢数据加载到Vora中？

hive、sap、hana、vora

到目前为止，我能够将CSV和ORC文件从HDFS加载到Vora，但能够从Hive加载吗？在没有将Hive指定为源的情况下，我尝试使用等于/app/hive/仓库/tablename/00000_0的“路径”(或任何部分文件名)。但是，如果一个Hive表是由/tablename/目录中的多个文件表

浏览 2提问于2016-06-02得票数 0

回答已采纳

2回答

如何将多个文本文件组合到一个Hive表中

sql、hadoop、hive

我目前正在尝试编写一个Hive脚本，以获取目录路径，并生成一个Hive表，将路径中的所有不同文件组合在一起。我已经找到了如何加载文件，因为我知道直接路径到他们，但我如何做到这一点，而不知道所有的文件路径？如果我知道给定目录/combine的路径，我就会这样做：LOAD DATA INPATH'

浏览 1提问于2018-04-27得票数 0

回答已采纳

2回答

AWS数据管道:将数据转储到3个s3节点

amazon-web-services、aws-lambda、aws-data-pipeline

我有一个用例，其中我想从DynamoDB获取数据并对数据进行一些转换。在此之后，我希望创建3个csv文件(相同数据上将有3个转换)，并将它们转储到3个不同的s3位置。我的架构应该是这样的：是否可以这样做呢？我似乎找不到任何关于它的文件。如果不可能使用管道，还有其他服务可以帮助我处理用例吗？这些垃圾场将每天安排。我的另一个考虑是使用aws lamda。但根据我的理解，它是基于事件触发

浏览 2提问于2019-02-22得票数 0

回答已采纳

点击加载更多

将多个客户端数据加载到Hadoop的最佳实践