是否可以通过Sqoop将数据导入到Hive表中，存储为Parquet，并且之前使用decimal和timestamp数据类型创建？
浏览 2提问于2017-04-07得票数 0
我需要通过创建hive/impala表将数据从mysql数据库摄取到Hadoop。我在mysql中有nvarchar和bit数据类型，所以在创建hive表时，在HIVE/Impala中声明什么是最合适的数据类型。我在考虑使用字符串吗？
浏览 19提问于2017-03-14得票数 0
我正在编写一个spark程序来读取postgres db中的数据，并将相同的数据移动到HDFS上的Hive。我能读到postgres的数据。在将数据移动到Hive之前，我必须在Hive上为相同的数据创建模式和表，并使用我们的项目提供的类似于postgres的数据类型。smallint，则应该在Hive上将其设置为int。获得了模式现在，tbSchema以：org.apache.spark.sql.types.StructType
浏览 0提问于2018-07-26得票数 2
回答已采纳
master spark://Andres-MacBook-Air.local:7077 --conf spark.sql.warehouse.dir=/tmp/spark-tests --hiveconf hive.server2
浏览 0提问于2018-07-25得票数 2
在我的开发框中，我有MapR 3.0.2、Hive 0.11、HCatLog 0.4.1和Pig 0.12。我使用HCatlog从Pig (Pig Latin)读取和写入Hive表，使用标准查询，我的Hive表包含TIMTESTAMP数据类型(几列)，因此紧跟在GRUNT中的这条语句之后，我得到的错误是
ERROR org.apache.pi
浏览 1提问于2014-05-27得票数 3
我正在寻找一种动态处理数据类型转换的方法。SparkDataframes，我正在使用hive SQL将数据加载到Dataframe中，并将其存储到dataframe中，然后写入到parquet文件中。Hive无法读取某些数据类型，我希望将decimal数据类型转换为Double。是否有任何方法可以动态处理数据类型，而不是单独指定每个列的名称。假设在我的dataframe中，8列中有50列是小数，并且需要将所有8列转换为双精度数据类型，而不指定列名。我们
浏览 3提问于2017-05-16得票数 0
我知道VARIANT数据类型可用于加载非结构化文件，但是此数据类型是否支持Avro ie -第1天名称为avro文件中的记录类型和第2天更改为数组的联合数据类型。在Hive中，我将能够在UNION数据类型的帮助下读取这两个记录，snowflake是否提供了从表中读取记录和数组元素的相同类型的支持？
致以问候，戈壁
浏览 1提问于2020-05-13得票数 0
我希望导出并绑定hive表列到mysql表的指定列，该列具有不同的列顺序，但数据类型相同。sqoop导出--连接jdbc:mysql://localhost/散户_ export --用户名根--密码cloudera --表mysql_tb_name --列order_date，revenue_demo--导出-dir/user/hive/仓库/source_db/source_tb-输入-字段-终止于&qu
浏览 2提问于2018-03-25得票数 0
在Hive表中存储Blob数据类型的最佳方式是字符串还是二进制？将BLOB数据存储到Hive二进制是推荐的方法，或者我们还有其他方法吗？
浏览 19提问于2018-09-26得票数 1
2回答
我试图使用hive将日期和时间戳值存储在时间戳列中。源文件包含日期或有时是时间戳的值。2015-10-10 12:00:00.232我得到的输出： 2015-10-10 12:00:00.232是否可以使用时间戳数据类型读取这两个值STORED AS INPUTFORMAT
'org.apache.hadoop.mapred.TextInputFormat
浏览 4提问于2016-04-13得票数 0
回答已采纳
1回答
存在于Hive中的表格格式如下：col_id doublecol_nmcols_nm stringcol_state_cd string hive-e 'set hive.cli.print.header=true; select * from table_name&
浏览 4提问于2015-06-25得票数 0
回答已采纳
2回答
我们目前正在记录使用MySQL的几个网站的印象数据，并正在寻找一个更合适的替代记录流量的高流量，我们的网站现在看到。我们在MySQL数据库中最终需要的是聚合数据。需要注意的是，这个表活动几乎完全是、写，而且很少读取。(与SO：上的这个用例不同)。我们通过按范围划分数据并执行批量插入来解决一些MySQL性能问题，但从总体上讲，我们不应该使用MySQL。我们在MySQL数据库中最终需要的是聚合数据，我相信还有更适合这个用例的大容量日志记录部分的其他技术。我特别想知道的是，哪些平台最适合大容量
浏览 3提问于2015-09-09得票数 1
回答已采纳
./ --connect jdbc:mysql://localhost/mydb --username root --password yashu123 --table shipper --m 1 --Consider using -P instead.
2017-02-07 10:30:00,349 INFO [main] manager.MySQLManager: Preparing to use a MySQLAccording to MySQL 5.5.45+, 5.6.26+ and 5.
浏览 27提问于2017-02-07得票数 0
3回答
我担心的是Spark为hive创建了另一个仓库，并且没有使用我想要的数据仓库。因此，我的服务器上的所有配置单元表，我无法将这些配置单元表读取到我的Spark数据集中，也无法进行任何转换。我只能创建和处理新表，但我希望在hive中读取我的表。我的hive-site.xml :- <name>javax.jdo.option.ConnectionURL</name>
<value>
浏览 1提问于2016-11-11得票数 1
sqlCon.sql("create table hive_6(id Int,name String) partitioned by (date String) row format delimitedfields terminated by ','");
sqlCon.sql("load data local inpath '/home/cloudera/file.txt' into table hive_6 partition(date='19
浏览 0提问于2016-07-20得票数 2
1回答
我试图使用Sqoop将NFL结果的MySQL表导入HDFS。为此，我发布了以下命令：--connect jdbc:mysql://127.0.0.1:3306/nfl \--
浏览 1提问于2016-06-22得票数 2
回答已采纳
我有一个数据集，它具有简单(字符串)和复杂数据类型的组合，用管道分隔。)|PID(String)|DEVID(String)|FIRSTNAME(String)|LINK(String which is a JSON)如何读取上述数据并转换为数据格式(使用StructType模式)以插入到Hive表中。如何将链接列数据加载到Hive表中，它在表中的数据类型是什么。。
浏览 1提问于2019-10-30得票数 0
下面是最后几行结果的片段： OK Loading data to table default.departmentschgrp: changing ownership of
浏览 3提问于2016-12-03得票数 0
2回答
我面临这样的问题:当我输入一个带有spark.sql数据的Hive时间戳字段时，时间被奇怪地更改为21:00:00！我有一个用spark.sql读取的csv文件。我读取该文件，将其转换为dataframe并将其存储在一个Hive表中。此文件中的一个字段是日期，格式为"3/10/2017“。我想输入的Hive字段是格式的(我使用此数据类型而不是日期的原因是我想用Impala查询表，而Impala只有时间戳，所以它不是简单地更改数据类型
浏览 1提问于2017-11-22得票数 1
回答已采纳
我正在尝试在我的EMR Spark/Hive集群上运行示例。(Hive.java:2453) at org.apache.hadoop.hive.ql.session.SessionState.start(Hive.java:2453)
at org.apache.hadoop.hive.
浏览 23提问于2015-04-15得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
