前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Hive常见的属性配置

Hive常见的属性配置

作者头像
栗筝i
发布于 2022-12-01 00:56:52
发布于 2022-12-01 00:56:52
36700
代码可运行
举报
文章被收录于专栏:迁移内容迁移内容
运行总次数:0
代码可运行

配置文件

默认配置文件:hive-default.xml 用户自定义配置文件:hive-site.xml

用户自定义配置会覆盖默认配置。另外,Hive也会读入Hadoop的配置,因为Hive是作为Hadoop的客户端启动的,Hive的配置会覆盖Hadoop的配置。配置文件的设定对本机启动的所有Hive进程都有效。

1、default数据仓库原始位置

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
<description>location of default database for the warehouse</description>
</property>

2、显示当前数据库,以及查询表的头信息配置

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
<property>
	<name>hive.cli.print.header</name>
	<value>true</value>
</property>
<property>
	<name>hive.cli.print.current.db</name>
	<value>true</value>
</property>

命令行参数

  • 启动Hive时,可以在命令行添加-hiveconf param=value来设定参数。

参数声明方式

  • 可以在HQL中使用SET关键字设定参数 例如:hive (default)> set mapred.reduce.tasks=100;仅对本次hive启动有效。
  • 查看参数设置hive (default)> set mapred.reduce.tasks;

优先级:配置文件<命令行参数<参数声明

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2020-07-22,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Hive快速入门系列(7) | Hive常见的属性配置
  1. Default数据仓库的最原始位置是在hdfs上的:/user/hive/warehouse路径下。
不温卜火
2020/10/28
8850
Hive快速入门系列(7) | Hive常见的属性配置
快速学习-Hive 安装
(3)修改 apache-hive-1.2.1-bin.tar.gz 的名称为 hive
cwl_java
2020/02/21
1.2K0
快速学习-Hive 安装
常见的3种Hive参数配置方法
Hive提供三种可以改变环境变量的方法,分别是:(1)、修改${HIVE_HOME}/conf/hive-site.xml配置文件;(2)、命令行参数;(3)、在已经进入cli时进行参数声明。下面分别来介绍这几种设定。
挖掘大数据
2018/01/19
2.6K0
【Hive】Hive 的基本认识
Hive 是由 Facebook 开源的基于 Hadoop 的数据仓库工具,用于解决海量「结构化日志」的数据统计。
阿泽 Crz
2020/07/21
1.5K0
【Hive】Hive 的基本认识
大数据技术之_08_Hive学习_01_Hive入门+Hive安装、配置和使用+Hive数据类型
  Hive:由Facebook开源用于解决海量结构化日志的数据统计(分析框架)。   Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。 本质是:将HQL转化成MapReduce程序。
黑泽君
2019/03/08
9580
大数据技术之_08_Hive学习_01_Hive入门+Hive安装、配置和使用+Hive数据类型
超实用干货!Hive 函数 + Shell编程的具体实践与运用
含义:connect to Hive Server on port number -hiveconf x=y Use this to set hive/hadoop configuration variables.
Wu_Candy
2022/07/05
7240
超实用干货!Hive 函数 + Shell编程的具体实践与运用
hive 配置文件以及join中null值的处理「建议收藏」
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/115574.html原文链接:https://javaforall.cn
全栈程序员站长
2022/07/10
9120
Hive简介
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。
用户1217611
2020/06/19
3.3K0
Hive简介
Hive中常用的一些配置操作(日志,显示等操作)
4.在HIve的 cli命令行上显示当前数据库,以及查询表的行头信息,在hive-site.xml文件下增加如下参数:
z小赵
2018/09/05
2.4K0
hive之路4-CLI和Beeline
beeline是hiveserver2的CLI,一个JDBC的客户端,分为两种模式
皮大大
2021/03/02
1K0
Hadoop Hive与Hbase整合+thrift
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
黄规速
2022/04/14
1.7K0
Hadoop Hive与Hbase整合+thrift
hadoop: hive 1.2.0 在mac机上的安装与配置
环境:mac OS X Yosemite + hadoop 2.6.0 + hive 1.2.0 + jdk 1.7.0_79 前提:hadoop必须先安装,且处于运行状态(伪分式模式或全分布模式均可) hive官网地址:http://hive.apache.org/ 建议:经个人实践,在mac OS X Yosemite 环境下,如果使用apache下载的原始hadoop 2.6.0,不管jdk安装成什么版本(1.6\1.7\1.8都试过),hive 1.2.0启动时,始终报jdk版本不匹配,后来在mac
菩提树下的杨过
2018/01/19
1.5K0
关于Hive命令的7个小技巧,你都清楚吗?
最近在看冰河大佬写的《海量数据处理与大数据技术实战》,该书涵盖以Hadoop为主的多款大数据技术框架实战的内容,兼顾理论与实操,是市面上难得的技术好书。本篇文章,我就分享一下从中学习到的关于Hive命令的7个小技巧,受益的朋友记得来发三连⭐支持一下哟~
大数据梦想家
2021/01/27
1.6K0
关于Hive命令的7个小技巧,你都清楚吗?
hive基础总结(面试常用)
hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 Metastore (hive元数据) Hive将元数据存储在数据库中,比如mysql ,derby.Hive中的元数据包括表的名称,表的列和分区及其属性,表的数据所在的目录 Hive数据存储在HDFS,大部分的查询、计算由mapreduce完成 Hive数据仓库于数据库的异同 (1)由于Hive采用了SQL的查询语言HQL,因此很容易将Hive理解为数据库。其实从结构上来看,Hive和数据库除了拥有类似的查询语言, 再无类似之处。 (2)数据存储位置。 hdfs raw local fs (3)数据格式。 分隔符 (4)数据更新。hive读多写少。Hive中不支持对数据的改写和添加,所有的数据都是在加载的时候中确定好的。 INSERT INTO … VALUES添加数据,使用UPDATE … SET修改数据 不支持的 HDFS 一次写入多次读取 (5) 执行。hive通过MapReduce来实现的 而数据库通常有自己的执行引擎。 (6)执行延迟。由于没有索引,需要扫描整个表,因此延迟较高。另外一个导致Hive执行延迟高的因素是MapReduce框架 (7)可扩展性 (8)数据规模。 hive几种基本表类型:内部表、外部表、分区表、桶表 内部表(管理表)和外部表的区别: 创建表 外部表创建表的时候,不会移动数到数据仓库目录中(/user/hive/warehouse),只会记录表数据存放的路径 内部表会把数据复制或剪切到表的目录下 删除表 外部表在删除表的时候只会删除表的元数据信息不会删除表数据 内部表删除时会将元数据信息和表数据同时删除 表类型一、管理表或内部表Table Type: MANAGED_TABLE
用户1217611
2019/05/25
8470
《快学BigData》--Hive总结(C)(43)
Hive 总结 - - - - - - - - - - - - - - - - - - - - - - - - - - - - 262
小徐
2019/08/05
9660
《快学BigData》--Hive总结(C)(43)
第五章 更换cdh版本,hive的安装使用,原理讲解
这里由于小编的这里在安装hive时,由于出现了启动hive时出现了和hadoop的版本不一致的原因,并且始终没有解决,所以就改变策略使用cdh版本的hadoop和hive.因为cdh版本的比较系统,兼容性好。因此要重新安装了。
全栈程序员站长
2022/08/05
1.4K0
第五章 更换cdh版本,hive的安装使用,原理讲解
Hive 0.13.1 on Hadoop2.2.0 + Oracle10g部署详解
http://mirrors.cnnic.cn/apache/hive/stable/apache-hive-0.13.1-bin.tar.gz
星哥玩云
2022/07/03
4290
hive mapreduce reducer 调优
hive参数配置详情可查官方文档:Hive Configuration+Properties
大数据工程师-公子
2019/03/14
3.1K0
hive安装配置(0.11版本)
1 假设Hadoop已经安装并配置正确,MySQL已经正确安装 2 为支持Hive的多用户多会话需求,需要使用一个独立的数据库存储元数据。   这里选择MySQL存储Hive的元数据,现在为Hive创建元数据库: mysql> create database hive; mysql> create user 'hive' identified by '123456'; mysql> grant all privileges on *.* to 'hive'@'%' with grant option; f
闵开慧
2018/03/30
7620
Hive常用参数调优十二板斧
hive.limit.optimize.enable=true --- 开启对数据源进行采样的功能 hive.limit.row.max.size --- 设置最小的采样容量 hive.limit.optimize.limit.file --- 设置最大的采样样本数
王知无-import_bigdata
2020/12/08
3.3K0
Hive常用参数调优十二板斧
相关推荐
Hive快速入门系列(7) | Hive常见的属性配置
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档