community-release-el7-8.noarch.rpm 3.安装 mysql57-community-release-el7-8.noarch.rpm： rpm -ivh mysql57-...community-release-el7-8.noarch.rpm 安装完后，cd /etc/yum.repos.d/ mysql-community.repo mysql-community-source.repo...4.安装mysql service yum install mysql-server 执行y 安装完毕删除 rm -rf mysql57-community-release-el7-8.noarch.rpm...'; Hive安装 1.官网下载安装包，上传到服务器，解压 2.配置环境变量 vim /etc/profile export HIVE_HOME=/root/hd/apache-hive-2.3.3...hive安装完毕！
Hive基础01、安装MySQL 目录 1、安装需要的包 2、卸载不需要的包 3、安装MySQL服务端 4、安装MySQL客户端 5、登录MySQL 6、修改密码 7、分配master权限 8、刷新权限...登录测试 ---- 1、安装需要的包 前置位置有【MySQL-server-5.1.73-1.glibc23.x86_64.rpm】和【MySQL-client-5.1.73-1.glibc23.x86..._64.rpm】 cd /opt/soft 通过yum安装Net-tools 包含如下程序，构成了 Linux 网络的基础。...ypdomainname同domainname. 2、卸载不需要的包 yum remove mysql-libs -y 3、安装MySQL服务端 rpm -ivh MySQL-server-5.1.73...-1.glibc23.x86_64.rpm 4、安装MySQL客户端 rpm -ivh MySQL-client-5.1.73-1.glibc23.x86_64.rpm 5、登录MySQL mysql
二、 安装Mysql 将Mysql安装包上传到服务器上，然后解压压缩包，使用命令:unzip mysql-libs.zip ?...OK,退出Mysql之后在重新登录一下，登录成功！ 三、Hive配置metastore 首先进入到Hive的安装目录中 /opt/moudles/hive-..... ...配置好后执行一下 bin/hive 在mysql数据库中可以看见 hive给自动创建的数据库 ? 查看一下这个数据库中的表 ?...upper ; # 测试这个函数 select id ,upper(name) uname from db_hive.student ; 五、配置Hive的日志 将Hive安装目录中conf下的...修改Hive日志的存放地址，（在Hive的安装目录中创建logs文件夹用来存放日志,然后配置 hive-log4j.properties 中的 hive.log.dir hive.log.threshold
Specified key was too long; max key length is 3072 bytes (state=42000,code=1071) org.apache.hadoop.hive.metastore.HiveMetaException...这个错误很低级 就是我已经mysql中创建过这张表了，所以执行schematool --dbType mysql --initSchema命令报错
上一篇博文我们讲了hive的操作，并且知道默认的derby数据库不支持并发执行，因此我们选用Mysql存储Metastore。那么这篇博文带来的是如何安装Mysql。 一....安装包准备 本系列所用到的安装包博主已经上传到百度云盘中，如有需要的可以自取。...查看 [root@hadoop001 hive]# rpm -qa|grep mysql 2....MySql中user表中的主机配置 配置只要是root用户+密码，在任何主机上都能登录MySQL数据库。 1....使用mysql数据库 mysql>use mysql; 4. 展示mysql数据库中的所有表 mysql>show tables; ? 5.
前言 Mysql中ResultSet默认会将一次查询的结果存入内存中。如果数据量比较大，就会占用大量的内存。如果内存不够，就会报错。..."); } } 读取Mysql package com.xhkjedu.mysql2hive; import com.alibaba.fastjson2.JSONObject; import...写入Hive package com.xhkjedu.mysql2hive; import com.alibaba.fastjson2.JSONObject; import org.apache.flink.configuration.Configuration...; import org.apache.flink.types.Row; public class Mysql2Hive { public static void main(String[]..."f" + i; } return new RowTypeInfo(types, fieldNames); } } 读 package com.xhkjedu.mysql2hive
Hive基础02、安装Hive 前置 开启【hdfs】，六个服务都要在。...start-all.sh jps 安装Hive 1、解压【Hive】 tar -zxvf apache-hive-2.1.0-bin.tar.gz 由于命名不合适，所以更换一下： mv apache-hive...文件中修改相关配置内容，修改如下 修改属性“javax.jdo.option.ConnectionURL”的值为“jdbc:mysql://localhost:3306/hive?...执行脚本 source /etc/profile.d/hive.sh 6、复制MySQL的驱动包到hive的lib文件夹下 cp /opt/soft/mysql-connector-java-5.1.39.../schematool -initSchema -dbType mysql -userName root -passWord 123456 成功
上传安装包 apache-hive-2.3.4-bin.tar.gz 解压 tar -xzvf apache-hive-2.3.4-bin.tar.gz -C /hd/ 重命名 ln -s apache-hive...环境变量起效果 source /etc/profile 修改配置文件 拷贝驱动mysql-connector-java-8.0.14.jar到 /hd/hive/lib 配置hive-site.xml... jdbc:mysql://192.168.154.201:3306/hive_metadata?...true javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver...=/home/centos/hive/resource 创建数据库表到mysql里面 schematool -initSchema -dbType mysql 验证hive是否安装成功 直接输入hive
在hive的安装目录下，进入conf目录，创建一个hive-site.xml文件 根据官方文档配置参数，拷贝数据到hive-site.xml文件中 https://cwiki.apache.org/confluence...（这有关上一篇安装MySQL的内容） 解压驱动包 ? 将mysql驱动复制到hive的lib目录里 ?...启动hive（别忘了先启动hdfs和yarn~~） start-dfs.sh start-yarn.sh hive 创建一张表，试试看元数据能否保存到MySQL里 ?...从上图中，可得知 元数据的结构 表的信息都存储在tbls表中，通过db_id和dbs表中的库进行外键约束！ 库的信息都存储在dbs表中！...字段信息存在在column_v2表中，通过CD_ID和表的主键进行外键约束！
承接安装系列环境 背景：Hive默认使用MapReduce作为执行引擎，即Hive on mr。...由于MapReduce中间计算均需要写入磁盘，而Spark是放在内存中，所以总体来讲Spark比MapReduce快很多。因此，Hive on Spark也会比Hive on mr快。...为了对比Hive on Spark和Hive on mr的速度，需要在已经安装了Hadoop集群的机器上安装Spark集群（Spark集群是建立在Hadoop集群之上的，也就是需要先装Hadoop集群，...环境说明(要么所有安装包基于cdh,要么都不基于) 操作系统：CentOS 7 Hadoop 2.6.0(按照原先文档安装) Zookeeper3.4.5(按照原先文档安装) Hbase1.1.4(按照原先文档安装...) Hive2.0(按照原先文档安装) Spark1.5.0 MySQL 5.1(按照原先文档安装) JDK
安装Mysql 在集群中选择一台节点进行安装mysql yum -y install mariadb-server mariadb 开启服务并配置开机自启 systemctl start...mariadb 所有节点安装mysql-connector驱动 yum -y install mysql-connector-java 安装之后的路径为/usr/share/java.../mysql-connector-java.jar 安装其他依赖包 yum -y install psmisc yum -y install perl...Hive的配置 hive只需要在一节点安装（服务端）即可 根据对应hadoop版本下载软件包 上传并解压到节点 配置环境变量 修改配置文件 cd ...../hive/conf # 去掉后面的模板后缀 # 1.hive-env.sh中添加信息: export JAVA_HOME=... export HADOOP_HOME=.
Centos 6.5是本文采用的操作系统 2， 安装mysql yum install mysql-server -y ?...启动mysql service mysqld status service mysqld start ?...测试 mysql -uroot -p123456 ? 整理认证权限 名字叫mysql的数据库中假如需要的认证。 ? 重点强调一定要执行: flush privileges; 二，安装Hive 1....本地安装测试 配置好HIVE_HOME等环境变量 # Hive export HIVE_HOME=/opt/modules/hive-1.2.1 export HIVE_CONF_DIR=$HIVE_HOME...推荐阅读： 1，Hadoop伪分布式集群安装部署 2，Spark部署模式另类详解 3，Hbase源码系列之BufferedMutator的Demo和源码解析
---- 软件准备 mysql安装包 下载地址：http://mirrors.sohu.com/mysql/ 我这里使用MySQL-5.6.26-1.linux_glibc2.5.x86_64....方法一：用rpm包手动安装 (1) 检查之前有没有安装过MySQL [root@hadoop01 ~]# rpm -qa | grep -i mysql mysql-libs-5.1.73-5.el6_...hadoop01 ~]# rm -rf /etc/my.cnf [root@hadoop01 ~]# rm -rf /var/lib/mysql (6) 把我们安装的MySQL安装包上传到服务器并解包...OPTION; mysql> FLUSH PRIVILEGES; 安装成功！...方法二：yum在线安装 (1) 执行yum install 命令安装server和client [root@hadoop01 ~]# yum install mysql-server [root@hadoop01
一.前述 由于Windows安装Mysql非常麻烦，所以分享一篇Linux中对MySQL的搭建，废话不多说，来,come on....二.步骤 2.1 yum安装 yum install mysql-server -y 2.2 启动MySQL服务 service mysqld start 最好加载到开机启动中去。...chkconfig mysqld on 2.3 进入Mysql命令行,修改权限 mysql -u root 1.use mysql; 2.select user,host from...6.退出客户端，重新登录 mysql -u root -p
1、安装MySQL # 1、下载mysql数据库 sudo apt-get install mysql-server mysql-client # 2、连接mysql，上一步创建过程中会要求输入密码，...FLUSH PRIVILEGES; # 4、退出 quit 4、其他常用命令 # 登录 mysql mysql -u root -p 输入密码：*** # 删除用户 mysql>Delete FROM...'; # 列出所有表 mysql>show tables; # 显示数据表结构 mysql>describe 表名; # 删除数据库和数据表 mysql>drop database 数据库名; mysql...>drop table 数据表名; # 数据库中的mysql.user表的用户帐号列表如下所示： mysql> SELECT user, host FROM mysql.user; 5、参考文档 Ubuntu...中安装MySQL
Linux中安装MySQL 一、准备工作 此处准备的操作系统位CentOS 7。....rpm 将准备好的安装包上传到操作系统中。...二、检查安装 安装MySQL之前，需要检查一下，系统是否自带了MySQL，检查命令如下： rpm –qa | grep –i mysql 如下图，本人的操作系统中自带了MySQL，那么下一步，就需要将系统自带的...三、增加用户及用户组 在系统中增加mysql用户组： groupadd mysql 增加用户组之后，增加mysql用户，并加入mysql用户组中，命令如下： useradd –r –g mysql mysql...四、安装MySQL 安装server，安装命令如下： rpm -ivh MySQL-server-5.6.29-1.linux_glibc2.5.x86_64.rpm 安装client，安装命令如下：
需要通过rpm相关指令，来查询当前系统中是否存在已安装的mysql软件包，执行指令如下： rpm -qa 查询当前系统中安装的所有软件 rpm -qa | grep mysql 查询当前系统中安装的名称带...mysql的软件 rpm -qa | grep mariadb 查询当前系统中安装的名称带mariadb的软件 通过rpm -qa 查询到系统通过rpm安装的所有软件，太多了，不方便查看，所以我们可以通过管道符...通过查询，我们发现在当前系统中存在mariadb数据库，是CentOS7中自带的，而这个数据库和MySQL数据库是冲突的，所以要想保证MySQL成功安装，需要卸载mariadb数据库。...，需要一个访问密码，而刚才在安装MySQL的过程中，并没有看到让我们设置访问密码，那这个访问密码是多少呢?...那实际上，对于rpm安装的mysql，在mysql第一次启动时，会自动帮我们生成root用户的访问密码，并且输出在mysql的日志文件 /var/log/mysqld.log中，我们可以查看这份日志文件
1.服务器及Mysql版本 百度云 CentOS / 8.1 x86_64 (64bit) mysql Ver 8.0.21 for Linux on x86_64 (Source distribution...) 2.执行yum命令进行安装 yum install mysql-server 3.查看Mysql版本 mysql -V 4.设置初始密码 记得用第5步,启动mysql才能设置密码. mysqladmin...root password 'new-password' #或者 set password for 'root'@'localhost' = password('new-password'); 5.Mysql...Server 状态 6.登录Mysql mysql -u root -p 7.设置Mysql用户的访问权限 %代表所有,默认的localhost只能在本机访问....下user表的字段值 8.创建mysql的其他用户并授权 root用户权限很大,用sqlyog之类的第三方连接或者平时写代码时用个小权限的用户就好了. 8.1 语法 GRANT privileges
一、第一种安装方式 不要使用此安装方式，讲述这种安装方式，仅仅用于测试hive默认使用derby数据库的缺陷。你可以在下面的安装步骤中看到，我连环境变量都没有配置。...也就是说，使用derby作为hive的默认数据库，不同用户之间元数据库不能共享，也就导致元数据信息不能共享，只能被当前用户"独享"。 二、第二种安装方式 推荐使用此种安装方式。...1）首先保证你的linux中安装好了mysql 2）上传安装包 3）解压 apps是我在家目录下的hadoop用户下(/home/hadoop)，已经创建好的一个文件夹。...--元数据库的连接地址：这里使用的是mysql数据库--> <!...安装目录的1ib目录下 7）元数据库的初始化 命令如下： schematool -dbType mysql -initSchema 效果如下： 8）启动命令：hive 9）测试:可以使用如下测试命令
3.选择使用MySQL作为Hive2的元数据库，在MySQL中创Hive2的数据库及访问用户 CREATE DATABASE hive2metastore DEFAULT CHARACTER SET UTF8...2.安装MySQL的JDBC驱动 [root@ip-172-31-5-171 hive-2.3.3]# cp /usr/share/java/mysql-connector-java-5.1.34.jar.../lib/mysql-* （可左右滑动） ?.../user/hive2/cmroot/ （可左右滑动） 8.创建Hive2的/tmp目录，并修改hive-site.xml中的配置 [root@ip...以上配置就完成了Hive2服务的配置，这里只是在单个节点上配置的，如果需要将Hive的HiveMetastore和HiveServer2服务安装不同的节点上，就需要将/opt/cloudera/hive
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
