注:Hadoop-2.7.7、Hive-2.1.1、spark-1.6.0-bin-hadoop2.6,操作系统是Ubuntu18 64bit。最近做Hive on spark的任务,记录下。
List-1.1
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/software/docker/hadoop/hadoop-2.7.7/data/tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://127.0.0.1:9000</value>
</property>
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
</configuration>
List-1.2
<configuration>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/software/docker/hadoop/hadoop-2.7.7/data/data</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/software/docker/hadoop/hadoop-2.7.7/data/name</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
List-1.3
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
List-1.4
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
</property>
</configuration>
将Hadoop写到环境变量里面,在/etc/profile中加入如下
List-1.5
#hadoop
export HADOOP_HOME=/opt/software/docker/hadoop/hadoop-2.7.7
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
启动Hadoop,命令行执行start-dfs.sh和start-yarn.sh,没有报错,之后命令行运行"hadoop fs -ls /"没出错,就ok了。如果报错,可以去看日志文件。
List-2.1
<property>
<name>system:java.io.tmpdir</name>
<value>/tmp/hive/java</value>
</property>
<property>
<name>system:user.name</name>
<value>${user.name}</value>
</property>
将Hive配置到环境变量里面,修改/etc/profile,加入如下内容,之后"source /etc/profile"
List-2.2
#hive
#export HIVE_HOME=/opt/software/docker/hadoop/apache-hive-2.1.1-bin
#export PATH=$HIVE_HOME/bin:$PATH
之后命令行执行"schematool -initSchema -dbType mysql",没有报错,报错的话,看Hive日志。
命令行执行hive命令,就进入Hive CLI了,之后可以执行创建表等操作。
因为Hive的计算引擎默认是map reduce,比较慢,我们想要将Hive的计算引擎设置为Spark。
这是最坑的部分。
要很注意的一点是hive和的版本要和spark的版本对应,可以看这里 。由于上面我们使用的Hive版本2.1.1,所以,我们选用的Spark版本是1.6.0。
不能使用从apache spark官网下载的bin直接使用,因为那个里面,有与hadoop/hive有关的代码,我们要自己编译。
从github下载spark源码。安装scala,我安装的是2.12,/etc/profile如下
List-3.1.1
#scala
export SCALA_HOME=/opt/software/tool/scala2.12
export PATH=$SCALA_HOME/bin:$PATH
之后进行spark源码目录,使用List-3.1.2中的命令进行打包,之后会看到一个名为"spark-1.6.0-bin-hadoop2-without-hive.tgz"的新文件。
List-3.1.2
./make-distribution.sh --name "hadoop2-without-hive" --tgz "-Pyarn,hadoop-provided,hadoop-2.6,parquet-provided"
其实我的Spark伪分布式是用官网下的包安装的,只是用List-3.1.2中lib下的spark-assembly-1.6.0-hadoop2.6.0.jar替换官网二进制安装的spark的lib下的spark-assembly-1.6.0-hadoop2.6.0.jar。
在SPARK_HOME/conf下,"cp spark-defaults.conf.template spark-defaults.conf",spark-defaults.conf的内容如下List-3.2:
List-3.2
spark.master spark://127.0.0.1:7077
spark.eventLog.enabled true
spark.eventLog.dir hdfs://127.0.0.1:9000/opt/applogs/spark
spark.serializer org.apache.spark.serializer.KryoSerializer
spark.driver.memory 512M
spark.executor.extraJavaOptions -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"
"cp spark-env.sh.template spark-env.sh",之后spark-env.sh内容如下,网上说的SPARK_DIST_CLASSPATH=%(hadoop classpath)不生效。
List-3.3
export JAVA_HOME=/opt/software/tool/jdk1.8
export HADOOP_HOME=/opt/software/docker/hadoop/hadoop-2.7.7
export SCALA_HOME=/opt/software/tool/scala2.12
export HADOOP_CONF_DIR=/opt/software/docker/hadoop/hadoop-2.7.7/etc/hadoop
export SPARK_MASTER_IP=mjduan-host
export SPARK_WORKER_MEMORY=3072M
export SPARK_DIST_CLASSPATH=$(/opt/software/docker/hadoop/hadoop-2.7.7/bin/hadoop classpath);
要修改Hive的hive-site.xml:
将hive.execution.engine的值改为spark。
在hdfs上新建目录/yarn,并将List-3.1.2中得到的spark-assembly-1.6.0-hadoop2.6.0.jar放到hdfs的/yarn目录下;在hdfs上新建目录/opt/applogs/spark。
之后在hive-site.xml中加入如下List-3.4:
List-3.4
</property>
<property>
<name>spark.master</name>
<value>spark://127.0.0.1:7077</value>
</property>
<property>
<name>spark.eventLog.enabled</name>
<value>true</value>
</property>
<property>
<name>spark.eventLog.dir</name>
<value>hdfs://127.0.0.1:9000/opt/applogs/spark</value>
</property>
<property>
<name>spark.executor.memory</name>
<value>512M</value>
</property>
<property>
<name>spark.serializer</name>
<value>org.apache.spark.serializer.KryoSerializer</value>
</property>
<property>
<name>spark.yarn.jars</name>
<value>hdfs://hdfs:9000/yarn/spark-assembly-1.6.0-hadoop2.6.0.jar</value>
</property>
<property>
<name>hive.enable.spark.execution.engine</name>
<value>true</value>
</property>
<property>
<name>spark.home</name>
<value>/opt/software/docker/hadoop/spark-1.6.0-bin-hadoop2.6</value>
</property>
<property>
<name>spark.executor.extraJavaOptions</name>
<value>-XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"</value>
</property>
之后重启Hive;进入SPARK_HOME/sbin,执行./start-all.sh,可以查看日志,日志中有Spark的UI界面地址。
命令行执行hive,进入hive CLI,执行命令"set hive.execution.engine;"可以看到当前正在使用的计算引擎。在hive CLI中创建表、插入数据,没有报错,基本ok了。
默认情况下,Hive中我们执行update/delete语句,会报错List-4.1中的错误,我们要修改hive-site.xml文件,怎么修改参考这篇。之后重启hive,如果要对表中的数据进行update/delete,那么建的表是"clustered by xxxxx..."这种的,不然会报
List-4.1
Attempt to do update or delete using transaction manager that does not support these operations
List-4.2
Attempt to do update or delete on table default.test that does not use an AcidOutputFormat or is not bucketed
涉及的东西很多,到处搜。
(adsbygoogle = window.adsbygoogle || []).push({});