前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >如何获取Hive正在执行或已结束的SQL语句

如何获取Hive正在执行或已结束的SQL语句

原创
作者头像
hallelujah
修改2018-08-29 09:59:34
9.9K0
修改2018-08-29 09:59:34
举报
文章被收录于专栏:大数据技术分享

本文主要介绍两种方式来获取Hive正在执行或者已结束的的MapReduce作业的SQL语句,一种是通过MapReduce API获取执行作业的xml配置文件,另一种是通过Cloudera Manager界面直接查看。


1.通过YARN执行作业的xml配置文件

1.通过Hue执行SQL查询,Job Browser页面可以获取该SQL执行的ApplicationID,如下:

2.通过ApplicationID获取正在执行作业的配置信息,执行如下:

代码语言:javascript
复制
curl -H "Accept: application/json" -X \
GET http://master:8088/proxy/application_1534299721148_0845/ws/v1/mapreduce/jobs/job_1534299721148_0845/conf > a.xml

通过hive.query.string属性过滤查看a.xml文件

通过获取接口,可获取运行中Hive作业的SQL语句,该信息对应HDFS的 /user/$USER/.staging/$JOBID/job.xml文件

3.如果作业执行完成将接口改为JobHistory的API接口执行,执行如下:

代码语言:javascript
复制
curl -H "Accept: application/json" -X \
GET http://master:19888/ws/v1/history/mapreduce/jobs/job_1534299721148_0845/conf > b.xml

通过hive.query.string属性过滤查看b.xml文件

通过JobHistory的API接口,可获取Hive历史作业执行SQL语句,该信息对应HDFS的/user/history/done/2018/08/28/000000/job_1534299721148_0845_conf.xml文件


2.通过Cloudera Manager

1.选择Yarn的“应用程序”->“Suggestions”->"Hive应用程序"

2.选择某个Hive作业,点击箭头可以展开查看完整的SQL,并察看查询的基本统计信息

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档