放弃不难，但坚持很酷~ HUE版本：3.12.0 Ambari版本：2.6.1.0 HDP版本：2.6.4 Spark版本：2.2.0 前言 通过浏览器访问ip:8888登陆HUE界面，首次登陆会提示你创建用户...本篇文章再给大家讲述一下如何配置并使用Spark Notebook。 一、修改hue.ini 1....配置Spark 打开hue.ini文件，找到【yarn_clusters】【default】，修改spark_history_server_url值。...其中 liuyzh2.xdata是Spark2 History Server所在机器的主机名 18081端口是Spark2的spark.history.ui.port属性值 HUE是通过livy server...当新建了一个pySpark Notebook后，后台会以登陆HUE系统页面的用户身份（比如hue）新建一个livy-session-xx的Spark应用程序，如下图所示： ?
、Impala、HBase、Solr等，在Hue3.8版本后也提供了Notebook组件（支持R、Scala及python语言），但在CDH中Hue默认是没有启用Spark的Notebook，使用Notebook...运行Spark代码则依赖Livy服务。...3.在hue_safety_value.ini中添加如下配置启用Notebook功能 [desktop] app_blacklist= [spark] livy_server_host=cdh02.fayson.com...6.运行Spark Notebook成功可以看到Livy中已成功创建了Spark Session会话 ? Yarn界面 ?...2.创建Spark Notebook则需要依赖Livy服务，需要在集群中部署Livy服务并在Hue中配置Livy环境。
查询 2.Hive设置执行引擎为Spark Hive配置了Spark作为默认执行引擎，在通过Hue执行Hive查询后，退出Hue后Spark的Session并为随着Hue的退出而关闭，操作如下： 登录Hue...查看Yarn的界面显示该Spark Session正在运行 ? 此时退出Hue界面，观察0003的作业任然在运行并为随着Hue的退出而关闭 ?...2.解决方法 ---- 针对上述问题，有如下两种方式解决： 1.从CDH5.8版本开始，在Hue上提供一个用来关闭Spark Session的按钮，用户可以使用此功能来关闭当前会话，操作如下： ?...3.总结 ---- 1.由于Hive使用Spark引擎，所以不同的用户登录Hue执行Hive查询都会创建一个Spark Session会话，如果不关闭会话就会产生大量的未关闭Spark作业占用集资源。...2.同一个用户重复登录Hue不会重复的创建Spark Session 3.上述提供两种方式来关闭会话，一种需要用户手动的操作关闭会话，另一种方式通过HiveServer2服务的会话超时时间来自动结束Spark
1.文档编写目的 本篇文章主要介绍如何使用解决CDP7.1.6的Hue中的Spark Notebook与Livy无法进行集成的问题。...修改配置 1.修改Hue的源码（Hue Server节点的都进行修改） [root@c1 ~]# cd /opt/cloudera/parcels/CDH/lib/hue/desktop/core/src...配置 5.在Hue的配置中搜索hue_server_hue_safety_valve，在配置中添加如下内容 [desktop] app_blacklist=zookeeper,oozie,jobsub,...的Web UI页面，执行一条Spark SQL语句 4.总结 1.Hue本身是模拟用户来执行的， 再通过安全认证的方式访问Livy再去让Livy模拟用户，这样就会导致一个问题， Livy只会认为你是...Hue用户，而又要让Hue用户去模拟其他的用户，最终提示模拟不了的问题，所以要关闭Livy的HTTP Kerberos认证。
放弃不难，但坚持很酷~ HUE版本：3.12.0 Spark版本：1.6.3 Ambari版本：2.6.1.0 HDP版本：2.6.4 前言 通过浏览器访问ip:8888登陆HUE界面，首次登陆会提示你创建用户...，这里使用账号/密码：hue/hue登陆。...-91/spark/lib/* /user/hue/oozie/workspaces/workflows/spark-scala/lib/ 执行结果如图所示： ?...六、查看结果 打开/user/hue/oozie/workspaces/workflows/spark-scala/output，会生成三个文件，如下图所示： ?...七、总结 在HUE上通过oozie调用Spark工作流： 本篇文章是使用的HUE官方自带的Spark示例，我们需要提前下载。
1.文档编写目的 ---- 使用Hue可以方便的通过界面制定Oozie的工作流，支持Hive、Pig、Spark、Java、Sqoop、MapReduce、Shell等等。Spark？...那能不能支持Spark2的呢，接下来本文章就主要讲述如何使用Hue创建Spark1和Spark2的Oozie工作流。...自带的example例子上传到/user/hue/oozie/workspaces/hue-oozie-1507832616.28/lib目录 [ec2-user@ip-172-31-22-86 jars...hdfs hadoop fs -put spark-examples_2.11-2.1.0.cloudera1.jar /user/hue/oozie/workspaces/hue-oozie-1507832616.28...-cdh5.11.2.jar /user/hue/oozie/workspaces/hue-oozie-1507860705.24/lib [ec2-user@ip-172-31-22-86 lib]$
具体安装步骤： 依赖包安装 安装npm 安装hue 集群文件修改 hue配置 hue初始化 启动hue服务 1.依赖包安装 yum install -y ant asciidoc cyrus-sasl-devel...3.1解压安装包 将hue的安装包上传到服务器上，然后进行解压 unzip hue-release-4.5.0.zip 3.2编译Hue包 进入hue-release-4.3.0目录，然后进行编译安装...cd hue-release-4.5.0 PREFIX=/opt/moudle make install 编译完成之后，会在/opt/moudle目录生成一个hue文件夹 如果编译失败，重新编译安装前需要进入...-- HUE --> hadoop.proxyuser.hue.hosts * <property...hue syncdb build/env/bin/hue migrate 7.启动hue服务 groupadd hue useradd -g hue hue # 在hue安装路径下执行 build/env
1.文档编写目的 ---- 目前Oozie 的 SparkAction 仅支持Spark1.6, 而并不支持Spark2, 这是 CDH Spark2已知的局限性（https://www.cloudera.com.../documentation/spark2/latest/topics/spark2_known_issues.html#ki_oozie_spark_action ），作为临时的解决方案，您可以使用...继上一篇如何使用Hue创建Spark1和Spark2的Oozie工作流的实现方式外，本文档主要讲述使用shell的方式实现Hue创建Spark2的Oozie工作流。...内容概述 创建shell脚本 创建Oozie工作流 作业调度测试 测试环境 Spark2.1.0 Hue3.9.0 Oozie4.1.0 2.创建sparkJob.sh脚本 ---- 创建一个shell..., 而并不支持Spark2, 这是 CDH Spark2已知的局限性，作为临时的解决方案, 您可以使用 Oozie 的 ShellAction 来调用 Spark2作业。
相信大家在看了《Hue的安装,配置,编译》之后,都已经成功把Hue安装好了。 ? 接下来,小菌为大家分享的是如何在Hue上集成HDFS!...把数据同步到每台节点上之后,我们接着需要修改hue安装目录下的文件 3.修改hue.ini cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf vim...做完了上面的步骤，到这一步就只剩下重启HDFS和Hue了 因为我们配置了Hadoop的环境变量，所以直接在命令行输入 stop-dfs.sh关闭HDFS,然后再start-dfs.sh开启集群。...启动Hue也很简单 直接输入以下命令即可 cd /export/servers/hue-3.9.0-cdh5.14.0/ build/env/bin/supervisor 然后,来到我们的Hue的UI...看到类似这样的效果,说明我们的Hue集成HDFS就成功了 当然,大家在启动Hue的时候可能会遇到端口被占用的情况,具体的解决方案可以去看看《Hue启动异常,提示address already in use
本篇博客小菌为大家带来的是关于Apache Hue 的介绍!...1．Hue是什么 HUE=Hadoop User Experience Hue是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera...2．Hue能做什么 访问HDFS和文件浏览 通过web调试和开发hive以及数据结果展示 查询solr和结果展示，报表生成 通过web调试和开发impala交互式SQL Query spark调试和开发...3．Hue的架构 Hue是一个友好的界面集成框架，可以集成各种大量的大数据体系软件框架，通过一个界面就可以做到查看以及执行所有的框架。...因为本篇博客主要为大家介绍Hue的基础知识,关于应用更多停留在的是理论层面。下篇博客,小菌将为大家带来关于Hue的安装及应用,敬请期待!!!
本篇博客,小菌为大家带来的是Hue集成Hbase的分享。 1.修改hbase配置 在hbase-site.xml配置文件中的添加如下内容，开启hbase thrift服务。...配置 cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf vim hue.ini 大约在1244行 修改如下部分内容 [hbase] # Comma-separated...thrift_transport=buffered 4.启动hbase(包括thrift服务),hue 需要启动hdfs和hbase，然后再启动thrift。...start-dfs.sh start-hbase.sh hbase-daemon.sh start thrift 重新启动hue cd /export/servers/hue-3.9.0-cdh5.14.0.../ build/env/bin/supervisor 通过网址http://node01/hue/ 进行访问 ?
上一篇博客为大家介绍了Hue集成HDFS，本篇我们继续,为大家带来Hue如何集成Hive!...首先进入到Hue的conf目录下 /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf 修改Hue.ini 根据下面的内容对文件中对应的属性进行修改...auth_password=123456 [metastore] #允许使用hive创建数据库表等操作 enable_new_create_table=true 启动Hive服务、重启hue...cd /export/servers/hue-3.9.0-cdh5.14.0/ build/env/bin/supervisor 启动成功之后,我们再来到Hue的UI界面 ?...看到类似这样的效果说明我们的Hue集成Hive就 成功了。 那么本次的分享就到这里了,受益的小伙伴们或对大数据技术感兴趣的朋友们记得关注小菌哟٩(๑❛ᴗ❛๑)۶
本篇博客,小菌为大家带来的是Hue如何集成MySQL。...首先进入到Hue的conf目录下 /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf 修改hue.ini 需要把mysql的注释给去掉。...host=node1 # 默认端口 port=3306 # 用户名 user=root # 密码 password=123456 重启hue...cd /export/servers/hue-3.9.0-cdh5.14.0/ build/env/bin/supervisor 进入到Hue的UI界面 ?...看到类似这样的效果说明我们的Hue集成MySQL就 成功了。 那么本次的分享就到这里了,受益的小伙伴们或对大数据技术感兴趣的朋友们记得关注小菌哟٩(๑❛ᴗ❛๑)۶
参考：https://www.cnblogs.com/hongfeng2019/p/11579504.html https://zhuanlan.zhihu....
因为测试需求，需要将各个开源平台整合到一个大的平台中，所以引入了hue，具体操作步骤如下： 此次引入了有postgre，hive，phoenix，hbase，yarn，hdfs 1.拉取镜像 直接从dockerhub...拉取已经编译好的hue： docker pull gethue/hue ?...2.开启镜像安装相应的软件并修改hue.ini 开启镜像命令：docker run -it -p 8888:8888 --add-host:xxx.com:你的ip gethue/hue:latest...进入镜像，因为要使用root用户操作，所以进入命令如下： docker exec -ti --user root 容器id bash 我这个版本的hue镜像存在/usr/share/hue/desktop...： vim hue.ini 修改配置如下： 修改时区： ?
配置cd /etc/hue/conf vi hue.ini desktop default_hdfs_superuser hadoop HDFS管理用户 desktop http_host 10.10.41.123...Hue Web Server所在主机/IP desktop http_port 8000 Hue Web Server服务端口 desktop server_user hadoop 运行Hue Web...Server的进程用户 desktop server_group hadoop 运行Hue Web Server的进程用户组 desktop default_user yanjun Hue管理员 hadoop
支持基于Solr进行搜索的应用，并提供可视化的数据视图，以及仪表板（Dashboard） 支持基于Impala的应用进行交互式查询 支持NoteBook，其NoteBook支持多种编程语言，比如py-spark...创建hue用户 # 创建hue用户 useradd hue # 将hue源码的用户所有者/组改为hue chown -R hue:hue /usr/local/hue 2....启动hue # hue默认使用sqlite引擎 # 初始化数据库 /usr/local/hue/build/env/bin/hue syncdb --noinput /usr/local/hue/build...DB，同时确保安装目录下所有文件的owner都是hue用户 chown -R hue:hue hue 3..../hue/syncdb.log chown -R hue:hue syncdb.log ----
3) 编译安装Hue 解压Hue安装包，然后执行 make install PREFIX=/usr/local 进行安装！.../usr/local/hue-3.11.0 带上版本号是个好习惯，安装好后再建一个软链接，如：ln -s /usr/local/hue-3.11.0 /usr/local/hue。...4) 修改desktop/conf/hue.ini A) [desktop] I) 为secret_key指定一个值，如ABC123，可以不指定，但Hue Web将不能保持会话。...5) 启动Hue 进入Hue的build/env/bin目录，然后执行supervisor即可启动Hue服务。...6) 打开Web 假设Hue安装在192.168.1.22，服务端口号为8080，则只需要在浏览器中输入：http://192.168.1.22:8080即可进入Hue Web界面。
Hue介绍 Hue是一个可快速开发和调试Hadoop生态系统各种应用的一个基于浏览器的图形化用户接口。 ...Hue作用 1，访问HDFS和文件浏览 2，通过web调试和开发hive以及数据结果展示 3，查询solr和结果展示，报表生成 4，通过web调试和开发impala交互式SQL Query 5...，spark调试和开发 6，Pig开发和调试 7，oozie任务的开发，监控，和工作流协调调度 8，Hbase数据查询和修改，数据展示 9，Hive的元数据（metastore）查询 10，MapReduce...这样的话，我用的ambari继承的hue。...直接yum install hue 注意由于权限问题,需要在core-site.xml中自定义配置: hadoop.proxyuser.hue.hosts=* hadoop.proxyuser.hue.groups
注，本次演示使用的集群为腾讯云EMR-V3.4.0，HUE版本为4.10.0。查阅HUE代码，发现hive链接的客户端都是在本地生产的，也就是在 hiveserver2.py 中来完成初始化的。...该文件在EMR集群上的路径为 /usr/local/service/hue/desktop/libs/notebook/src/notebook/connectors/hiveserver2.py ，...图片本次需求说明：在使用HUE的时候，用户提交的HIVE hql任务，默认执行引擎为mr；并且在指定的YANR队列中运行，避免抢占资源影响其他任务。...当前EMR集群已经配置为公平调度，并为hue用户设置了专用的队列“hue_pool”。...file_resources, functions=functions, database=database )在EMR集群的master节点上进行修改，修改完成后在控制台重启HUE
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
