Dr. Elephant
依赖于 YARN 的资源管理服务器和历史作业记录服务器,来获取作业详细信息和记录。YARN 作业及其分析的详细信息将存储在当前配置的后端 mysql 中。因此在运行Dr. Elephant
前,必须安装好 MySQL 和 hadoop 2。从#162开始,将不再支持JAVA 6
。
$ELEPHANT_CONF_DIR
指向到你的配置文件目录$> export ELEPHANT_CONF_DIR=/path/to/conf/dir
如果你使用 Airflow 或 Oozie 调度系统,则需要编辑你$ELEPHANT_CONF_DIR
目录下的SchedulerConf.xml
的配置文件:
airflowbaseurl
配置属性指向你的 Airflow 服务oozie_api_url
配置属性指向你的 Oozie 调度服务的 API 地址SchedulerConf.xml
相关文档dr-elephant
二进制包dr-elephant
dr-elephant
根目录dr-elephant
,请允许启动脚本。启动脚本提供了一个配置文件目录位置的可选参数。如果你已经设置好了$ELEPHANT_CONF_DIR
环境变量,只需要直接启动就要,不用带任何参数。否则,需要在运行时带上配置文件目录位置的参数。./bin/start.sh [/path/to/app-conf]
还有一些详细配置,后续文章会细说。
几个月没更新了,有了些知识积累,换了份工作,后续会持续大数据SRE方向的知识积累和分享