Oozie在执行sqoop的时候报错,同样的SQL在sqoop中可用,在oozie中不可用: Caused by: java.sql.SQLSyntaxErrorException: ORA-00918... ...另外,Oozie在使用时间字段进行split-by的时候也会报错! 原因 在sqoop中有一个参数-m可以设置sqoop任务的并行度,默认是4。...上面的例子中就没有设置-m参数,因此需要根据split-by指定的字段进行切分,拼接出来的sql由于没有设置别名而报错。...但是之前在shell里面,-m别设置成了1,相当于忽略split-by参数,因此无论怎么写都不会报错。
昨晚装好了oozie,能启动了,并且配置了mysql作为数据库,好了,今天要执行oozie自带的demo了,好家伙,一执行就报错!报错很多,就不一一列举了,就说我最后解决的方法吧。...oozie job -oozie http://localhost:11000/oozie -config examples/apps/map-reduce/job.properties –run 这句话需要在...在说修改配置文件之前,还漏了一些东西,先补上,首先我们需要解压目录下面的oozie-examples.tar.gz,oozie-client-3.3.2.tar.gz, oozie-sharelib-...OOZIE_DATA=${OOZIE_HOME}/data export OOZIE_LOG=${OOZIE_HOME}/logs export CATALINA_BASE=${OOZIE_HOME...}/oozie-server export CATALINA_TMPDIR=${OOZIE_HOME}/oozie-server/temp export CATALINA_OUT=${OOZIE_LOG
如果已经安装好了Oozie,可以通过web页面进行查看详情。 http://bd001:11000/oozie/ ? 看到类似的效果,说明我们的Oozie就安装成功了。...4.1 使用oozie调度shell脚本 oozie安装好了之后,需要测试oozie的功能是否完整好使,官方已经给我们带了各种测试案例,我们可以通过官方提供的各种案例来对oozie进行调度...的命令来执行调度任务 cd /export/servers/oozie-4.1.0-cdh5.14.0 bin/oozie job -oozie http://bd001:11000/oozie -config.../oozie-4.1.0-cdh5.14.0 bin/oozie job -oozie http://bd001:11000/oozie -config oozie_works/hive2/job.properties...oozie的11000端口进行查看任务结果 cd /export/servers/oozie-4.1.0-cdh5.14.0 bin/oozie job -oozie http://bd001:11000
在命令行执行Sqoop抽取Hive Parquet表数据到MySQL正常运行,但在Hue中通过Oozie执行Sqoop抽数失败。...export-dir /data/mytest \ --num-mappers 1 \ --input-fields-terminated-by @ 2.编写Shell脚本,通过创建Ssh Action的Oozie...工作流 [i8xmxskl47.jpeg] 提交Oozie工作流运行 [6jl9tduwxf.jpeg] 查看MySQL中数据 [tmykmf0cf6.jpeg] 3.总结 ---- 在Kerberos...环境下使用Oozie创建Sqoop抽取Hive表数据或抽数到Hive表会出现“delegation tokens”异常,目前是一个已知的Bug,具体参考:https://issues.apache.org...推荐将Sqoop抽数脚本封装在Shell脚本中,通过Hue创建Ssh Action的Oozie工作流来执行Sqoop作业。 为天地立心,为生民立命,为往圣继绝学,为万世开太平。
简介 Oozie是一个基于工作流引擎的服务器,可以在上面运行Hadoop的Map Reduce和Pig任务。...操作节点是工作流触发计算\处理任务的执行,Oozie支持不同的任务类型——hadoop map reduce任务,hdfs,Pig,SSH,eMail,Oozie子工作流等等。...Oozie可以自定义扩展任务类型。 Oozie工作流可以参数化的方式执行(使用变量${inputDir}定义)。当提交工作流任务的时候就需要同时提供参数。...总结来说 Oozie是管理Hadoop作业的工作流调度系统 Oozie的工作流是一系列的操作图 Oozie协调作业是通过时间(频率)以及有效数据触发当前的Oozie工作流程 Oozie是针对Hadoop...介绍 2 oozie入门介绍
此篇为大家带来的是Oozie的简单介绍及部署。...什么是Oozie ? Oozie英文翻译为:驯象人。...Oozie的部署 部署Oozie用的是CDH版本的。因为阿帕奇官网给的Oozie只有原始版版本的需要编译才能进行使用。 3.1 部署Hadoop(CDH版本) 1. 上传及解压缩 1....在oozie根目录下解压oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz // 完成后Oozie目录下会出现hadooplibs目录。...oozie; ?
第1章 Oozie简介 Oozie英文翻译为:驯象人。一个基于工作流引擎的开源框架,由Cloudera公司贡献给Apache,提供对Hadoop MapReduce、Pig Jobs的任务调度与协调。...Oozie需要部署到Java Servlet容器中运行。主要用于定时调度任务,多任务可以按照执行的逻辑顺序调度。...第2章 Oozie的功能模块介绍 2.1 模块 Workflow 顺序执行流程节点,支持fork(分支多个节点),join(合并多个节点为一个) Coordinator 定时触发workflow Bundle
job.properties nameNode=hdfs://cdh01:8020 resourceManager=cdh01:8032 queueName=default examplesRoot=examples oozie.wf.application.path...shellpath=${nameNode}/user/${user.name}/${examplesRoot}/apps/ssh workflow.xml <shell xmlns="uri:<em>oozie</em>.../bin/bash echo "-------开始执行---------" $(date >> /home/example/oozie/ssh/date.log) echo "-------执行结束
variableName:想要获取的变量名称 2.java节点参数传递 第一步:上传的jar包中想要输出的变量抛出 try { File file = new File(System.getProperty("oozie.action.output.properties...括号里面如果有多个输出变量用逗号输出 maxID:输出的变量名称 max:执行sql语句获得结果的别名 第二步:其他节点的获取 ${wf:actionData('test').minID} 4.hive节点参数传递 原生oozie...hive_test_count=$hive_test_count" 第二步:其他节点的获取变量: ${wf:actionData('gas').hive_test_count} 5.sparksql节点参数的传递,oozie
在oozie的运行过程当中可能会出现错误,比如数据库连接不上,或者作业执行报错导致流程进入suspend或者killed状态,这个时候我们就要分析了,如果确实是数据或者是网络有问题,我们比如把问题解决了才可以重新运行作业...String jobId) { try { OozieClient wc = new OozieClient("http://192.168.1.133:11000/oozie...} 好,现在开始讲解,重新运行作业,除了需要原有流程的id之外,还需要重新配置作业属性,它可以和原来的属性不一样,这里面有两个属性是必须要注意的,它们是重新提交作业必须具备的属性,如果不存在就会报错的...,它们分别是oozie.wf.rerun.failnodes和oozie.wf.rerun.skip.nodes。...好啦,就到这吧,oozie貌似就这么多东西了,目前貌似一直都没有看到它的事务机制,它的定时作业不太想研究,看着就费劲儿,还不如自己写一个定时作业呢。。。
第1章 Oozie简介 Oozie英文翻译为:驯象人。一个基于工作流引擎的开源框架,由Cloudera公司贡献给Apache,提供对Hadoop MapReduce、Pig Jobs的任务调度与协调。...Oozie需要部署到Java Servlet容器中运行。主要用于定时调度任务,多任务可以按照执行的逻辑顺序调度。
将 Oozie 数据迁移到 CDP 后,您必须首先配置 Oozie,然后将自定义 ShareLib jar 迁移到您的新集群。...您必须将 Oozie 配置为使用不同的 CDP 服务,包括 Sqoop 操作、Yarn 作业和 HDFS HA。有关配置这些服务的信息,请参阅配置 Oozie。...笔记 默认情况下,Oozie 服务安排内部作业从数据库中清除所有早于 30 天的 Oozie 工作流。但是,在协调器完成之前,与长时间运行的协调器相关联的操作不会清除。...从 HDP 或 CDH 集群复制 Oozie ShareLib jar: cp /user/oozie/share/lib/lib_{TIMESTAMP}/{COMPONENT} Oozie ShareLib...执行 ShareLib 更新: oozie admin -oozie {OOZIE_URL} -sharelibupdate 迁移自定义 ShareLib jar 后,更新 DFS 路径、JDBC URL
1.从apache的官网下载oozie3.3.2 2.编译oozie,以下命令用root来执行吧,它不做任何的测试的,因为一测试就会出错的 官网估计也知道,所以顺便也提供了一个跳过参数的命令...4.配置oozie存储数据用mysql 首先添加mysql连接的jar包和ext-2.2.zip添加到oozie里面的libext目录下, bin/oozie-setup.sh...prepare-war 就这句命令就行,它会自动把libext目录下的所有包自动添加到目标的war包当中,我就碰到mysql报错,oozie的web的查看不了的问题,出问题就在这一步, 网上根本找不到资料...(0.03 sec) mysql> grant all privileges on oozie.* to 'oozie'@'localhost' identified by 'oozie'...下面这个命令是用来检查oozie的健康状况的 $ bin/oozie admin -oozie http://localhost:11000/oozie -status
oozie cli l 启动任务 oozie job -oozie oozie_url -config job.properties_address-run l 停止任务 oozie job -oozie...oozie_url -kill jobId -oozie-oozi-W l 提交任务 oozie job -oozie oozie_url -config job.properties_address...-submit l 开始任务 oozie job -oozie oozie_url -config job.properties_address -startJobId -oozie-oozi-W...> GMT+0800 修改 $OOZIE_HOME/oozie-server/webapps/oozie/oozie-console.js...=http://cen-ubuntu:11000/oozie/ bin/oozie job --config oozie-apps/cron-schedule/job.properties -run oozie
3.2 部署Oozie 3.2.1 解压Oozie [atguigu@hadoop102 software]$ tar -zxvf /opt/software/cdh/oozie-4.0.0-cdh5.3.6....tar.gz -C ./ 3.2.2 在oozie根目录下解压oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz [atguigu@hadoop102 oozie-4.0.0...:3306/oozie 解释:oozie所需的数据库地址 属性:oozie.service.JPAService.jdbc.username 属性值:root 解释:数据库用户名 属性:oozie.service.JPAService.jdbc.password...2) 创建oozie.sql文件 [atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/ooziedb.sh create -sqlfile oozie.sql...oozie-4.0.0-cdh5.3.6]$ bin/oozied.sh stop 3.2.10 访问Oozie的Web页面 http://hadoop102:11000/oozie
1、Oozie的简单介绍: 1、Oozie是一个工作流引擎服务器,用于运行hadoop map/reduce和hive等任务工作流,同时Oozie还是一个Java web程序,运行在Java Servlet...Oozie工作流通过HPDL(一种通过XML自定义处理的语言)来构造Oozie的工作流。...一个Oozie服务器主要包括四个服务:Oozie Workflow,Oozie Coordinator,Oozie Bundle和Oozie SLA(Oozie服务器等级协定)。 ...2、Oozie的安装操作: 1、Oozie使用tomcat等服务器作为web页面展示容器,使用关系型数据库存储Oozie的工作流元数据,默认使用derby,由于derby的缺点,一般情况使用mysql作为...[hadoop@slaver1 oozie-4.0.0-cdh5.3.6]$ oozie admin -oozie http://slaver1:11000/oozie -status 3:Oozie的
第4章 Oozie的使用 4.1 案例一:Oozie调度shell脚本 目标:使用Oozie调度Shell脚本 分步实现: 1)解压官方案例模板 [atguigu@hadoop102 oozie-4.0.0...7)执行任务 [atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie http://hadoop102:11000/oozie -config...-oozie http://hadoop102:11000/oozie -kill 0000004-170425105153692-oozie-z-W 4.2 案例二:Oozie逻辑调度执行多个Job...-4.0.0-cdh5.3.6]$ bin/oozie job -oozie http://hadoop102:11000/oozie -config oozie-apps/shell/job.properties...oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie http://hadoop102:11000/oozie -config oozie-apps/map-reduce
Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.问题描述 Fayson前面的一篇文章讲过《如何在Hue中创建Ssh的Oozie...Ssh Action的Oozie工作流创建如下: 运行异常日志如下,提示:代码块部分可以左右滑动查看噢 2.解决方法 通过上述方式创建Ssh Action工作流主要是由于”>> /tmp/out.log...chmod744ssh-action.sh 3.创建Ssh Action工作流 在Ssh command中配置对应服务的Shell脚本”/home/fayson/ssh-action.sh” 4.提交Oozie...工作流,执行成功 5.查看服务/tmp/out.log文件 3.总结 在使用Hue创建Ssh Action的Oozie工作流直接在Ssh command中输入命令重定向会导致运行失败,可以使用在执行命令的目标服务使用
Ssh Action的Oozie工作流创建如下: [5ei59xx5c7.jpeg] 运行异常日志如下,提示:代码块部分可以左右滑动查看噢 2017-12-28 10:31:08,065 ERROR org.apache.oozie.command.wf.ActionStartXCommand...at org.apache.oozie.util.ParamChecker.notEmpty(ParamChecker.java:74) at org.apache.oozie.WorkflowActionBean.setStartData...at org.apache.oozie.command.wf.ActionStartXCommand.execute(ActionStartXCommand.java:63) at org.apache.oozie.command.XCommand.call...org.apache.oozie.WorkflowActionBean.setStartData(WorkflowActionBean.java:503) at org.apache.oozie.command.wf.ActionXCommand...-oozie-oozi-W@ssh-8911] callback for action [0000002-171228101033150-oozie-oozi-W@ssh-8911] 2.解决方法 --
要想在任意一台机器上向oozie提交作业的话,需要对hadoop的core-site.xml文件进行设置,复制到所有机器上,然后重启hadoop集群。...然后就开始啦,用本机提交代码到oozie。...代码如下: OozieClient wc = new OozieClient("http://192.168.1.133:11000/oozie"); Properties conf...queueName", "default"); conf.setProperty("examplesRoot", "examples"); conf.setProperty("oozie.wf.application.path
领取专属 10元无门槛券
手把手带您无忧上云