oozie简单使用

admin 管理员组

文章数量: 887007

oozie简单使用

来自

.html
.html?yyue=a21bo.50862.201879
.html

简要说明：

使用oozie需要coordinator.xml，job.properties， workflow.xml和jar包
需要将coordinator.xml， workflow.xml，lib/*.jar上传到hdfs上
job.properties：各种参数，像namenode，jobTracker，以及在程序中需要使用到的各种不变参数
coordinator.xml：类似与crontab，主要用来启动job，包括任务启动时间，频次，相关目录，job输入输出，以及job中需要的变动的参数
workflow.xml：job执行流程，各种动作的转换
web端：用于查看任务情况，查看错误原因等

配置参数

coordinator.xml

<!--
#######################################################################
# 说明
#######################################################################
-->
<coordinator-app name="${sys_name}-Coord" frequency="${coord:hours(1)}"start="${start_date}T01:00+0800" end="${end_date}T04:00+0800" timezone="Asia/Shanghai" xmlns="uri:oozie:coordinator:0.4"><controls> <!--一些控制参数--><timeout>-1</timeout><!--超时时间--><concurrency>6</concurrency><!--并发数--><throttle>12</throttle><!--允许Coordinator动作处于WAITING状态的最大数量--></controls><datasets><!--job中用到的数据集，多的话可以放在另一个xml中include进来<include>${wf_datasets}</include>--><dataset name="input" frequency="${coord:hours(1)}" initial-instance="${start_date}T00:00+0800" timezone="Asia/Shanghai"><uri-template>${input}/${YEAR}${MONTH}${DAY}/${YEAR}${MONTH}${DAY}${HOUR}</uri-template></dataset><dataset name="config" frequency="${coord:hours(1)}" initial-instance="${start_date}T01:00+0800" timezone="Asia/Shanghai"><uri-template>${config}/opConf_${YEAR}${MONTH}${DAY}${HOUR}.csv</uri-template></dataset><dataset name="outpath" frequency="${coord:hours(1)}" initial-instance="${start_date}T01:00+0800" timezone="Asia/Shanghai"><uri-template>${outpath}/${YEAR}${MONTH}${DAY}/${YEAR}${MONTH}${DAY}${HOUR}</uri-template></dataset></datasets><input-events><!--输入--><data-in name="input" dataset="input"><instance>${coord:current(-1)}</instance></data-in></input-events><output-events><!--输出--><data-out name="outpath" dataset="outpath"><instance>${coord:current(-1)}</instance></data-out></output-events><action><!--传给workflow的一些随时间变化的参数--><workflow><app-path>${wf_path}</app-path> <!--hdfs上job的存放路径--><configuration><property><name>input</name><value>${input}/${coord:formatTime(coord:dateOffset(coord:nominalTime(), -1, 'HOUR'),'yyyyMMdd')}/${coord:formatTime(coord:dateOffset(coord:nominalTime(), -1, 'HOUR'),'yyyyMMddHH')}</value></property><property><name>config</name><value>${config}/opConf_${coord:formatTime(coord:dateOffset(coord:nominalTime(), -1, 'HOUR'),'yyyyMMddHH')}.csv</value></property><property><name>outpath</name><value>${coord:dataOut('outpath')}</value></property><property><name>date</name><value>${coord:formatTime(coord:dateOffset(coord:nominalTime(), -1, 'HOUR'),'yyyyMMdd')}</value></property><property><name>hour</name><value>${coord:formatTime(coord:dateOffset(coord:nominalTime(), -1, 'HOUR'),'HH')}</value></property></configuration></workflow></action>
</coordinator-app>

workflow.xml

 <!--
#######################################################################
# 说明
#######################################################################
--><workflow-app xmlns="uri:oozie:workflow:0.4" name="${sys_name}-WF${date}"><start to="preBegin"/><decision name="preBegin"><switch><case to="scp_stat">${fs:exists(concat(outpath,"/_SUCCESS"))}</case><default to="upload-config"/></switch></decision><action name="upload-config" retry-max="3" retry-interval="3"><ssh xmlns="uri:oozie:ssh-action:0.1"><host>${sshUser}@${sshHost}</host><command>sh /path/genConfig.sh</command><args>${date}</args><args>${hour}</args></ssh><ok to="do-job"/><error to="error-mail"/></action><action name="do-job" retry-max="1" retry-interval="10"><java><job-tracker>${jobTracker}</job-tracker><name-node>${namenode}</name-node><main-class>job.JobName</main-class><arg>-Dmapreduce.job.queuename=${queueName}</arg><arg>-Ddfs.client.socket-timeout=30000</arg><arg>-Dmapreduce.map.speculative=true</arg><arg>...</arg></java><ok to="check-answer"/><error to="error-mail"/></action><decision name="check-answer"><switch><case to="scp_stat">${fs:exists(concat(outpath,"/_SUCCESS"))}</case><default to="error-mail"/></switch></decision><action name="scp_stat" retry-max="3" retry-interval="10"><ssh xmlns="uri:oozie:ssh-action:0.1"><host>${sshUser}@${sshHost}</host><!-- todo: portability --><command>sh /path/getOut.sh</command><args>${date}</args><args>${hour}</args></ssh><ok to="end"/><error to="error-mail"/></action><action name="error-mail" retry-max="3" retry-interval="10"><email xmlns="uri:oozie:email-action:0.1"><to>${develop_email_list}</to><subject>[Error] ${sys_name}-WF${date} ${wf:lastErrorNode()}</subject><body>
Workflow: ${sys_name}-WF${date}${hour}
Wid: ${wf:id()}
Action: ${wf:lastErrorNode()}
Error message: ${wf:errorMessage(wf:lastErrorNode())}</body></email><ok to="fail"/><error to="fail"/></action><kill name="fail"><message>============ ERROR: ${wf:lastErrorNode()}, [${wf:errorMessage(wf:lastErrorNode())}] ============</message></kill><end name="end"/>
</workflow-app>

job.properties

#####################################################################
# job.properties
#######################################################################
[sys]
sys_name=
#######################################################################
[oozie]
oozie_url=
sshHost=
sshUser=
oozie.wf.validate.ForkJoin=
#######################################################################
[hadoop]
namenode=
jobTracker=
ws_url=
queueName=
#######################################################################
[date]
start_date=2018-04-19
end_date=2018-04-19
#######################################################################
[hdfs]
input=
outpath=
config=
# workflow
wf_job=
#####################################################################
[local]
wf_local=
#######################################################################
[notifier]
develop_email_list=
scv_email_list=
phone_number=
message_sender=
#######################################################################
[log]
log_dir=

其他
1. 存在jar包冲突，lib中的jar包如果有相同类，会随机挑选进行执行，导致结果出错，需要人工防范出现jar包中存在相同类的情况
2. web端只是负责显示，并没有相应执行操作

以上仅是自己观点，如有问题，欢迎指正！

本文标签： oozie简单使用