hive 调度

pkg.sh文件：

#作用：调用rpt.sh文件，依赖关系

#! /bin/bash

source /etc/profile

log=/LOG

currPath=/OPT

#起始时间变量

log_day=`date  +%Y-%m-%d`

end_y_m_d=`date -d "1 day ago ${log_day}" +%Y-%m-%d`   #1天前

inc_y=`date  +%Y`       #当前年 年份

inc_y_m=`date  +%m`  #当前月份

last_year_y_01=`date -d "${inc_y} 1 year ago" +%Y-01`   #去年1月

last_year_y_12=`date -d "${inc_y} 1 year ago" +%Y-12`   #去年12月

inc_15d=`date -d "${log_day} 15 day ago" +%Y-%m-%d`    #近15天

begin_y_m_d=`date -d "1 year ago ${end_y_m_d}" +%Y-%m-%d`   #一年前

scr_name=rpt_cc_risk_identification

#每年跑一次

if [ ${inc_y_m} -eq 01 ]; then

sh ${currPath}/${scr_name}_cust.sh ${last_year_y_01} ${last_year_y_12} ${end_y_m_d} &

fi

if [ $? -eq 0 ]

then

echo '数据导出完毕' >  ${log}/${scr_name}_cust_${log_day}.txt

fi

#每天跑一次 一次跑15天#

sh ${currPath}/${scr_name}_detail.sh ${inc_15d} ${end_y_m_d} ${begin_y_m_d} &

if [ $? -eq 0 ]

then

echo '数据导出完毕' >  ${log}/${scr_name}_detail_${log_day}.txt

rpt.sh文件

#! /bin/bash

source /etc/profile

last_year_y_01=$1

last_year_y_12=$2

end_y_m_d=$3

log_day=`date +%Y-%m-%d`

log=/LOG

currPath=/OPT

log_table=rpt_cc_risk_identification_cust

mq_table=rpt_cc_risk_identification_cust

scr_name=rpt_cc_risk_identification_cust.q

hive -hivevar start_date=${start_date} -hivevar end_date=${end_date} -hivevar end_y_m_d=${end_y_m_d} -f ${currPath}/${scr_name} --verbose >>${log}/${log_table}_${log_day}.log 2>&1

if [ $? -eq 0 ];then

echo '数据处理完毕' >  ${log_table}_${log_day}.log

echo ''>>${log}/${log_table}_${log_day}.txt

fi

scr_name=rpt_2mysql_${mq_table}.sh

if [ $? -eq 0 ]

then

sh ${currPath}/${scr_name} ${end_y_m_d};;

*) echo "ERROR:Day_type Not Found !" >> ${log}/${mq_table}_${log_day}.log 2>&1 ;;

fi

.q文件

hive脚本

本文由liliwu 创作，采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。

转载、引用前需联系作者，并署名作者且注明文章出处。

本站文章版权归原作者及原出处所有 。内容为作者个人观点， 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台，并不用于任何商业目的，如果有任何问题，请及时联系我们，我们将根据著作权人的要求，立即更正或者删除有关内容。本站拥有对此声明的最终解释权。