数据加载操作手册

简述:
将ods推送的数据文件,加载到数据库的临时B表中,然后通过存储过程将临时B表中的数据同步到目标A表中。
注:临时B表结构和目标A表表结构必须一致,同步失败。

一、基础资料准备
1.1.表名规约

ods同步表的表名称、字段名称、字段数量规范,双方需要提前约定好,一旦约定好不允许修改,否则加载数据和同步数据会失败。

1.2.设计1套临时表和1套同构层表

临时B表作用:将ods推送的数据文件内容加载到数据库的临时表中,每次执行脚本临时表中的数据会清空。
注:临时B表可以理解为缓冲区

同构层表作用:保存或者备份推送过来的数据,数据不会也不允许更改。
同构层表目的:查阅数据问题可以直接查阅同构层表的数据,不用请求其他系统咨询,减少时间损耗和提高数据区配的效率。

1.3.存储过程

设计与表关系为1:1的存储过程
存储过程作用:将临时B表中的数据同步到目标的A表中。
注:同步数据种类:有全量-0和增量-1

二、流程规范
2.1. 生成控制文件(.ctl)
cd /app/jiazai/sql_loadv1.0/control/
rm -rf new.unl  old.unl file/
sh ./new.sh
2.2. 拉取ods推送的数据文件
#进入sql_loadv1.0下面
cd /app/jiazai/sql_loadv1.0/
#拉取ods推送指定日期的数据文件
#格式:sh load.sh 年月日
案例:sh load.sh 20201027
2.3. 数据加载+数据同步

将数据文件的数据加载到临时B表 把临时表到B表数据同步到目标A表
#进入拉取的某一天数据文件的目录

cd /app/jiazai/sql_loadv1.0/loaded/20201027/

#1.将数据文件中的数据加载到数据库中的临时B表中
#2.将数据库中的临时B表中的数据同步到目标A表中

sh run_sqlldr.sh

注:run_sqlldr.sh这个脚本做了2件事情

三、手动调度

如当天的调度出现问题,修正后,想手动指定跑某张表的数据

3.1. 到下载的数据文件路径:

例:/app/jiazai/sql_loadv1.0/loaded/20180918

3.2. 数据文件筛选

修改/app/jiazai/sql_loadv1.0/loaded/加载的数据文件日期/f.unl:只保留需要加载的批次表信息(简言之,那个表的数据没有加载成功,只留下对应这个表的数据文件即可。
这是有数据的全部数据文件)

案例:
如果:20201027这一天dbx_ljtempfee 表数据加载失败,就留下dir.ods.dbx_ljtempfee.20201027.000.01.i这一行,把其他数据文件删除。

3.3. 将要加载的表的备份表清空;

例:T01_INDV_CUST_HB
修改/app/jiazai/sql_loadv1.0/sql/truncateyw.sql
只保留TRUNCATE TABLE T01_INDV_CUST_HB;
/app/jiazai/sql_loadv1.0/loaded/20201027路径下执行

sh truncateyw.sh
3.4. 数据加载脚本执行
cd /app/jiazai/sql_loadv1.0/loaded/20201027/
sh ./run_sqlldr.sh
3.5. sql还原

/app/jiazai/sql_loadv1.0/sql/truncateyw.sql还原

四、轮询定时调度

定时每天调用/app/jiazai/sql_loadv1.0/hxloadupgrade.sh
自动将前一天的数据加载到行协test用户下的表中。

4.1. 设置脚本执行频次

编辑定时任务配置文件:

crontab –e
4.2. 设置执行频次
案例:每天上午10:15触发:0 15 10 * * ?  /app/jiazai/sql_loadv1.0/hxloadupgrade.sh
4.3. 定时任务查看
crontab -l
五、日志轨迹

第一次初始化:
待ODS将全部数据文件推送至数据交换平台后,手动在 /app/jiazai/sql_loadv1.0路径下执行sh load.sh 要加载的数据文件夹名(例:sh load.sh 20201027)
生成的日志文件在以下两个文件夹下:
/app/jiazai/sql_loadv1.0/hx_loadlog
/app/jiazai/sql_loadv1.0/loaded/日期(例如:20201027)/load/log
可以去数据库中的日志表查询
load_log 记录表加载入备份表的状态
LOAD_PL_LOG记录表从备份表到目标表正确的状态
LOAD_PL_ERROR_LOG记录表从备份表到目标表错误的状态
例:

SELECT * FROM load_log where  to_Char(load_time,'yyyymmdd') =20200330 ; --实际加载日期
SELECT * FROM LOAD_PL_LOG where  to_Char(s_time,'yyyymmdd') =20200330 ;--实际加载日期  
SELECT * FROM LOAD_PL_ERROR_LOG where  to_Char(s_time,'yyyymmdd') =20200330 ;--实际加载日期  

注意:
如果第一次初始话在凌晨3点前完成数据加载,则crontab -e
解除定时的注释,以后每天3:00-9:00会自动加载调用。

如果第一次初始化不能在凌晨3点前加载完成、或日后出现9点前未将32张接口表数据文件全部推送完成、或ODS修复数据重新推数,需运维手动调用进行加载完成后,再crontab -e
解除定时的注释,以后每天3:00-9:00会自动加载调用
如运维手动调用:
/app/jiazai/sql_loadv1.0路径下执行sh loadyw.sh 要下载的数据文件夹名
脚本运行完成后,去数据库中确认以下26张表中数据是否全部被删除

确认无误后到
/app/jiazai/sql_loadv1.0/loaded/日期(就是所要加载的数据文件夹名例如:20201027)路径下执行

sh run_sqlldr.sh

轮询定时调度:
定时每天调用/app/jiazai/sql_loadv1.0/hxloadupgrade.sh
自动将前一天的数据加载到行协test用户下的表中。
定时查看:crontab -l

ODS数据文件从数据交换平台下载到:
/app/jiazai/sql_loadv1.0/loaded/指定日期文件夹
例:/app/jiazai/sql_loadv1.0/loaded/20201027路径下
装载后的数据文件存放在:(如果有失败的表,路径下会产生*.bad文件)
例:/app/jiazai/sql_loadv1.0/loaded/20201027/load/data路径下

如当天的装载有失败的表,需查看日志确定原因。
查看每张表装载日志:
例:/app/jiazai/sql_loadv1.0/loaded/20201027/load/log/表名.log
数据库中的日志表:

表名作用
load_z_log每天只生成1条记录,记录每天整体装载情况
load_log记录表加载入备份表的状态
LOAD_PL_LOG记录表从备份表到目标表正确的状态
LOAD_PL_ERROR_LOG记录表从备份表到目标表错误的状态
已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 程序猿惹谁了 设计师:上身试试 返回首页