INFO-impala同步元数据临时离线开发任务

功能说明

适用模块

离线开发创建impala同步脚本任务

具体说明

在一些特殊的情况下，spark和hive生成的表导致impala查询异常，元数据无法同步。可以通过impala元数据同步的方式，进行修复。操作情况如下：

使用示例

1.创建impala.sh  shell脚本（需要utf-8，unix文件），脚本内容如下
beeline -u "jdbc:hive2://bigdata-demo4.jdlt.163.org:2182,bigdata-demo5.jdlt.163.org:2182,bigdata-demo6.jdlt.163.org:2182/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=impala-weblog-ha;principal=impala/_HOST@BDMS.163.COM" -e "invalidate metadata  mammut.test2;invalidate metadata  mammut.test1;";
impala地址在中台数据库中select impalaserverurl from mammut.pf_hive_cluster\G

2.上传shell脚本，并创建离线开发script任务

3.运行脚本，No rows affected (0.586 seconds)说明impala里面的执行语句运行成功。
在业务流程中：sql任务1跑完，立即跑impala元数据同步脚本。
或者将impala元数据同步脚本单独做为一个任务流。依赖其他任务。让其他任务跑完再跑。

作者：qianzhaoyuan