FAQ-数据传输kudu jar包冲突,升级前解决避免升级后任务报错

问题说明

数据传输服务升级后,数据传输客户端节点更新升级包后会导致数据传输自身携带的spark_kudu jar 和spark中的spark_kudu jar包冲突,因spark中的版本比数据传输中的版本高,且是定制的,需要把数据传输中冲突的kudujar包删除
需求:从根本上先把kudu jar包版本冲突的问题解决,避免每次数据传输的变更都有这个隐患。

适用模块

所有服务,升级安装包

背景说明
由于数据传输中携带的kudu jar包和spark中使用的kudu jar包冲突会导致kudu相关任务失败,所以在升级前将数据传输中的kudu包删除,再进行升级操作

数据传输 客户端下的kudu jar包
FAQ-数据传输kudu jar包冲突,升级前解决避免升级后任务报错 - 图1

spark 客户端下kudu jar 包
FAQ-数据传输kudu jar包冲突,升级前解决避免升级后任务报错 - 图2

使用示例
1.解压需要升级的版本包

FAQ-数据传输kudu jar包冲突,升级前解决避免升级后任务报错 - 图3

2.进入解压的升级包,到common/easy_transfer路径下

FAQ-数据传输kudu jar包冲突,升级前解决避免升级后任务报错 - 图4

3.解压目录下数据传输client的压缩包 easy_transfer-client-3.14.0.10.tar.gz

FAQ-数据传输kudu jar包冲突,升级前解决避免升级后任务报错 - 图5

4.进入解压的client目录下,进入easy_transfer-client-3.14.0.10/music-transfer/kudu目录下,找到kudu-spark2_2.11-1.8.0.jar spark client下带的jar包冲突

FAQ-数据传输kudu jar包冲突,升级前解决避免升级后任务报错 - 图6

5.将其 kudu-spark2_2.11-1.8.0.jar 移动到上一层目录

FAQ-数据传输kudu jar包冲突,升级前解决避免升级后任务报错 - 图7

6.返回到 common/easy_transfer路径下,删除原本的client的压缩包

FAQ-数据传输kudu jar包冲突,升级前解决避免升级后任务报错 - 图8

7.tar命令压缩 easy_transfer-client-3.14.0.10目录

FAQ-数据传输kudu jar包冲突,升级前解决避免升级后任务报错 - 图9
FAQ-数据传输kudu jar包冲突,升级前解决避免升级后任务报错 - 图10

8.md5sum 命令计算压缩后的client tar包的MD5 并写入文件

FAQ-数据传输kudu jar包冲突,升级前解决避免升级后任务报错 - 图11 完成操作,继续按照升级文档进行后续的升级操作


作者:张鸿运