FAQ-数据传输kudu jar包冲突,升级前解决避免升级后任务报错
更新时间: 2025-09-12 18:00:47
阅读 101
FAQ-数据传输kudu jar包冲突,升级前解决避免升级后任务报错
问题说明
数据传输服务升级后,数据传输客户端节点更新升级包后会导致数据传输自身携带的spark_kudu jar 和spark中的spark_kudu jar包冲突,因spark中的版本比数据传输中的版本高,且是定制的,需要把数据传输中冲突的kudujar包删除
需求:从根本上先把kudu jar包版本冲突的问题解决,避免每次数据传输的变更都有这个隐患。
适用模块
所有服务,升级安装包
背景说明
由于数据传输中携带的kudu jar包和spark中使用的kudu jar包冲突会导致kudu相关任务失败,所以在升级前将数据传输中的kudu包删除,再进行升级操作
数据传输 客户端下的kudu jar包
spark 客户端下kudu jar 包
使用示例
1.解压需要升级的版本包
2.进入解压的升级包,到common/easy_transfer路径下
3.解压目录下数据传输client的压缩包 easy_transfer-client-3.14.0.10.tar.gz
4.进入解压的client目录下,进入easy_transfer-client-3.14.0.10/music-transfer/kudu目录下,找到kudu-spark2_2.11-1.8.0.jar 与spark client下带的jar包冲突
5.将其 kudu-spark2_2.11-1.8.0.jar 移动到上一层目录
6.返回到 common/easy_transfer路径下,删除原本的client的压缩包
7.tar命令压缩 easy_transfer-client-3.14.0.10目录
8.md5sum 命令计算压缩后的client tar包的MD5值 并写入文件
完成操作,继续按照升级文档进行后续的升级操作
作者:张鸿运
文档反馈
以上内容对您是否有帮助?