FAQ-hive元数据迁移报错:TTransportException

问题描述/异常栈
导入hive集群与本地hive集群间元数据迁移任务运行失败报错:
com.netease.bigdata.exception.HIVEMigrationException: org.apache.thrift.transport.TTransportException
FAQ-hive元数据迁移报错:TTransportException - 图1
发现版本
NDHManger 1.5.6
排查过程
1、该报错明显未两个hive集群间的连接存在问题
继续分析日志发现,正常成功迁移任务会打印以下日志,代表开启了sasl:
FAQ-hive元数据迁移报错:TTransportException - 图2
但这个迁移失败的任务没有打印类似日志:
FAQ-hive元数据迁移报错:TTransportException - 图3
说明这个迁移任务源端未开启sasl导致
2、但排查源端hive配置文件发现sasl已开启
FAQ-hive元数据迁移报错:TTransportException - 图4
3、查看hive迁移配置发现:sasl配置值为false
(注:hive迁移配置路径为:/usr/easyops/ndh_manager/default_ndh_manager_backend/config/application.properties)
FAQ-hive元数据迁移报错:TTransportException - 图5
问题原因
hive迁移配置内未开启sasl导致。
注意:
若手动修改为true后,出现ops页面同步配置后又被覆盖为false的情况。需要查看下hive导出值里的"is_depend_on_kerberos"的配置值是否为true,改为true即可
FAQ-hive元数据迁移报错:TTransportException - 图6

作者:曹俊