parquet格式表字段重命名后hive查询有数据spark查询null

问题描述/异常栈

parquet格式表修改字段名称后使用spark数据查询为null

解决方案

set spark.sql.hive.convertMetastoreParquet=false

问题原因

源表parquet文件是通过Hive生成，使用的parquet序列化版本与spark不一致导致

作者：林帅