FAQ-starrocks写入parquet表时区问题

问题描述/异常栈
sr引擎联邦查询hive表/sr表向 hive表的parquet文件写入后
再由spark3引擎读取此表写入其他表会出现时间字段 类似timestamp 偏移8h
发现版本
starrocks 3.4.4
注意:未来官方版本可能会修复具体情况 具体使用
解决方案
临时方案:代码内增加即可
set spark.sql.parquet.int96TimestampConversion=true
问题原因
问题源自 StarRocks 写入的 Parquet 文件不符合规范,该行为可能继承自 Impala。Cloudera 工程师曾为 Spark 提供过补丁,兼容 Impala 的该 bug,
详见 https://issues.apache.org/jira/browse/SPARK-12297

作者:华柄印