Hive表元数据与分区元数据为分开存储,默认分区路径为表路径的子路径,但用户可自行指定分区路径在表路径之外

问题描述/异常栈

Hive表元数据与分区元数据为分开存储,默认分区路径为表路径的子路径,但用户可自行指定分区路径在表路径之外

解决方案

可通过以下语句查询指定分区路径对应hdfs路径:

describe formatted table partition (ptdate='20170123');

spark.sql.parquet.cacheMetadata true Turns on caching of Parquet schema metadata. Can speed up querying of static data.
问题原因

待补充;

作者:焦巍