问题描述/异常栈

org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-2019197572-10.168.32.1-1414556651531:blk_2203992766_1132931680 file=/user/da_ke/hive_db/da_ke.db/lsa_course_orders_day/day=2014-05-17/001594_0

解决方案

联系运维检查hdfs健康状态和datanode状态

问题原因

hive或者spark任务在运行过程中出现这类报错是因为hdfs上存储的分区数据文件的block损坏或者找不到该block，在环境中多为datanode离线或者掉盘引发的hdfs健康状态问题。

作者：刘思伟