FAQ-读取hive orc表报java.lang.IndexOutOfBounds
更新时间: 2024-03-11 02:45:31
阅读 4197
适用模块
数据传输,orc格式的hive表作为数据源。
具体说明
orc格式的hive表作为数据源的时候,传输人任务报错
va.lang.IndexOutOfBoundsException: toIndex = 6
at java.util.ArrayList.subListRangeCheck(ArrayList.java:1004)
at java.util.ArrayList.subList(ArrayList.java:996)
at org.apache.hadoop.hive.ql.io.orc.RecordReaderFactory.getSchemaOnRead(RecordReaderFactory.java:161)
at org.apache.hadoop.hive.ql.io.orc.RecordReaderFactory.createTreeReader(RecordReaderFactory.java:66)
使用示例
解决方式:
传输配置高级参数
ndi.spark.spark-conf.spark.sql.orc.impl=native
ndi.spark.spark-conf.spark.sql.hive.convertMetastoreOrc =true
作者:刘思伟
文档反馈
以上内容对您是否有帮助?