适用模块

数据传输，orc格式的hive表作为数据源。

具体说明

orc格式的hive表作为数据源的时候，传输人任务报错
va.lang.IndexOutOfBoundsException: toIndex = 6
at java.util.ArrayList.subListRangeCheck(ArrayList.java:1004)
at java.util.ArrayList.subList(ArrayList.java:996)

at org.apache.hadoop.hive.ql.io.orc.RecordReaderFactory.getSchemaOnRead(RecordReaderFactory.java:161)

at org.apache.hadoop.hive.ql.io.orc.RecordReaderFactory.createTreeReader(RecordReaderFactory.java:66)

使用示例

解决方式：

传输配置高级参数

ndi.spark.spark-conf.spark.sql.orc.impl=native

ndi.spark.spark-conf.spark.sql.hive.convertMetastoreOrc =true

作者：刘思伟