FAQ-离线传输，hive2hbase报错:KeyValue size too large

问题描述/异常栈
使用数据传输同步hive数据到hbase，源端表记录太大时，报错：
FAQ-离线传输，hive2hbase报错:KeyValue size too large - 图1
发现版本
easy_transfer 3.36.0
解决方案
1、hbase服务添加如下配置（服务端及客户端均需要）并重启hbase集群：
 
<!-- 在 hbase-site.xml 中增加 -->
<property>
    <name>hbase.client.keyvalue.maxsize</name>
    <value>2048576000</value> <!-- 设置为2G，可根据业务情况酌情设置 -->
</property>
<property>
    <name>hbase.server.keyvalue.maxsize</name>
    <value>2048576000</value> <!-- 与客户端保持一致 -->
</property>
2、数据传输任务添加参数如下：
 
ndi.spark.spark-conf.spark.transmit.writer.hbase.conf.hadoop.hbase.client.keyvalue.maxsize = 2048576000
FAQ-离线传输，hive2hbase报错:KeyValue size too large - 图2
问题原因
hbase集群的keyvalue maxsize值设置过小导致的报错，需注意调整maxsize值的参数设置方式：
1、hbase配置文件需同时添加client端及server端的参数
2、传输任务内添加的参数需注意写法（参数写法较为特殊）

作者：曹俊