开发小技巧 - Demo-查询不一致(持续更新)

Demo-查询不一致(持续更新)

更新时间: 2024-03-11 02:52:30 | 阅读 1262

扫码

复制

导出

1.hive和spark查询不一致（parquet版本问题）
2.impala查询和spark不一致（json表支持问题）
3.spark和impala执行不一致的问题(函数使用姿势有区别)
4. 修改字段查询null（参数问题）
5.spark和impala查询不一致（函数原理不同）
6.spark和impala查询不一致（spark有隐式转换）
7.spark和impala查询不一致（实现方式不一样）
8.spark离线开发查询没有数据，自助分析有数据（spark版本差异）
9.spark自助分析可以运行，hive自助分析报错格式问题（sparksql于hive有语法差异）
10.Hive select有数据但是select count(*) 的结果不对
11.spark3写入数据，spark查询正常，hive引擎查询无数据

1.hive和spark查询不一致（parquet版本问题）

org.apache.parquet.io.ParquetDecodingException: Can not read value at 0 in block -1 in file xxx spark产出的数据hive查询异常报错Can not read value at 0 in block -1 in file xxx hive查询：

spark查询：解决方式：spark产出数据时添加参数conf spark.sql.parquet.writeLegacyFormat=true

原因：设置为true时，数据会以Spark1.4和更早的版本的格式写入。比如decimal类型的值会被以Apache Parquet的fixed-length byte array格式写出，该格式是其他系统例如Hive、Impala等使用的。设置为false时，会使用parquet的新版格式。例如，decimals会以int-based格式写出。如果Spark SQL要以Parquet输出并且结果会被不支持新格式的其他系统使用的话，需要设置为true。

2.impala查询和spark不一致（json表支持问题）

用户业务sql使用impala和spark查询的数据量不一致，impala数据多解决方式：暂时以spark查询的结果为准。

spark查询：

impala查询：

原因：表为json表 ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'

社区impala目前是不支持读，开发怀疑有bug，目前建议等社区JSON表功能，先用spark读。

3.spark和impala执行不一致的问题(函数使用姿势有区别)

impala:

spark:

原因：如报错，spark的isnull函数不允许传两个参数。也咨询了spark开发，isnull 只接收一个参数，这里同一个函数，impala和spark有区别，会对用户造成困扰。类似的函数使用姿势不同的问题。希望能有一个说明手册，方便用户使用。

4. 修改字段查询null（参数问题）

直接使用alter table对hive表修改字段名称，修改后hive和spark和impala均为null 原因： hive和spark和impala均是按列名查parquet文件，修改列名后目前查询均为null解决方式如下 hive查询解决方式执行ALTER TABLE dwd.dwd_bixin_trade_sviporder_di_123 SET TBLPROPERTIES ('parquet.column.index.access'='true');或者set parquet.column.index.access = true可正常查询，希望可以配置默认该参数为true)，目前内部环境该配置应该都没有默认true。 spark解决方式：与hive类似 spark.sql.hive.convertMetastoreParquet=false parquet.column.access.index=true 如果设置了 spark.sql.hive.convertMetastoreParquet=false，那就跟 Hive 行为相同；否则忽略这个参数 impala解决方式目前集群查询parquet配置默认都是name