INFO-数据传输来源端,排查执行sql语句

功能说明

使用spark web页面查看完整log

适用模块
数据传输
具体说明
在数据传输中,用户有时候在自定sql或者添加参数时,抽取数据时,找不到具体执行在数据库的sql是哪条语句,可以通过以下方式查询到。
使用示例
如图所示
mysql->hive的数据

INFO-数据传输来源端,排查执行sql语句 - 图1

查询在mysql执行的sql

INFO-数据传输来源端,排查执行sql语句 - 图2 INFO-数据传输来源端,排查执行sql语句 - 图3 INFO-数据传输来源端,排查执行sql语句 - 图4

如图所示
Executors -> driver -> stdout 可以找到hive执行语句
Executors -> Executor -> stdout 可以找到mysql执行语句

INFO-数据传输来源端,排查执行sql语句 - 图5

1.hive执行语句,包括mysqljdbc串信息等

INFO-数据传输来源端,排查执行sql语句 - 图6 INFO-数据传输来源端,排查执行sql语句 - 图7 INFO-数据传输来源端,排查执行sql语句 - 图8

2.mysql执行语句,包括mysqljdbc串信息等

INFO-数据传输来源端,排查执行sql语句 - 图9


作者:qianzhaoyuan