INFO-如何确认sparksql任务输出多少数据
更新时间: 2024-03-11 02:51:05
阅读 1233
适用模块
sparksql任务不知道跑出了多少条数据,可以通过sparkui进行确认
具体说明
下面就insert代码和ctas代码做一个说明,如何从sparkui确认最终输出的数据条数
使用示例
1.首先以insert代码为例。 首先找到对应的任务的sparkui界面,点击sql找到执行的sql信息。拉到最下面。 这时候可以看到最终insert的条数和插入逻辑。也就是output条数。
2.接下来以ctas代码为例。 大同小异,在找到sql界面后。点击这个 然后找到最后一个stageid 在stage界面找到这个stage 查看output信息。
作者:刘思伟
文档反馈
以上内容对您是否有帮助?