适用模块

    sparksql任务不知道跑出了多少条数据,可以通过sparkui进行确认

    具体说明

    下面就insert代码和ctas代码做一个说明,如何从sparkui确认最终输出的数据条数

    使用示例

    1.首先以insert代码为例。 INFO-如何确认sparksql任务输出多少数据 - 图1 首先找到对应的任务的sparkui界面,点击sql找到执行的sql信息。拉到最下面。 INFO-如何确认sparksql任务输出多少数据 - 图2 这时候可以看到最终insert的条数和插入逻辑。也就是output条数。

    2.接下来以ctas代码为例。 INFO-如何确认sparksql任务输出多少数据 - 图3 大同小异,在找到sql界面后。点击这个 INFO-如何确认sparksql任务输出多少数据 - 图4 然后找到最后一个stageid INFO-如何确认sparksql任务输出多少数据 - 图5 在stage界面找到这个stage INFO-如何确认sparksql任务输出多少数据 - 图6 查看output信息。


    作者:刘思伟