待发布资源页面主要用来创建、管理发布资源,可将已创建的资源加入到发布池当中统一发布。发布记录页面用来记录发布情况,了解资源发布进度。

功能介绍

待发布资源展示离线开发任务、表DDL、实时开发SQL任务、实时流表等发布资源,支持进行资源批量选中发布、单独发布、删除、添加到发布池、从发布池移除等操作。
产品功能介绍 - 图1

创建发布资源

创建发布资源支持创建离线开发任务、表DDL、实时开发SQL任务、实时流表等,支持资源接收方环境检测。以创建“离线开发任务”为例,在下拉框中选择“离线开发任务”进入创建页面。
产品功能介绍 - 图2

创建发布资源共包含2个步骤,首先需要确定接收方,然后要检测接收方环境,完成上述两个步骤便可对资源进行创建和发布。

  • 离线开发任务“确定接收方”页面如下:
    产品功能介绍 - 图3

    配置项 描述
    资源类型 当前发布资源的类型,根据版本的更新支持的资源类型会越来越丰富。
    发布方项目-集群 发布方项目-集群名称,可在配置管理的发布配置中进行添加。
    任务名称 已提交上线的任务名。
    任务版本 当前任务版本号。
    任务类型 支持显示单节点任务或多节点任务。
    发布内容 支持任务包、调度配置同资源一起发布。
    操作锁定 操作锁定开启,则当前资源仅资源创建人(同时需安全中心授权)、项目组负责人、项目组管理员可进行发布、添加到发布池、删除等操作。
    确定接收方 包括接收方连接实例、接收方项目-集群、任务负责人设置、已有任务保持原负责人。
    1)接收方可在配置管理-接收配置中进行添加。
    2)任务负责人设置:该功能项用于控制接收方任务负责人设置,对于新创建的任务,接收方任务负责人会按照此处的设置,设置为发布方的“当前任务负责人”或接收方的“工单审批者”。如果接收方已存在该任务,接收方任务负责人会同时受右侧“已有任务保持原负责人”列设置的影响,具体可查看该列的说明。
    3)已有任务保持原负责人:用于控制接收方任务负责人设置,接收方已存在该任务时,本选项设置选“是”,则表示接收方的任务负责人不会被修改,选“否”,则表示会按照“任务负责人设置”的来修改。
  • 表DDL“确定接收方”页面如下:
    产品功能介绍 - 图4

    配置项 描述
    资源类型 当前发布资源的类型,根据版本的更新支持的资源类型会越来越丰富。
    发布方项目-集群 发布方项目-集群名称,可在配置管理的发布配置中进行添加。
    库名 当前项目中所包含的库。
    表名 库下对应的表名。
    表描述 如果表存在描述信息,则在此处显示。
    表负责人 显示当前表负责人的名称。
    操作锁定 操作锁定开启,则当前资源仅资源创建人(同时需安全中心授权)、项目组负责人、项目组管理员可进行发布、添加到发布池、删除等操作。
    确定接收方 包括接收方连接实例、接收方项目-集群、任务负责人设置、已有任务保持原负责人。
    1)接收方可在配置管理-接收配置中进行添加。
    2)任务负责人设置:该功能项用于控制接收方任务负责人设置,对于新创建的任务,接收方任务负责人会按照此处的设置,设置为发布方的“当前任务负责人”或接收方的“工单审批者”。如果接收方已存在该任务,接收方任务负责人会同时受右侧“已有任务保持原负责人”列设置的影响,具体可查看该列的说明。
    3)已有任务保持原负责人:用于控制接收方任务负责人设置,接收方已存在该任务时,本选项设置选“是”,则表示接收方的任务负责人不会被修改,选“否”,则表示会按照“任务负责人设置”的来修改。
  • 实时开发SQL任务“确定接收方”页面如下:
    产品功能介绍 - 图5

    配置项 描述
    资源类型 当前发布资源的类型,根据版本的更新支持的资源类型会越来越丰富。
    发布方项目-集群 发布方项目-集群名称,可在配置管理的发布配置中进行添加。
    任务名称 已提交上线的任务名。
    任务版本 当前任务版本号。
    发布内容 1)任务包:默认必选。
    2)运行配置:发布后资源实例(yarn)和队列将自动选中接收方项目-集群配置的默认资源实例和队列。
    3)文件依赖配置:若勾选则将按照发布方文件依赖匹配接收方同目录下的同名文件作为接收方该任务的文件依赖配置。若不勾选,则发布后需用户在接收方手动勾选该任务的文件依赖。
    发布后自动提交上线:选择此项后接收方任务发布成功后将自动提交到线上。
    操作锁定 操作锁定开启,则当前资源仅资源创建人(同时需安全中心授权)、项目组负责人、项目组管理员可进行发布、添加到发布池、删除等操作。
    确定接收方 包括接收方连接实例、接收方项目-集群、任务负责人设置、已有任务保持原负责人。
    1)接收方可在配置管理-接收配置中进行添加。
    2)任务负责人设置:该功能项用于控制接收方任务负责人设置,对于新创建的任务,接收方任务负责人会按照此处的设置,设置为发布方的“当前任务负责人”或接收方的“工单审批者”。如果接收方已存在该任务,接收方任务负责人会同时受右侧“已有任务保持原负责人”列设置的影响,具体可查看该列的说明。
    3)已有任务保持原负责人:用于控制接收方任务负责人设置,接收方已存在该任务时,本选项设置选“是”,则表示接收方的任务负责人不会被修改,选“否”,则表示会按照“任务负责人设置”的来修改。
  • 实时流表“确定接收方”页面如下:
    产品功能介绍 - 图6

    配置项 描述
    资源类型 当前发布资源的类型,根据版本的更新支持的资源类型会越来越丰富。
    发布方项目-集群 发布方项目-集群名称,可在配置管理的发布配置中进行添加。
    流表库 当前项目中的流表库。
    流表 流表库下对应的表名。
    表描述 如果表存在描述信息,则在此处显示。
    表负责人 显示当前表负责人的名称。
    操作锁定 操作锁定开启,则当前资源仅资源创建人(同时需安全中心授权)、项目组负责人、项目组管理员可进行发布、添加到发布池、删除等操作。
    确定接收方 包括接收方连接实例、接收方项目-集群、任务负责人设置、已有任务保持原负责人。
    1)接收方可在配置管理-接收配置中进行添加。
    2)流表创建者/修改者设置:用于控制接收方流表创建者或修改者设置,对于新创建的流表,接收方流表创建者会按照此处的设置,设置为发布方的“当前流表创建人”或接收方的“工单审批者”。如果接收方已存在该流表,则会将流表的修改者按此处选项更新为“当前流表创建者”或接收方的“工单审批者”。
  • 实时开发文件“确定接收方”页面如下:
    产品功能介绍 - 图7

    配置项 描述
    资源类型 当前发布资源的类型,根据版本的更新支持的资源类型会越来越丰富。
    发布方项目-集群 发布方项目-集群名称,可在配置管理的发布配置中进行添加。
    文件 实时开发产品中保存的文件。
    文件描述 如果文件存在描述信息,则在此处显示。
    文件上传时间 显示文件上传到数据开发产品模块的时间。
    操作锁定 操作锁定开启,则当前资源仅资源创建人(同时需安全中心授权)、项目组负责人、项目组管理员可进行发布、添加到发布池、删除等操作。
    确定接收方 包括接收方连接实例、接收方项目-集群、任务负责人设置、已有任务保持原负责人。
    1)接收方可在配置管理-接收配置中进行添加。
    2)文件上传人设置:用于控制接收方文件上传人设置,对于新上传的文件,接收方文件上传人会按照此处的设置,设置为发布方的“发布资源创建人”或接收方的“工单审批者”。如果接收方已存在该文件,则会将文件的修改者按此处选项更新为“发布资源创建者”或接收方的“工单审批者”。

在检测接收方环境页面系统会根据当前资源类型进行检测,检测分为两个步骤,首先是对连通性进行检测,包括是否可以连接到接收方,是否可以获取接收方的审批人,其次是资源内容的检测(资源内容检测失败仍可创建、发布)。
产品功能介绍 - 图8

各资源类型检测内容如下:

  • 离线开发任务:任务负责人设置、任务名称占用检测、任务集群唯一标识检测、任务包含节点类型检测、接收方节点失效检测、输入输出表检测(仅Hive)、参数组引用、资源组引用、数据源引用、质量监控任务引用、“数据同步”节点引用的传输任务、离线开发任务内部引用、依赖节点、队列引用、调度日历引用。
  • 表DDL:接收方是否存在相同库、表名。
    检测结论 效果
    接收方不存在同名库,不可发布 不可创建
    接收方存在同名库,不存在同名表,可发布 可创建,可发布
    接收方存在同名库表,但不可更新为发布方的表结构 不可创建
    接收方存在同名库表,且可更新为发布方的表结构 可创建,可发布
    接收方存在同名库表,且字段名称、字段类型相同,不支持发布 不可创建
  • 实时开发SQL任务:任务负责人、任务名称占用检测、任务目录检测、任务引擎检测、任务引用流表检测、文件依赖检测、函数依赖检测、参数组引用、接收方资源实例和队列检测。
  • 实时流表:检测同名流标库及流表。
  • 实时文件:检测文件目录是否存在以及同名文件。

检测完成后可根据实际情况进行“全部创建”或者“全部创建并发布”操作,此时,如果有多个接收方,则会创建多个资源,创建后会进入“待发布资源”列表中,发布者可在后续发布,或选择更多资源后批量发布;创建并发布,指创建该资源并直接发布到接收方,每个接收方会创建一个工单。创建或创建并发布,会自动跳过已成功的接收方。
产品功能介绍 - 图9

创建完成后,相应的发布资源会展示在资源列表中。
产品功能介绍 - 图10

勾选需要发布的资源,点击“发布选中项”按钮即可进行发布。
产品功能介绍 - 图11

发布池

当用户需要将资源进行统一发布时,可将资源事先加入到发布池当中,在发布池当中支持发布顺序的调整、支持批量发布发布池的任务,每个接收方将产生资源发布工单,接收方审批通过后即可将资源再接收方导入。

选择需要添加至发布池的资源,点击“添加到发布池”按钮。
产品功能介绍 - 图12

点击右上角“查看发布池”按钮进行查看,同一接收方的资源会被归类到一个页签下,支持通过拖动调整发布顺序。(后续各子产品对接后,子产品的发布需要考虑先后顺序,可在此处进行调整)
产品功能介绍 - 图13

说明:
1)每个接收方会创建一个工单,且一次最多接收200个资源,且总大小不大于500MB; 2)批量发布,可执行多次,仅针对失败的可再次发布。

发布记录

当用户将资源进行发布后,可在发布记录中进行查看,对于刚发布的资源会进入接收方工单进行审批,审批通过后才会进行发布操作,在发布记录页面可查看发布进度。
产品功能介绍 - 图14