DEMO-ScriptRunSparkSQL

适用模块

离线开发

具体说明

有数中台内置多种任务节点，如script节点、spark节点、sql节点等，这些节点支持crontab及周期性调度，但部分业务场景可能需要频繁回溯历史指定账期数据，此时可通过script节点自定义shell脚本控制调度范围，通过beeline 访问hiveserver2服务提交任务到集群运行，或通过spark-submit 提交jar包任务到集群运行。

使用示例

## 通过script节点+ Hiveserver2服务提交任务
1. 本地常见shell脚本文件及SQL文件；
2. 在有数中台创建工作流，并创建script节点；
3. 上传脚本文件至资源文件夹；
4. 编辑script节点，调用shell脚本文件；

beeline -u "jdbc:hive2://bigdata-demo4.jdlt.163.org:2182,bigdata-demo5.jdlt.163.org:2182,bigdata-demo6.jdlt.163.org:2182/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2;principal=hive/_HOST@BDMS.163.COM" -f demo.sql


```SQL
use poc;
select * from ods_4a_org_info where type = "D10" limit 10

```
## 通过Script节点 + SparkSQL提交任务
1. 本地创建shell脚本文件及SQL文件；
2. 在有数中台创建工作流，并创建对应Script节点；
3. 上传Jar包、shell脚本及SQL文件至资源文件夹；
4. 编辑Script节点，调用shell脚本；

```sh
$SPARK_HOME/bin/spark-submit --master yarn --deploy-mode cluster --queue root.poc --files demo.sql runSpark-v1.0-release.jar  '${v_type}=D' 'appName=submitDemo' 'sql_file=/demo.sql'

use poc;
select * from ods_4a_org_info where type = "D10" limit 10

作者：林帅