INFO-CDH集群实时同步任务无法选择队列
更新时间: 2025-10-29 11:23:23
阅读 141
INFO-新增cs队列项目
适用模块
CDH底层具体说明
猛犸update06版本,新增yarn队列使用场景功能,队列默认预置了“离线任务”场景。猛犸update11版本,细化了yarn队列使用场景,针对原有的“离线任务”场景,扩展支持“离线同步”,针对原有的“实时任务”场景,扩展支持“实时同步”。
update06预置是“离线任务”场景,update11扩展后队列默认的场景是“离线任务”和“离线同步”。默认情况下,实时同步的任务无法选取到队列。CDH集群无法修改队列及其适用场景,导致CDH集群的实时同步任务无可用队列。使用示例
修改方式
UPDATE pf_account_queue
SET tags = 'offline_develop,sloth,offline_sync,real_time_sync'
WHERE clusterid IN (
SELECT id FROM pf_hdf_cluster WHERE clustertype = 'cdh'
);修改影响
上述SQL会将所有CDH集群的队列刷成“离线任务”“实时任务”“离线同步”“实时同步”。如果需要针对某个队列去掉某个场景,可以单独执行相应的update SQL。作者:焦巍
文档反馈
以上内容对您是否有帮助?