FAQ-离线开发发布任务未提交到 Git(pf_queue_event 卡 PROCESSING)
更新时间: 2026-11-20 16:35:52
阅读 35
FAQ-离线开发发布任务未提交到 Git(pf_queue_event 卡 PROCESSING)排查与修复
问题描述/异常栈
离线开发发布任务后,Git 远端仓库没有出现对应 commit。mammut_webserver 日志中出现事件被拉取但未执行的记录:
grep -n 'GitEventLoopThread' bdms-web-info.log
grep -n 'c.n.b.s.e.DBEventThread.addExecQueue:' bdms-web-info.log
c.n.b.s.e.DBEventThread.addExecQueue:99 - get event:QueueEvent(... eventType=11/13 ...)
c.n.b.s.e.GitEventLoopThread:68 - not master, event: QueueEvent(clusterid=easyops-cluster, ...)
通过查询数据库结果 status = 1(PROCESSING),
updated_at 停在被拉走的那一刻,之后再无任何节点处理
use mammut;
select * FROM pf_queue_event
where product = '项目名'
and content like '%提交标识%'\G
发现版本
解决方案
第 1 步:全节点搜处理日志,确认有没有节点执行过 Git 提交
grep -n 'exec git event' bdms-web-info.log
grep -n 'git event' bdms-web-info.log
grep -n "c.n.b.s.e.GitEventLoopThread.run" bdms-web-info.log
看到 not master, event: QueueEvent(...)说明事件被这台非 master 节点抢先拉走后跳过,进入第 2 步。 (注:非 master 节点打 not master 属正常现象,本身不是故障信号。)
第 2 步:确认 master 是哪台,与打日志的机器比对
对比还在正常拉取得机器是否是master节点
use mammut;
SELECT lock_name, lock_info, expire_time, updated_at
FROM pf_lock WHERE lock_name = 'EASYDATA_SERVER_MASTER';
第 3 步:查事件状态并修复(status = 1 时改库重放)
use mammut;
select * FROM pf_queue_event
where product = '项目名'
and content like '%提交标识%'\G
-- 尝试修改为0 让mammut 重新拉取
--update pf_queue_event set status = 0 where id in ();
改库后观察各节点日志 1~2 分钟:master 节点出现 exec git event 且无 error → 修复成功;
又被非 master 节点抢走(再次出现 not master 且 status 回到 1)→ 竞态复发,
再执行一次 UPDATE(master 每轮轮询都有机会抢到);
反复被抢 → 走第 4 步重启收口。
第 4 步:改库无效 / master 不拉取 → 重启 master 节点
第 5 步:终验
事件 status = 2(FINISH);
Git 远端对应仓库/分支能看到对应 commitMsg 的提交。
SELECT id, status, updated_at FROM pf_queue_event WHERE id IN (<事件id>);
问题原因
作者:于广超
文档反馈
以上内容对您是否有帮助?