Ntesmysqlpaas相关运维操作说明

日志查看

Node 日志

位置查看

# 首先查询到node容器在宿主上面挂载的data目录
root@zyx-test:~# docker inspect `docker ps  | grep mysqlpaas-node | awk '{print $1}'` -f {{.Mounts}} | awk '{print $2}' /paas/38/node/data

# 在进入到log目录
root@zyx-test:~# cd /paas/38/node/data/logs/
root@zyx-test:/paas/38/node/data/logs# ls
agent-common             agent-dataManager             agent-dataManager.2020-11-25  agent-heartbeat             agent-heartbeat.2020-11-25
agent-common.2020-11-16  agent-dataManager.2020-11-24  agent-dataManager.2020-11-26  agent-heartbeat.2020-11-24  agent-heartbeat.2020-11-26

打包所有的日志文件

# 在日志目录下，执行 tar -zcvf node01.log.tar.gz *
root@zyx-test:/paas/38/node/data/logs# tar -zcvf node01.log.tar.gz *
agent-common
agent-common.2020-11-16
agent-dataManager
...
agent-heartbeat.2020-11-26

# 查看压缩后的文件
root@zyx-test:/paas/38/node/data/logs# ls -lh
total 133M
-rw-r--r-- 1 root root 1.2K Nov 26 20:19 agent-common
-rw-r--r-- 1 root root  25K Nov 16 19:42 agent-common.2020-11-16
...
-rw-r--r-- 1 root root 7.2M Nov 27 13:55 node01.log.tar.gz

Manager 日志

位置查看

# 查询在宿主机上挂载的日志目录
root@zyx-test:~# docker inspect `docker ps  | grep mysqlpaas-manager | awk '{print $1}'` -f {{.Mounts}} | awk '{print $2}'
/paas/38/manager/logs

# 进入日志目录
root@zyx-test:~# cd /paas/38/manager/logs
root@zyx-test:/paas/38/manager/logs# ls
manager-backend             manager-common             manager-common.2020-11-19  manager-common.2020-11-23  manager-dataManager.2020-11-24  manager-heartbeat             manager-request
manager-backend.2020-11-24  manager-common.2020-11-16  manager-common.2020-11-20  manager-common.2020-11-24  manager-dataManager.2020-11-25  manager-heartbeat.2020-11-22
manager-backend.2020-11-25  manager-common.2020-11-17  manager-common.2020-11-21  manager-common.2020-11-26  manager-dataManager.2020-11-26  manager-heartbeat.2020-11-23
manager-backend.2020-11-26  manager-common.2020-11-18  manager-common.2020-11-22  manager-dataManager        manager-eventAlarm

打包日志文件

# 在manager log 文件下，执行打包命令
root@zyx-test:/paas/38/manager/logs# tar -zcvf manager01.tar.gz * 
manager-backend
manager-backend.2020-11-24
manager-backend.2020-11-25
manager-backend.2020-11-26
manager-common
...


# 查看打包后的文件，转存
root@zyx-test:/paas/38/manager/logs# ls -lh
total 835M
-rw-r--r-- 1 root root  32M Nov 27 13:57 manager01.tar.gz

数据库运维

进入MySQL容器

docker exec -it `docker ps | grep mysqlpaas-node | awk '{print $1}'` /bin/bash

MySQL Node 节点故障修复

一些场景下，由于一些不明因素，可能导致节点修复失败，节点状态处于故障中。登录容器后，查看mysql进程，发现进程不存在

可手动执行如下命令，拉起容器中的MySQL进程

/usr/local/mysql/bin/mysqld --defaults-file={Slot Path}/my.cnf --basedir=/usr/local/mysql --user=mysql &

手动拉起mysql后，在界面上尝试任务的重试，或者中断。

服务不可用问题定位及修复

主节点宕机，实例没有切换

检查集群中是否有任务在执行中

如果有检查是否为主从切换，并且检查状态是否为执行中，或者是执行失败。

如果是主从切换任务执行失败： 可以联系开发处理

如果是其他任务执行失败，请尝试在集群任务列表中选择取消任务

在该页面选择最新的任务，进入任务详情页面，红框位置在任务失败时会显示取消任务。

取消任务后会开始恢复任务。等待执行成功，如果失败，联系开发处理

主节点可用，从节点没有恢复

检查是否有任务执行失败，如果有，按1.1中的步骤取消任务

取消任务后会开始新的恢复任务，如果没有开始，或者又执行失败，联系开发处理

主从都存活，复制没有恢复

检查是否有任务运行或者执行失败，如果有，按1.1中步骤取消任务

取消后等待开始新的恢复任务。

如果恢复任务执行失败，检查复制状态，在从机上执行　show slave status \G 观察 Last_SQL_error 一列。

如果出现SQL ERROR，需要进行重建节点。点击下图红框处弹出对话框，点击确认重建节点

如果重建失败，联系开发处理

集群任务执行失败

如果是用户主动发起的任务（创建，删除，重建）直接联系开发处理

自动执行的故障恢复任务，先试者取消任务，再次失败的话联系开发处理

资源页面显示离线

确认容器存活，容器内Agent存活。

容器未存活，请启动容器

容器存活，找不到 mysql-paas agent 进程。 执行容器底部 python start.py 脚本

agent 存活仍然显示离线，联系开发处理

重建从库

使用EasyOps，打开万象的管理端服务界面

进入集群管理界面，修改集群类型，将其变更为异步集群。等待一段时间，刷新确认，集群已进入异步集群模式

点击集群名称，进入集群详情页面，点击重建节点