主库硬件故障
处理时序图：
处理过程说明：
| 序号 | 类型 | 执行方 | 操作过程说明 | 如何验证成功 |
|---|---|---|---|---|
| 1 | 自动 | HAS | HAS通过DCS检测到主库离线，同步备库升级为主库。 | 在原同步备库执行数据库主备角色检查命令，检查结果应是主库。 分别在三个节点上执行查看网络接口命令，发现vip绑定在原同步备库节点上。 通过vsql连接数据库。 执行数据库流复制状态检查命令，可以看到原异步备库的sync_state为Sync。 调用HAS状态查看命令，查看集群状态，此时集群状态应为一主一同步备，并且leader为原同步备库。 |
| 2 | 自动 | HAS | 通过DCS可以获取到数据库主库发生更改。 | |
| 3 | 人工 | DBA | 故障恢复。 | |
| 4 | 人工 | DBA | 移除原主库节点DCS，通过DCS集群状态查看命令查看DCS状态，并记录DCS失败节点的ID，通过DCS集群删除节点命令移除失败的DCS 。 配置DCS和故障节点的HAS，参考部署文档。 添加原主库节点DCS，通过DCS集群添加节点命令加入到DCS集群，DCS节点添加命令需要在健康节点执行，并且需要将执成功后弹出的信息，替换到故障节点的DCS_conf.yml文件中。通过HAS启动命令启动原主库节点。 | 通过DCS集群状态查看命令确认DCS 所有节点都健康。 通过vsql连接数据库。 执行数据库流复制状态检查命令，可以看到原主库的sync_state为Async，原异步备库的sync_state为Sync。 调用HAS状态查看命令，查看集群状态，此时集群状态应为一主一同步备一异步备，并且leader为原同步备库。 |
| 5 | 人工 | DBA | 通过HAS停止命令关闭原异步备 | 调用HAS状态查看命令，查看集群状态，此时集群状态应为一主一同步备，并且leader为原同步备库，同步备为原主库。 |
| 6 | 自动 | HAS | HAS通过DCS检测到同步备库离线，异步备库切换为同步备库。 | |
| 7 | 人工 | DBA | 通过HAS启动命令启动原异步备。 | 调用HAS状态查看命令，查看集群状态，此时集群状态应为一主一同步备一异步备，并且leader为原同步备库，同步备为原主库，异步备为原异步备。 |
