主库硬件故障
处理时序图：
处理过程说明：
| 序号 | 类型 | 执行方 | 操作过程说明 | 如何验证成功 |
| 1 | 自动 | HAS | HAS通过DCS检测到主库离线，同步备库升级为主库。 |
1、在原同步备库执行数据库主备角色检查命令，检查结果应是主库。
2、分别在三个节点上执行查看网络接口命令，发现vip绑定在原同步备库节点上。 3、通过vsql连接数据库。 4、执行数据库流复制状态检查命令，可以看到原异步备库的sync_state为sync。 调用HAS状态查看命令，查看集群状态，此时集群状态应为一主一同步备，并且leader为原同步备库。 |
| 2 | 自动 | HAS | 通过DCS可以获取到数据库主库发生更改。 | |
| 3 | 人工 | DBA | 故障恢复。 | |
| 4 | 人工 | DBA |
1、移除原主库节点DCS，通过DCS集群状态查看命令查看DCS状态，并记录DCS失败节点的ID，通过DCS集群删除节点命令移除失败的DCS 。
2、配置DCS和故障节点的HAS，参考部署文档。 3、添加原主库节点DCS，通过DCS集群添加节点命令加入到DCS集群，修改ectd.conf，用添加成功弹出的信息替换原来的配置文件（/usr/DCS/DCS.conf）中对应的值。 4、通过HAS启动命令启动原主库节点。 |
1、通过DCS集群状态查看命令确认DCS 所有节点都健康。
2、通过vsql连接数据库。 3、执行数据库流复制状态检查命令，可以看到原主库的sync_state为sync，原异步备库的sync_state为potential。 4、调用HAS状态查看命令，查看集群状态，此时集群状态应为一主一同步备一异步备，并且leader为原同步备库。 |
| 5 | 自动 | HAS | 自动切换同步备（原异步备）为异步备。 |
