主库正常-两个备库故障
处理时序图：
处理过程说明：
| 序号 | 类型 | 执行方 | 操作过程说明 | 如何验证成功 |
| 1 | 自动 | HAS | 两个备库发生故障后，HAS自动将主库降为备库。 |
1、在原主库上执行数据库主备角色检查命令，检查结果应是备库。
2、在原主库上执行查看网络接口命令，发现vip已释放。 |
| 2 | 人工 | DBA |
1、调用HAS停止命令停止HAS和数据库服务。
2、调用数据库启动命令，自动以主库运行。 3、通过VIP添加命令可以使主库通过VIP继续对外提供服务。 |
1、在原主库上执行数据库主备角色检查命令，检查结果应是主库。
2、在原主库上执行查看网络接口命令，发现vip绑定在原主库节点上。 |
| 3，4 | 人工 | DBA | 线下恢复硬件和OS | |
| 5 | 人工 | DBA |
1、删除主库上DCS的数据。
2、配置三台机器上的DCS和故障节点的HAS，参考部署文档。 3、通过DCS启动命令启动所有节点的DCS。 4、通过HAS启动命令启动主库HAS。 |
1、调用DCS集群状态查看命令，检查DCS健康状态。
2、调用HAS状态查看命令，并且leader为原主库。 3、分别在三个节点上执行查看网络接口命令，发现vip绑定在原主库节点上。 |
| 6 | 人工 | DBA | 通过HAS启动命令启动同步备库HAS。 |
1、通过vsql连接数据库。
2、执行数据库流复制状态检查命令，可以看到原同步备库的sync_state为sync。 3、调用HAS状态查看命令，查看集群状态，此时集群状态应为一主一同步备，并且leader为原主库。 |
| 7 | 人工 | DBA | 通过HAS启动命令启动异步备库HAS。 |
1、通过vsql连接数据库。
2、执行数据库流复制状态检查命令，可以看到原同步备库的sync_state为sync，原异步备库的sync_state为potential。 3、调用HAS状态查看命令，查看集群状态，此时集群状态应为一主一同步备一异步备，并且leader为原主库。 |
