主库正常，两个备库故障
处理时序图：
处理过程说明：
| 序号 | 类型 | 执行方 | 操作过程说明 | 如何验证成功 |
|---|---|---|---|---|
| 1 | 自动 | HAS | 两个备库发生故障后，HAS自动将主库降为备库。 | 在原主库上执行数据库主备角色检查命令，检查结果应是备库。 在原主库上执行查看网络接口命令，发现vip已释放。 |
| 2 | 人工 | DBA | 调用HAS停止命令停止HAS和数据库服务。 调用数据库启动命令，自动以主库运行。 通过VIP添加命令可以使主库通过VIP继续对外提供服务。 | 在原主库上执行数据库主备角色检查命令，检查结果应是主库。 在原主库上执行查看网络接口命令，发现vip绑定在原主库节点上。 |
| 3，4 | 人工 | DBA | 线下恢复硬件和OS | |
| 5 | 人工 | DBA | 删除主库上DCS的数据。 配置三台机器上的DCS和故障节点的HAS，参考部署文档。 通过DCS启动命令启动所有节点的DCS。 通过HAS启动命令启动主库HAS。 | 调用DCS集群状态查看命令，检查DCS健康状态。 调用HAS状态查看命令，并且leader为原主库。 分别在三个节点上执行查看网络接口命令，发现vip绑定在原主库节点上。 |
| 6 | 人工 | DBA | 通过HAS启动命令启动同步备库HAS。 | 通过vsql连接数据库。 执行数据库流复制状态检查命令，可以看到原同步备库的sync_state为Sync。 调用HAS状态查看命令，查看集群状态，此时集群状态应为一主一同步备，并且leader为原主库。 |
| 7 | 人工 | DBA | 通过HAS启动命令启动异步备库HAS。 | 通过vsql连接数据库。 执行数据库流复制状态检查命令，可以看到原同步备库的sync_state为Sync，原异步备库的sync_state为Async。 调用HAS状态查看命令，查看集群状态，此时集群状态应为一主一同步备一异步备，并且leader为原主库。 |
