记一次GFS集群节点系统重做数据恢复

背景：

比较倒霉，周日晚上服务器硬盘损坏更换后发现数据块损坏，系统无法正常使用只能重做系统，恢复了好多虚拟机，过程无比痛苦，目前只说一说恢复gfs。

思路：

登录gfs  master节点查看peer状态，gluster peer status   发现另一个节点处于State: Peer Rejected (Disconnected)

先把peer点删除，然后再加进来。

发现直接删除peer会报错，强制删除也报错，查看网上资料，要先删除坏节点的brick,试了一下  还真恢复成功了

gluster volume info

gluster volume remove-brick vol_decpics replica 1 节点IP:/data/gfs_decpics force
gluster volume remove-brick vol_res replica 1 节点IP:/data/gfs_resource force
gluster volume remove-brick vol_xsffile replica 1 节点IP:/data/gfs_xsffile force

gluster volume info
gluster peer detach 节点IP
gluster peer status
gluster peer probe 节点IP
gluster peer status
gluster volume info
gluster volume add-brick vol_xsffile replica 2 节点IP:/data/gfs_xsffile force
gluster volume info
gluster volume add-brick vol_res replica 2 节点IP:/data/gfs_resource force
gluster volume add-brick vol_decpics replica 2 节点IP:/data/gfs_decpics force
gluster volume info

查看目录，发现数据在逐渐恢复