13 备份恢复

主要用于备份和恢复统一数字底盘和组件的配置数据等。

使用备份文件进行配置恢复时，需注意：

·     请勿在备份或恢复的过程中对产品进行配置操作。

·     主机名、网卡名称、节点IP地址、用户名、密码、磁盘（包括磁盘的名称、分区大小和文件系统）、Raid模式、网卡绑定等参数必须保持一致。

·     必须使用同一时间点的统一数字底盘及组件的备份文件进行恢复，建议使用同一时间的定时备份文件进行恢复。

·     待恢复的环境必须与备份环境的节点个数相同。

·     待恢复的环境必须与备份环境安装相同版本、相同数量的组件。

13.1  备份配置

13.1.1  统一数字底盘及组件备份

支持定时备份和手动备份两种方式，可以将备份文件保存在统一数字底盘所在的服务器、远端服务器或将备份文件下载到本地。备份文件的命名规则为：前缀名_组件名称_版本号_创建时间_备份模式（M/A）.zip，其中，前缀名为用户自定义的，若不配置，则不显示。备份模式取值为M或A，分别表示手动备份或自动备份。

(1)     登录统一数字底盘，点击“系统”页签，在左侧导航树中选择“备份恢复”菜单项，进入备份恢复页面。

(2)     单击<备份参数配置>按钮，在弹出窗口中配置本地备份、远端备份或定时备份的参数。

(3)     单击<确定>按钮，保存备份参数配置。

开启定时备份功能后，统一数字底盘会定时备份统一数字底盘及其上部署的所有组件，并根据设置，将备份文件保存到指定路径。

(4)     单击<开始备份>按钮，在弹出窗口中选择备份组件后，可进行手动备份。

13.2  恢复配置

13.2.1  统一数字底盘及组件恢复

支持上传备份文件恢复和通过备份历史列表恢复两种方式，将产品恢复到备份时的状态。

(1)     登录统一数字底盘，点击“系统”页签，在左侧导航树中选择“备份恢复”菜单项，进入备份恢复页面。

(2)     可通过上传备份文件进行配置恢复：

a.     点击“请选择要上传的文件”图标，在弹出窗口中选择本地保存的备份文件后，单击<上传>按钮。

b.     单击<开始恢复>按钮，进行配置恢复。

(3)     通过备份历史列表进行配置恢复：

a.     在备份历史列表中，点击某条备份记录对应操作列的“恢复”图标，弹出确认窗口。

b.     单击<确定>按钮，进行配置恢复。

14 集群故障重建与恢复

若集群节点服务器的硬件出现故障，导致节点服务器运行异常且无法恢复时，需要更换新的节点服务器，或节点服务器操作系统异常，都需在原服务器上重新安装操作系统和Matrix。

14.1  单机故障重建与恢复

适用于单机集群中节点故障的情况。

操作步骤如下：

(1)     Matrix页面和统一数字底盘必须已进行自动备份。注意：性能监控数据较大时可能导致备份失败，此时可关闭性能监控数据开关，进行手工备份，备份方式如下：

运行influxdb服务的节点在进行操作系统覆盖安装之前，如果需要保存性能监控的历史数据，请手动备份/var/lib/ssdata/perfinfluxdb0。

(2)     可选，重新安装操作系统和Matrix。

(3)     必选，登录Matrix页面，使用Matrix备份文件恢复单机环境。

(4)     必选，重新部署故障前的所有应用。

(5)     必选，恢复统一数字底盘系统数据，方式可参考13 备份恢复。

(6)     注意：如果性能监控历史数据为手工备份，则还需进行手工恢复数据，恢复方式如下：

a.     恢复统一数字底盘系统数据后，登录节点后台，删除/var/lib/ssdata/perfinfluxdb0目录，并上传备份文件。

b.     重启influx-proxy-nsm-node-ss-0的Pod。该Pod至少十分钟才能重启完成，且数据越多恢复越慢。重启Pod的命令为：kubectl get po -n service-software| grep influx-proxy-nsm-node-ss | awk '{print $1}'| xargs kubectl delete pod -n service-software

14.2  集群单节点故障重建与备份恢复

适用于若干节点正常部署并组建集群后，其中一个节点出现故障的情况。此时可通过节点重建操作恢复故障节点。操作步骤如下：

(1)     可选，重新安装操作系统和Matrix。

(2)     必选，重建单节点：

操作系统和Matrix安装完成后，登录Matrix，进入[部署 > 集群 > 集群部署]页面，单击故障节点右上角的“设置”图标，在下拉菜单中选择“重建”选项，在弹出窗口中选择重建方式：

¡     方式一：单击上传与当前节点相同版本的软件包进行节点重建，并上传重建文件，单击<应用>按钮。

¡     方式二：单击使用系统中原有的节点部署文件进行重建，单击<应用>按钮。

(3)     节点重建完成后，查看节点状态和所有Pod状态是否恢复正常，节点和Pod状态都正常表示集群数据和统一数字底盘数据都已恢复。

(4)     可选，恢复Network性能监控的历史数据：

运行influxdb服务的故障节点在进行操作系统覆盖安装并重建加入集群后，都需在故障节点上执行/opt/matrix/app/install/metadata/UCENTER/kernel/network/perf/scripts/major2standby.py命令，用于恢复网络监控数据的完整性。

14.3  集群多节点故障重建与恢复

14.3.1  两个Master节点故障重建与恢复

当集群中的两个Master节点发生故障无法恢复时，集群将自动进入紧急模式。

操作步骤如下：

(1)     可选，任意一个故障节点重新安装操作系统和Matrix。

多个节点故障时，请依次对每个节点进行重装操作系统、Matrix、重建集群、数据恢复的操作，即请在一个节点故障恢复完成后，再对另一个节点进行操作。

(2)     必选，登录紧急模式下的Matrix。

a.     在浏览器中输入“https://ip_address:8443/matrix/ui”，登录Matrix。其中“ip_address”为集群中正常Master节点的IP地址。

b.     输入用户名和密码进行登录，用户名为admin，默认密码为Pwd@12345。登录成功后进入[部署>集群]页面。

(3)     必选，重建任意一个故障节点：

a.     单击任意一个故障节点右上角的按钮，选择“重建”选项，该故障节点重建完成后，即可完成更换一个服务器的操作。

b.     一个故障节点重建完成后，退出登录。

c.     此时可正常使用两个节点。

(4)     使用北向业务虚IP重新登录Matrix。在[部署>集群]页面下，单击故障节点右上角的按钮，选择“重建”选项重建剩下的故障节点。

14.3.2  非两个Master节点故障重建与恢复

非两个Master节点故障包括单Master单Worker故障和多Worker故障的情况。此种情况下请对各故障节点进行依次重建操作，详细重建步骤请参考14.2  集群单节点故障重建与备份恢复。

14.3.3  节点上已部署License Server，节点故障说明

节点上已部署License Server场景下，若节点服务器故障，有以下注意事项：

·     License Server为单机模式：节点服务器更新后，需进行授权迁移。

·     License Server为集群模式：

¡     使用原服务器、相同版本Matrix替换节点后，不需要进行授权迁移。

¡     使用新服务器替换节点后，需进行授权迁移。

授权迁移方式请参考：《H3C License Server 安装指导》中，常见问题解答章节。