全网备份

1.1全网备份项目介绍说明：

将全网架构中所有服务器上重要的数据进行汇总备份保存

自动化：数据信息的自动备份

规范化：避免备份数据出错

1.2  全网备份项目实施过程

     ①. 规划定义好备份服务器

           a 部署rsync备份服务(采用rsync守护进程方式)

               b 编写脚本文件管理备份数据信息

               c 编写定时任务执行脚本管理数据（难点）

        ②. 确认验证好架构服务器

           a 验证rsync备份服务

               b 编写脚本文件统一备份数据信息（难点）

               c 编写定时任务执行脚本备份数据

1.3 全网备份项目rsync守护进程模式部署

1.3.1 rysnc服务端部署操作

1. 验证软件是否存在

[root@backup~]# rpm -qa rsync

rsync-3.0.6-12.el6.x86_64

1. 检查配置文件

2.   ##rsyncd.conf start##                配置文件描述信息

3.   uid = rsync                          #用户  远端的命令使用rsync访问共享目录

4.   gid = rsync                          #用户组

5.   use chroot = no                      #安全相关

6.   max connections = 200                #最大的连接数

7.   timeout = 300                        #超时时间

8.   pid file = /var/run/rsyncd.pid       #存放服务运行的时候 进程的ID号（PID）

9. lock file = /var/run/rsync.lock      #进程的锁文件

10. log file = /var/log/rsyncd.log       #运行程序日志文件，显示出错信息等

11.  [backup]                             #模块名称

12. path = /backup                       #模块对应的位置（路径）

13. ignore errors                        #忽略错误程序

14. read only = false                    #是否只读

15. list = false                         #是否可以列表

16. hosts allow = 172.16.1.0/24          #允许访问rsync服务器的客户范围（白名单）

17. hosts deny = 0.0.0.0/32              #禁止访问rsync服务器的客户范围（黑名单）

18. auth users = rsync_backup            #不存在的用户，只用于开门（认证）

19. secrets file = /etc/rsync.passwor    #不存在的用户进行认证时的密钥文件

20. comment = "backup dir by oldboy"      #

21.     创建虚拟用户管理rsync程序

[root@backup~]# # 创建用户

[root@backup~]# useradd -s /sbin/nologin -M rsync

创建完成后查看

[root@backup~]# id rsync

uid=500(rsync)gid=500(rsync) groups=500(rsync)

4.  检查rsync服务认证用户密码文件是否存在

[root@backup~]# cat /etc/rsync.password

rsync_backup:123456

记得检查密码文件权限是不是600

[root@backup~]# chmod 600 /etc/rsync.password

[root@backup~]# ll /etc/rsync.password

-rw------- 1root root 20 May  4 12:04/etc/rsync.password

5.  创建共享存储目录

[root@backup~]# # 创建目录

[root@backup~]# mkdir /backup -p

[root@backup~]# ll -d /backup/

drwxr-xr-x 2root root 4096 May  4 12:00 /backup/

[root@backup~]# # 修改备份目录权限

[root@backup~]# chown -R rsync.rsync /backup/

[root@backup~]# ll -d /backup/

drwxr-xr-x 2rsync rsync 4096 May  4 12:00 /backup/

6.    启动rsync 服务器

[root@backup~]# ps -ef |grep rsync

root       5138     1  0 01:31 ?        00:00:00 rsync --daemon

root       6503  6391  0 09:04 pts/1    00:00:00 grep --color=auto rsync

[root@backup~]# netstat  -luntp |grep 873

tcp        0     0 0.0.0.0:873                0.0.0.0:*                   LISTEN      5138/rsync         

tcp        0     0 :::873                     :::*                        LISTEN      5138/rsync         

没有的话 打开

rsync  --daemon

7.    将rsync启动命令放入到开机自启动文件中

[root@backup~]# echo "rsync --daemon" >> /etc/rc.local

[root@backup~]# tail -1 /etc/rc.local

rsync--daemon

1.3.2 rsync客户端验证操作

  第一个里程碑要做

1.  创建用户认证密码文件，实现数据备份传输免密钥

[root@nfs01~]# cat /etc/rsync.password

123456

查看目录权限 修改成600

[root@nfs01~]# ll /etc/rsync.password

-rw-------1 root root 7 May  5 10:02/etc/rsync.password

2.  测试rsync服务数据备份传输

1.4 全网备份项目脚本编写

1.4.1 rsync客户端脚本编写需求

1. 本地创建backup备份目录                   mkdir -p /backup

              2. 将备份数据统一压缩进行保存  有软链接文件  tar -zchf

              3. 推送备份目录数据到rsync备份服务器上       --password-file=

              4. 删除本地保存的7天前的数据信息         

          find /backup/$Host_IP -type f -mtime+7 -name "*.tar.gz" |xargs rm -f

              5. 对备份数据数据进行验证，加上指纹信息      md5sum 生成数据文件指纹信息

vim/server/scripts/backup_nginx.sh

#!/bin/bash

#oldboy at2017 5 backup data

Host_IP=$(hostname-I|awk '{print $2}')

Date_info=$(date+%F_week0%w)

# createbackup data dir

mkdir -p/backup

mkdir/var/html/www -p

mkdir/app/logs/ -p

# tar datainfo

cd /&&\

mkdir /backup/$Host_IP-p

tar zchf/backup/$Host_IP/sysbak_date_${Date_info}.tar.gz  ./var/spool/cron/root ./etc/rc.local./server/scripts ./etc/sysconfig/iptables

tar zchf/backup/$Host_IP/www_date_${Date_info}.tar.gz ./var/html/www

tar zchf/backup/$Host_IP/logs_date_${Date_info}.tar.gz ./app/logs

# rsync pushfiger info

find/backup/$Host_IP/ -type f -name "*${Date_info}.tar.gz" |xargs md5sum>/backup/$Host_IP/finger_${Date_info}.txt

# rsync pushdata to rsync_server

rsync -az/backup/  rsync_backup@172.16.1.41::backup  --password-file=/etc/rsync.password

# cleardata  info for 7 day ago

find/backup/$Host_IP -type f -mtime +7 -name "*.tar.gz" |xargs rm -f

find/backup/$Host_IP -type f -mtime +7 -name "finger*"  |xargs rm -f

1.4.2 rsync服务端脚本编写需求

          a. 验证数据完整性                            md5sum -c  客户端传输过来的指纹文件

b. 将完整性验证结果，通过邮件发送给监管人员  邮箱的配置 与 发送邮件的方式(两种方式发送邮件)

            01：发送邮件方式，利用文件方式表示邮件内容

            mail -s "check data"  18735676310@163.com </tmp/mail.txt

            02：发送邮件，利用命令行方式表示邮件内容

            # echo "系统有异常问题，请检查系统"|mail -s "异常告警" 18735676310@163.com

            说明：echo后面接上要发送的邮件信息，mail -s后面接上邮件标题，最后表示要将邮件发送给谁

              c. 将180天的数据进行删除，保留每周一的数据

           find /backup/ -type f -mtime +180 !-name "*week01.tar.gz"|xargs rm -f

vim /server/scritps/backup_rsync.sh

[root@backuptmp]# cat /server/scripts/backup_server.sh

#!/bin/bash

Date_info=$(date+%F_week0%w)

# check datainfo

find /backup/-type f -name "finger_${Date_info}.txt" |xargs md5sum -c>/tmp/figer_cheak.txt

# send cheakinfo mail

mail -s"cheak date" 18735676310@163.com </tmp/figer_cheak.txt

# delete180day ago date ; save week01

find /backup/-type f -mtime +180 ! -name "*week01.tar.gz" |xargs rm -f

1.5 全网备份项目定时任务编写

①    rsync客户端编写定时任务

nginx客户端的定时任务

#crond-id-002:push backup torsync

00 00 * * * /bin/bash/server/scripts/backup_nginx.sh >/dev/null 2>&1

nfs客户端的定时任务

#crond-id-002:push backup torsync

00 00 * * * /bin/bash/server/scripts/backup_nfs.sh >/dev/null 2>&1

②    .rsync服务端编写定时任务

rsync服务端的定时任务

#crotab-id002:backup NFS nginx

00 06 * * * /bin/bash/server/scripts/backup_rsync.sh >/dev/null 2>&1

     上面两个客户端的定时任务写的是每天晚上12点整进行打包发送，而rsync服务器的定时任务是每天早上6点进行发送。

1.6 全网备份项目难点分析

①    . 每周一的数据进行保存，确认清楚什么是周一的数据

/backup/$(hostname-I|awk '{print $2}')/sysbak_date_$(date+%F_week0%w).tar.gz./var/spool/cron/root

所以在打包压缩文件的时候就考虑到了这一点$(date+%F_week0%w)这个在文件名字上面加上了周几，所以在保存数据的时候能起到关键性作用。

       find /backup/ -type f -mtime +180 ! -name"*week01.tar.gz" |xargs rm -f

②    . 验证数据完整性是什么概念

         因为数据是从客户端传过来的，为了保证数据没有修改和丢失，在发送数据时，给数据进行加密处理，然后服务端收到数据和加密处理文件时，会进行比对。如果串码一样，说明没有丢失和修改。

If you do not leave me . I will by your side untillthe life end

四级水平：你如果不离开我，我就和你同归于尽，

六级水平：你若不离不弃，我必生死相依。

八级水平：问世间情为何物？直教人生死相许。

十级水平：天地合，乃敢与君绝。

佛祖水平：你在或不在，爱就在那里，不增不减。

1.7 全网备份项目部署

1.7.1     第一个里程碑：实现数据传输备份

rsync守护进程模式配置步骤

检查服务端

1. 1.     检查软件是否存在

[root@backup~]# rpm -qa rsync

rsync-3.0.6-12.el6.x86_64

1. 2.     检查配置文件

[root@backup~]# cat /etc/rsyncd.conf

##rsyncd.conftart##

uid =rsync

gid =rsync

usechroot = no

maxconnections = 200

timeout= 300

pidfile = /var/run/rsyncd.pid

lockfile = /var/run/rsync.lock

logfile = /var/log/rsyncd.log

[backup]

path= /backup

ignoreerrors

readonly = false

list= false

hostsallow = 172.16.1.0/24

hostsdeny = 0.0.0.0/32

authusers = rsync_backup,oldboy

secretsfile = /etc/rsync.password

[data]

path= /data

ignoreerrors

readonly = false

list= false

hostsallow = 172.16.1.0/24

hostsdeny = 0.0.0.0/32

authusers = rsync_backup,oldboy

secretsfile = /etc/rsync.password

1. 3.    创建虚拟用户管理rsync程序

[root@backup~]# # 创建用户

[root@backup~]# useradd -s /sbin/nologin -M rsync

1. 4.    检查rsync服务认证用户密码文件是否存在

[root@backup~]# cat /etc/rsync.password

rsync_backup:123456

记得检查密码文件权限是不是600

1. 5.    创建共享存储目录

mkdir   /backup/ -p

修改目录的属组和属主

[root@backup~]# ll -d /backup/

drwxr-xr-x5 rsync rsync 4096 May  5 15:35 /backup/

1. 6.    启动rsync 服务器

[root@backup~]# ps -ef |grep rsync

root       5138     1  0 01:31 ?        00:00:00 rsync --daemon

root       6503  6391  0 09:04 pts/1    00:00:00 grep --color=auto rsync

[root@backup~]# netstat  -luntp |grep 873

tcp        0     0 0.0.0.0:873                 0.0.0.0:*                   LISTEN      5138/rsync         

tcp        0     0 :::873                     :::*                        LISTEN      5138/rsync         

没有的话 打开

rsync  --daemon

1. 7.    将rsync启动命令放入到开机自启动文件中

[root@backup~]# echo "rsync --daemon" >> /etc/rc.local

[root@backup~]# tail -1 /etc/rc.local

rsync--daemon

客户端：
1.  创建用户认证密码文件，实现数据备份传输免密钥

[root@nfs01~]# cat /etc/rsync.password

123456

查看目录权限 修改成600

[root@nfs01~]# ll /etc/rsync.password

-rw-------1 root root 7 May  5 10:02 /etc/rsync.password

2.  测试rsync服务数据备份传输

       第二个里程碑：编写数据备份脚本

                  nginx nfs    

--rsync客户端编写的备份脚本

客户端nginx编写的脚本

vim/server/scripts/backup_nginx.sh     要规范脚本的名称和存放脚本的目录

#!/bin/bash                             命令解释器

#oldboy at2017 5 backup data           必要的注释

Host_IP=$(hostname-I|awk '{print $2}') 设置的别名

Date_info=$(date+%F_week0%w)           设置的别名

# createbackup data dir                要创建的目录

mkdir -p/backup

mkdir/var/html/www -p

mkdir/app/logs/ -p

# tar datainfo                          打包目的的注释

cd /&&\                                一定要在根目录下面进行打包，

mkdir/backup/$Host_IP -p

tar zchf/backup/$Host_IP/sysbak_date_${Date_info}.tar.gz  ./var/spool/cron/root ./etc/rc.local./server/scripts ./etc/sysconfig/iptables        记得要加h参数，可以打包软链接

tar zchf /backup/$Host_IP/www_date_${Date_info}.tar.gz  ./var/html/www

tar zchf/backup/$Host_IP/logs_date_${Date_info}.tar.gz ./app/logs

# rsync pushfiger info

find/backup/$Host_IP/ -type f -name "*${Date_info}.tar.gz" |xargs md5sum>/backup/$Host_IP/finger_${Date_info}.txt 把找到的文件进行加密

# rsync pushdata to rsync_server

rsync -az/backup/ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password

                                              免密钥进行打包传输数据

# cleardata  info for 7 day ago              删除七天前的文件

find/backup/$Host_IP -type f -mtime +7 -name "*.tar.gz" |xargs rm -f

find/backup/$Host_IP -type f -mtime +7 -name "finger*"  |xargs rm -f

--nfs 客户端编写的备份脚本

vim/server/scripts/backup_nfs.sh                 要规范脚本的名称和存放脚本的目录

#!/bin/bash                                        命令解释器

#oldboy at2017 5 backup data                      必要的注释

Host_IP=$(hostname-I|awk '{print $2}')         

Date_info=$(date+%F_week0%w)

# createbackup data dir

mkdir -p/backup

# tar datainfo

cd /&&\                    一定要在根目录下面进行打包

mkdir/backup/$Host_IP -p

tar zchf

/backup/$Host_IP/sysbak_date_${Date_info}.tar.gz  ./var/spool/cron/root ./etc/rc.local./server/scripts ./etc/sysconfig/iptables  记得要加h参数，可以打包软链接

# rsync pushfiger info

find/backup/$Host_IP/ -type f -name "*${Date_info}.tar.gz" |xargs md5sum>/backup/$Host_IP/finger_${Date_info}.txt

把找到的文件进行加密

# rsync pushdata to rsync_server

rsync -az/backup/ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password

免密钥进行打包传输数据

# cleardata  info for 7 day ago

find/backup/$Host_IP -type f -mtime +7 -name "*.tar.gz" |xargs rm -f

find/backup/$Host_IP -type f -mtime +7 -name "finger*"  |xargs rm -f

备份服务器端  --rsync服务端编写备份脚本                

--rsync服务端编写备份脚本

vim/server/scripts/backup_rsync.sh要规范脚本的名称和存放脚本的目录

#!/bin/bash                        命令解释器

Date_info=$(date+%F_week0%w)

# check datainfo            查找传过来的密码就行比对，将结果追加到figer_cheak.txt文件中

find /backup/-type f -name "finger_${Date_info}.txt" |xargs md5sum -c>/tmp/figer_cheak.txt

# send cheakinfo mail     把文件的内容发送到邮箱

mail -s"cheak date" 18735676310@163.com </tmp/figer_cheak.txt

# delete180day ago date ; save week01   删除180天的文件除了每星期一的文件

find /backup/-type f -mtime +180 ! -name "*week01.tar.gz" |xargs rm -f

       第三个里程碑：配置定时任务

①rsync客户端编写定时任务

nginx客户端的定时任务

#crond-id-002:push backup torsync

00 00 * * * /bin/bash/server/scripts/backup_nginx.sh >/dev/null 2>&1

nfs客户端的定时任务

#crond-id-002:push backup torsync

00 00 * * * /bin/bash/server/scripts/backup_nfs.sh >/dev/null 2>&1

②. rsync服务端编写定时任务

rsync服务端的定时任务

#crotab-id002:backup NFS nginx

00 06 * * * /bin/bash/server/scripts/backup_rsync.sh >/dev/null 2>&1

     上面两个客户端的定时任务写的是每天晚上12点整进行打包发送，而rsync服务器的定时任务是每天早上6点进行发送。因为如果服务端也是晚上12点整进行备份，怕客户端的还没有发送过来就没有文件，所有往后推一点时间最好。

1.8 全网备份用到的知识点

1.8.1 md5sum

对传输的文件进行加密

[root@nfs01~]# md5sum /etc/hosts

c559a5da81a3ecc708ae5d84985a0776  /etc/hosts

指纹加密特点：雪崩效应

1.8.2 发送邮件修改的配置文件 vim /etc/mail.rc

进入到邮件发送的配置文件中，编辑发送邮件的参数信息

vim/etc/mail.rc

setfrom=18735676310@163.com smtp=smtp.163.com

setsmtp-auth-user=18735676310@163.com smtp-auth-password=Zr950220 smtp-auth=login

setfrom=邮箱地址@163.com smtp=smtp.163.com <-邮件发送邮件服务器域名，此处为163邮箱的发送服务器域名

setsmtp-auth-user=邮箱账号 smtp-auth-password=登录邮箱密码 smtp-auth=login

说明：设置发送邮件是从哪个公共邮箱地址发送，采用的发送邮件服务器域名，公共邮箱账号和密码

1.8.3 发送邮件的方式(两种方式发送邮件)

            01：发送邮件方式，利用文件方式表示邮件内容

            mail -s "check data"2722982316@qq.com </tmp/mail.txt

            02：发送邮件，利用命令行方式表示邮件内容

            # echo "系统有异常问题，请检查系统"|mail -s "异常告警" 17778058507@163.com

            说明：echo后面接上要发送的邮件信息，mail -s后面接上邮件标题，最后表示要将邮件发送给谁