1.1 什么是rsync？

rsync可以实现增量备份，配合inotify可以实现时事的数据备份

1.2 Rsync的三种工作模式

1.2.1 本地备份，相当于 cp 命令

1.2.1.1  将 /etc/hosts 文件拷贝到/beifeng/20170531 目录下

[root@oldboy-37 ~]# mkdir /beifeng/20170531 -p
[root@oldboy-37 ~]# ^C
[root@oldboy-37 ~]# rsync -avz /etc/hosts /beifeng/20170531/
sending incremental file list
hosts
 
sent 124 bytes  received 31 bytes  310.00 bytes/sec
total size is 158  speedup is 1.02
[root@oldboy-37 ~]# ls -l /beifeng/20170531/hosts
-rw-r--r-- 1 root root 158 May  4 16:59 /beifeng/20170531/hosts

1.2.1.2   删除一个目录pear

[root@oldboy-37 ~]# ls /tmp/
hosts             mhash_ins.txt  nginx_ins.txt    sess_77d751556dc74465c7d5b1053b1611cd  zend_ins.txt
httpd_ins.txt     mysql_ins.txt  pear             wdapache_ins.txt
libiconv_ins.txt  mysql.sock     php_ins.txt      wdcp_ins.txt
mcrypt_ins.txt    na_ins.txt     pureftp_ins.txt  wdphp_ins.txt
[root@oldboy-37 ~]# rsync -avz --delete /tmp/pear /beifeng/20170531/
sending incremental file list
pear/
pear/download/
pear/download/package.sig
pear/download/package.xml
pear/download/package2.xml
pear/download/Archive_Tar-1.3.7/
pear/download/XML_Util-1.2.1/
pear/download/XML_Util-1.2.1/Util.php
pear/download/XML_Util-1.2.1/examples/
pear/download/XML_Util-1.2.1/examples/example.php
pear/download/XML_Util-1.2.1/examples/example2.php
sent 438912 bytes  received 3247 bytes  294772.67 bytes/sec
total size is 2067376  speedup is 4.68
[root@oldboy-37 ~]# ls -l /tmp/pear/
total 8
drwxr-xr-x. 7 root root 4096 May 24 11:05 download
drwxr-xr-x. 2 root root 4096 May 24 13:28 temp [root@oldboy-37 ~]# cd /beifeng/20170531/
hosts  pear/ 
[root@oldboy-37 ~]# ls -l /beifeng/20170531/pear/
total 8
drwxr-xr-x 7 root root 4096 May 24 11:05 download
drwxr-xr-x 2 root root 4096 May 24 13:28 temp

命令解释：以前面的目录为准，前面目录有啥后面目录有啥，前面目录没有的，后面目录也不能有

1.2.2 通过网络远程 shell push（推）将本地IP:10.0.0.140的 /tmp/ 目录中的内容推到 10.0.0.200 的 /opt/ 目录下

1.2.2.1  本地tmp下的内容

[root@oldboy-37 ~]# ls -l /tmp/
total 8
-rw-r--r--. 1 root  root   158 May 26 13:23 hosts
-rw-r--r--. 1 root  root     0 May 24 10:44 httpd_ins.txt
-rw-r--r--. 1 root  root     0 May 24 10:44 libiconv_ins.txt
-rw-r--r--. 1 root  root     0 May 24 10:45 mcrypt_ins.txt
-rw-r--r--. 1 root  root     0 May 24 10:44 mhash_ins.txt
-rw-r--r--. 1 root  root     0 May 24 10:41 mysql_ins.txt
srwxrwxrwx  1 mysql mysql    0 May 26 14:54 mysql.sock
-rw-r--r--. 1 root  root     0 May 24 10:44 na_ins.txt
-rw-r--r--. 1 root  root     0 May 24 10:42 nginx_ins.txt
drwxr-xr-x. 4 root  root  4096 May 24 11:05 pear
-rw-r--r--. 1 root  root     0 May 24 11:00 php_ins.txt
-rw-r--r--. 1 root  root     0 May 24 11:00 pureftp_ins.txt
-rw-------. 1 root  root     0 May 24 11:05 sess_77d751556dc74465c7d5b1053b1611cd
-rw-r--r--. 1 root  root     0 May 24 11:02 wdapache_ins.txt
-rw-r--r--. 1 root  root     0 May 24 11:05 wdcp_ins.txt
-rw-r--r--. 1 root  root     0 May 24 11:05 wdphp_ins.txt
-rw-r--r--. 1 root  root     0 May 24 11:00 zend_ins.txt

1.2.2.2  远程IP:10.0.0.200 opt目录下的内容

[root@localhost ~]# ls -l /opt/
total 4
-rw-r--r--. 1 1001 1001    0 May 26 03:33 4.txt
-rw-r--r--. 1 1001 1001    0 May 26 03:33 5.txt
drwxr-xr-x. 2 1001 1001 4096 May 25 14:10 data1

1.2.2.3  开始推送

[root@oldboy-37 opt]# rsync -avzP -e 'ssh -p 52113' /tmp/ guoxiangfu@10.0.0.200:/opt/
oldboy@10.0.0.200's password:
sending incremental file list
./
rsync: failed to set times on "/opt/.": Operation not permitted (1)
hosts
         158 100%    0.00kB/s    0:00:00 (xfer#1, to-check=221/223)
pear/download/PEAR-1.9.1/PEAR/REST/13.php
       11620 100%   98.68kB/s    0:00:00 (xfer#108, to-check=85/223)
pear/download/PEAR-1.9.1/PEAR/Task/
pear/download/PEAR-1.9.1/PEAR/Task/Common.php
        6110 100%   51.44kB/s    0:00:00 (xfer#109, to-check=84/223)
pear/download/PEAR-1.9.1/PEAR/Task/Postinstallscript.php
       14418 100%  120.34kB/s    0:00:00 (xfer#110, to-check=83/223)
pear/download/PEAR-1.9.1/PEAR/Task/Replace.php
        6810 100%   56.84kB/s    0:00:00 (xfer#111, to-check=82/223)
pear/download/PEAR-1.9.1/PEAR/Task/Unixeol.php
        2273 100%   18.97kB/s    0:00:00 (xfer#112, to-check=81/223)
pear/download/PEAR-1.9.1/PEAR/Task/Windowseol.php
        2269 100%   18.78kB/s    0:00:00 (xfer#113, to-check=80/223)

1.2.2.4  查看 IP:10.0.0.200 是否推送成功

[root@localhost opt]# pwd
/opt
[root@localhost opt]# ls
4.txt  httpd_ins.txt     mysql_ins.txt  pear                                   wdapache_ins.txt
5.txt  libiconv_ins.txt  mysql.sock     php_ins.txt                            wdcp_ins.txt
data1  mcrypt_ins.txt    na_ins.txt     pureftp_ins.txt                        wdphp_ins.txt
hosts  mhash_ins.txt     nginx_ins.txt  sess_77d751556dc74465c7d5b1053b1611cd  zend_ins.txt

1.2.3 daemon模式

1.2.3.1  daemon是我们平时工作中最长用的一种模式

rsync 客户端的常用参数

-a 归档模式，表示以递归方式传输文件，并保持所有文件属性
-v 详细模式输出，传输时的进度等信息
-z 传输时进行压缩以提高传输效率
-r 对子目录以递归模式，即目录下的所有目录都同样传输，注意是小写r
-t 保持文件时间信息
-o 保持文件属主信息
-p 保持文件权限
-g 保持文件属组信息
-P 显示同步的过程及传输时的进度等信息
-D 保持设备文件信息
-l 保留软连接

1.3 环境的部署

1.3.1 查看两台系统环境

IP:10.0.0.400
[root@oldboy-37 ~]# uname -r
2.6.32-696.el6.x86_64
[root@oldboy-37 ~]# cat /etc/redhat-release
CentOS release 6.9 (Final)
IP:10.0.0.200
[root@localhost ~]# uname -r
2.6.32-696.el6.x86_64
[root@localhost ~]# cat /etc/redhat-release
CentOS release 6.9 (Final)
正常情况下系统默认就已经安装 rsync，所以我们需要先检查一下两台机器是否已经安装
这里我只截图了一张，但是两台必须都有 rsync

1.3.2 查看两台是否各自都安装rsync

IP:10.0.0.400
[root@oldboy-37 www]# rpm -qa | grep rsync
rsync-3.0.6-12.el6.x86_64
IP:10.0.0.200
[root@localhost ~]# rpm -qa | grep rsync
rsync-3.0.6-12.el6.x86_64

1.3.3 rsync daemon 端操作如下 IP:10.0.0.200

1.3.3.1  rsync 默认没有配置文件，那么我们就手动在 daemon 端创建配置文件

[root@localhost ~]# vim /etc/rsyncd.conf
#Rsync server
#guoxiangfu
uid = rsync
gid = rsync
use chroot = no
max connections = 2000
timeout = 600
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
ignore errors
read only = false
list = false
hosts allow = 10.0.0.200,10.0.0.140
hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password
###################
[backup]
comment = www by guoxiangfu
path = /wwwroot0.140

1.3.3.2  添加 rsync 用户

[root@localhost ~]# useradd -s /sbin/nologin -M rsync

1.3.3.3  启动 rsync

[root@localhost ~]# rsync –daemon

1.3.3.4  检查 873 端口是否开启

[root@localhost ~]# netstat -antup |grep 873
tcp        0      0 0.0.0.0:873                 0.0.0.0:*                   LISTEN      11959/rsync        
tcp        0      0 :::873                      :::*                        LISTEN      11959/rsync

1.3.3.5  创建文件，并将 /backup 目录的属主改为 rsync 用户

[root@localhost ~]# mkdir -p /wwwroot0.140
root@localhost ~]# chown -R rsync /wwwroot0.140/

1.3.3.6  创建密码文件，并且给密码文件权限为600

[root@localhost ~]# echo "rsync_backup::123456" > /etc/rsyncd.password
[root@localhost ~]# chmod 600 /etc/rsyncd.password

1.3.3.7  将该服务加到开机自动中

[root@localhost ~]# echo "rsync --daemon" >> /etc/rc.local
[root@localhost ~]# tail /etc/rc.local
#!/bin/sh
#
# This script will be executed *after* all the other init scripts.
# You can put your own initialization stuff in here if you don't
# want to do the full Sys V style init stuff.
 
touch /var/lock/subsys/local
rsync –daemon

1.3.4 客户端的操作

1.3.4.1  在 client 端查看系统中安装了 rsync 软件

[root@oldboy-37 www]# rpm -qa | grep rsync
rsync-3.0.6-12.el6.x86_64

1.3.4.2  创建一个密码文件，内容只需要有密码及权限配置

[root@oldboy-37 www]# echo "123456" > /etc/rsync.password
[root@oldboy-37 www]# chmod 600 /etc/rsync.password

1.3.4.3  现在开始测试服务是否搭建成功

服务端：daemon  地址 10.0.0.200
客户端：client  地址 10.0.0.140

1.3.4.4  现在我在 client 端测试推送功能，在 0.140机器的 /www/wwwroot/，尝试推送到 0.200 的 /backup 目录中

[root@oldboy-37 wwwroot]# ls -l /www/wwwroot/
total 12
drwxr-xr-x 3 www www 4096 May 31 11:25 111_com
drwxr-xr-x 3 www www 4096 May 31 11:25 222_com
drwxr-xr-x 3 www www 4096 May 31 11:24 333_com
[root@oldboy-37 wwwroot]#
[root@oldboy-37 wwwroot]# rsync -avz /www/wwwroot/ rsync_backup@10.0.0.200::wwwroot --password-file=/etc/rsyncd.password
sending incremental file list
./
rsync: failed to set times on "." (in wwwroot): Operation not permitted (1)
111_com/
111_com/public_html/
111_com/public_html/index.html
222_com/
222_com/public_html/
222_com/public_html/index.html
333_com/
333_com/public_html/
333_com/public_html/index.html
333_com/public_html/errpage/
333_com/public_html/errpage/400.html
333_com/public_html/errpage/401.html
333_com/public_html/errpage/403.html
333_com/public_html/errpage/404.html
333_com/public_html/errpage/405.html
333_com/public_html/errpage/500.html
333_com/public_html/errpage/503.html
 
sent 7627 bytes  received 229 bytes  15712.00 bytes/sec
total size is 16189  speedup is 2.06
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1039) [sender=3.0.6]

在 10.0.0.200 上查看 /wwwroot 目录

[root@localhost www]# tree -L 1 /www/wwwroot/
/www/wwwroot/
├── 111_com
├── 222_com
├── 333_com
├── install.php
└── install.tar.gz
 
3 directories, 2 files

1.3.5 安装 inotify 软件

1.3.5.1  安装 inotify 软件的前提 rsync 服务安装成功，可以在客户端推送拉取数据

注意：inotify 是在客户端配置安装的软件

1.3.5.2  查看是否有以下三个文件，有这三个文件才表示系统支持 inotify 服务

[root@oldboy-37 ~]# ls -l /proc/sys/fs/inotify/
total 0
-rw-r--r-- 1 root root 0 May 31 13:49 max_queued_events
-rw-r--r-- 1 root root 0 May 31 13:49 max_user_instances
-rw-r--r-- 1 root root 0 May 31 13:49 max_user_watches
[root@oldboy-37 src]# cd /usr/local/src/
[root@oldboy-37 src]# ls

1.3.5.3  下载inotify-tools-3.14.tar.gz

[root@oldboy-37 src]# wget https://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
--2017-05-31 13:54:55--  https://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
Resolving cloud.github.com... 52.84.167.127, 52.84.167.26, 52.84.167.71, ...
Connecting to cloud.github.com|52.84.167.127|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 358772 (350K) [null]
Saving to: “inotify-tools-3.14.tar.gz”
 
100%[========================================================================>] 358,772     1010K/s   in 0.3s   
 
2017-05-31 13:55:07 (1010 KB/s) - “inotify-tools-3.14.tar.gz” saved [358772/358772]

1.3.5.4  编译安装 inotify

[root@oldboy-37 src]# tar zxf inotify-tools-3.14.tar.gz
[root@oldboy-37 src]# cd inotify-tools-3.14
[root@oldboy-37 inotify-tools-3.14]# ./configure --prefix=/usr/local/inotify-tools-3.14
config.status: creating config.h
config.status: creating libinotifytools/src/inotifytools/inotify.h
config.status: executing depfiles commands
config.status: executing libtool commands
[root@oldboy-37 inotify-tools-3.14]# make && make install
make  all-recursive
make[1]: Entering directory `/usr/local/src/inotify-tools-3.14'
Making all in libinotifytools
make[2]: Entering directory `/usr/local/src/inotify-tools-3.14/libinotifytools'
make[3]: Entering directory `/usr/local/src/inotify-tools-3.14'
make[3]: Leaving directory `/usr/local/src/inotify-tools-3.14'
test -z "/usr/local/inotify-tools-3.14/share/man/man1" || /bin/mkdir -p "/usr/local/inotify-tools-3.14/share/man/man1"
 /usr/bin/install -c -m 644 inotifywait.1 inotifywatch.1 '/usr/local/inotify-tools-3.14/share/man/man1'
make[2]: Leaving directory `/usr/local/src/inotify-tools-3.14/man'
make[1]: Leaving directory `/usr/local/src/inotify-tools-3.14/man'
make[1]: Entering directory `/usr/local/src/inotify-tools-3.14'
make[2]: Entering directory `/usr/local/src/inotify-tools-3.14'
make[2]: Nothing to be done for `install-exec-am'.
make[2]: Nothing to be done for `install-data-am'.
make[2]: Leaving directory `/usr/local/src/inotify-tools-3.14'
make[1]: Leaving directory `/usr/local/src/inotify-tools-3.14'

1.3.5.5  做一个软连接，取出版本号

ln -s /usr/local/inotify-tools-3.14/ /usr/local/inotify
[root@oldboy-37 inotify-tools-3.14]# ls -ld /usr/local/inotify/*
drwxr-xr-x 2 root root 4096 May 31 13:59 /usr/local/inotify/bin
drwxr-xr-x 3 root root 4096 May 31 13:59 /usr/local/inotify/include
drwxr-xr-x 2 root root 4096 May 31 13:59 /usr/local/inotify/lib
drwxr-xr-x 4 root root 4096 May 31 13:59 /usr/local/inotify/share
inotify 安装目录下的各目录介绍
bin   #inotify执行命令（二进制）
include   #inotify程序所需用的头文件
lib   #动态链接的库文件
share  #帮助文档

1.3.5.6  手动测试监控

[root@oldboy-37 wwwroot]# ls
111_com  222_com  333_com
另开一个窗口同时监控
root@oldboy-37 wwwroot]# mkdir gxf
[root@oldboy-37 wwwroot]# mkdir gxf.txt
[root@oldboy-37 wwwroot]#
[root@oldboy-37 wwwroot]# /usr/local/inotify/bin/inotifywait -mrq --timefmt '%d%m%y %H:%M' --format '%T %w%f' -e create /www/wwwroot/
310517 14:09 /www/wwwroot/gxf
310517 14:09 /www/wwwroot/gxf.txt
看到上面的信息出现说明检测成功

1.3.5.7  最终的实时同步脚本命令

[root@oldboy-37 wwwroot]# mkdir -p /server/scripts/
[root@oldboy-37 wwwroot]# vim /server/scripts/inotify.sh
#!/bin/bash
host01=10.0.0.200
src=/www/wwwroot
dst=wwwroot
user=rsync_backup
rsync_passfile=/etc/rsyncd.password
inotify_home=/usr/local/inotify/
#panduan
if [ ! -e "$src" ] \
|| [ ! -e "${rsync_passfile}" ] \
|| [ ! -e "${inotify_home}/bin/inotifywait" ] \
|| [ ! -e "/usr/bin/rsync" ];
then
   echo "Check File and Folder"
   exit 9
fi
${inotify_home}/bin/inotifywait -mrq --format '%w%f' -e create,close_write,delete,attrib $src | \
while read line
do
   cd $src && rsync -aruz -R --delete ./ --timeout=100 $user@$host01::$dst --password-file=${rsync_passfile} > /dev/null 2>&1
done
exit 0

给脚本执行权

[root@oldboy-37 wwwroot]# chmod +x /server/scripts/inotify.sh

[root@oldboy-37 wwwroot]# sh -x /server/scripts/inotify.sh
+ host01=10.0.0.200
+ src=/www/wwwroot
+ dst=wwwroot
+ user=rsync_backup
+ rsync_passfile=/etc/rsyncd.password
+ inotify_home=/usr/local/inotify/
+ '[' '!' -e /www/wwwroot ']'
+ '[' '!' -e /etc/rsyncd.password ']'
+ '[' '!' -e /usr/local/inotify//bin/inotifywait ']'
+ '[' '!' -e /usr/bin/rsync ']'
+ read line
+ /usr/local/inotify//bin/inotifywait -mrq --format %w%f -e create,close_write,delete,attrib /www/wwwroot
+ cd /www/wwwroot
+ rsync -aruz -R --delete ./ --timeout=100 rsync_backup@10.0.0.200::wwwroot --password-file=/etc/rsyncd.password
+ read line

打赏 支付宝打赏 微信打赏