使用rsync從linux到linux或到windows對網站進行鏡像備份

rsync是Linux系統下的數據鏡像備份工具，從軟體的命名上就可以看出來了——remote sync。rsync支持大多數的類Unix系統，無論是Linux、Solaris還是BSD上都經過了良好的測試。rsync的最新版本可以從http://rsync.samba.org/rsync/獲得。它的特性如下：
1、可以鏡像保存整個目錄樹和文件系統。
2、可以很容易做到保持原來文件的許可權、時間、軟硬鏈接等等。
3、無須特殊許可權即可安裝。
4、優化的流程，文件傳輸效率高。
5、可以使用rcp、ssh等方式來傳輸文件，當然也可以通過直接的socket連接。
本文介紹了如何使用rsync服務從Linux到Windows和linux進行遠程備份

一、配置伺服器端

軟體下載
rysnc的主頁地址為：http://rsync.samba.org/，可以從這裡下載rysn的安裝軟體。

編譯安裝
rsync的編譯安裝非常簡單，只需要以下簡單的幾步（在兩台伺服器中都要安裝）：

$ tar xvf rsync-2.6.5.tgz
$ cd rsync-2.6.5
$ ./configure
$ make
$ make install

但是需要注意的是必須在主伺服器和同步伺服器上都安裝rsync，其中主伺服器上是以伺服器模式運行rsync，而同步上則以客戶端方式運行rsync。這樣在主伺服器上運行rsyn守護進程，在同步上用crond定時運行客戶程序來同步主伺服器上需要同步的內容。

配置rsync伺服器端

對於rsync伺服器來說，最重要和複雜的就是它的配置了。rsync伺服器的配置文件為/etc/rsyncd.conf，其控制認證、訪問、日誌記錄等等。該文件是由一個或多個模塊結構組成。一個模塊定義以方括弧中的模塊名開始，直到下一個模塊定義開始或者文件結束，模塊中包含格式為name=value的參數定義。每個模塊其實就對應需要備份的一個目錄樹，比方說在我們的實例環境中，有三個目錄樹需要備份：/www/和/mirror/file0/和/mirror/file1/目錄，那麼就需要在配置文件中定義三個模塊，分別對應三個目錄樹。配置文件是行為單位的，也就是每個新行都表示一個新的註釋、模塊定義或者參數賦值。


例如，在168上創建rsyncd的配置文件/etc/rsyncd.conf，內容如下：

uid = nobody # 備份以什麼身份進行，用戶ID
gid = nobody # 備份以什麼身份進行，組ID
#注意這個用戶ID和組ID，如果要方便的話，可以設置成root，這樣rsync幾乎就可
#以讀取任何文件和目錄了，但是也帶來安全隱患。建議設置成只能讀取你要備
#份的目錄和文件即可。

#use chroot = no
max connections = 0 # 最大連接數沒有限制
pid file = /var/log/rsync/rsyncd.pid
lock file = /var/log/rsync/rsync.lock
log file = /var/log/rsync/rsyncd.log

[attachment] # 指定認證的備份模塊名
path = /www/htdocs/pub/attachment/ # 需要備份的目錄
comment = BACKUP attachment # 註釋
ignore errors # 忽略一些無關的IO錯誤
read only = false # 設置為非只讀
list = false # 不允許列文件
#hosts allow = 210.51.0.80 #允許連接伺服器的主機IP地址
#hosts deny = 0.0.0.0/0.0.0.0 #禁止連接伺服器的主機IP地址
auth users = msyn # 認證的用戶名，如果沒有這行，則表明是匿名
secrets file = /etc/rsyncd.scrt # 認證文件名，用來存放密碼

[98htdocs]
uid = nobody
gid = nobody

path = /www/htdocs/
#ignore errors
read only = false
list = false
#hosts allow = 210.51.0.98
#hosts deny = 202.108.211.38
#hosts deny = 0.0.0.0/0.0.0.0
auth users = msyn
secrets file = /etc/rsyncd.scrt

[98html]
uid = ejbftp
gid = nobody
path = /www/htdocs/pub/html/
#ignore errors
read only = false
list = false
#hosts allow = 210.51.0.98
#hosts deny = 0.0.0.0/0.0.0.0
auth users = 98syn
secrets file = /etc/rsync98.scrt

這裡分別定義了[attachment]、[98htdocs]、[98html]三個模塊，分別對應於三個需要備份的目樹。三個模塊授權的備份用戶分別為msyn，msyn，98syn，用戶信息保存在文件/etc/rsyncd.scrt和/etc/rsync98.scrt中，其內容如下：

[root@www /etc]# cat /etc/rsyncd.scrt
msyn:xxxxxxxxx

並且該文件只能是root用戶可讀寫的，注意，出於安全目的，這個文件的屬性必需是只有屬主可讀，否則rsync將拒絕運行。我們可以設置它的屬性為600：

[root@www /etc]# chmod 600 /etc/rsyncd.scrt

[root@www /etc]# mkdir /var/log/rsync

這些文件配置完畢以後，就需要在主伺服器上啟動rsyncd服務：

[root@www /etc]# /usr/local/bin/rsync --daemon

執行完畢上面的命令后，rsync即可啟動。rsync默認服務埠為873，伺服器在該埠接收客戶的匿名或者認證方式的備份請求。

二、配置客戶端

1、linux下執行rsync客戶端命令

下一步就要運行rsync客戶端的啟動命令了：

[backup@backup /] /usr/bin/rsync -vlzrtogp --progress --delete 98syn@x.x.x.168::98html /usr/local/apache/htdocs/pub/html/ --password-file=/etc/rsync98.scrt

上面這個命令行中-vzrtopg里的v是代表verbose(詳細)，z是代表zip（壓縮），r是代表recursive（遞歸），topg都是保持文件原有屬性如屬主、時間的參數。--progress是指顯示出詳細的進度情況，--delete是指如果伺服器端刪除了這一文件，那麼客戶端也相應把文件刪除，保持真正的一致。
98syn@x.x.x.168::98html 是表示該命令是對伺服器x.x.x.168中的98html模塊進行備份，其中98syn表示使用98syn用戶來對該模塊進行備份。--password-file=/etc/rsync98.scrt來指定密碼文件，這樣就可以在腳本中使用而無需互動式地輸入驗證密碼了，這裡需要注意的是這份密碼文件許可權屬性要設得只有執行這個命令的當前用戶可讀，本例中是98syn用戶。這裡將備份的內容存放在備份機的/usr/local/apache/htdocs/pub/html/目錄下。

這樣，rsync同步服務就搭建好了，最後我們可以將在客戶端執行的命令通過crontab定時執行來實現自動備份，或者寫一些腳本，這樣rsync同步服務的搭建就更加完美了。

2、Windows配置客戶端

為了在Windows環境使用rsync工具，我們需要去下載cwRsync工具，這是一個rsync for windows的版本。

現在我們可以在Windows環境下運行rsync工具了，舉例使用下面的命令連接伺服器並開始備份目錄和文件：
rsync -vzrtopg --progress --delete 98syn@xx.xx.xx.xx::98html .\bak\
應該可以看到：
password:

要求輸入密碼的提示，正確輸入密碼后就應該看到開始備份了

引起這種錯誤有幾種可能性，一是你沒有輸入正確的用戶名或密碼，二是你的伺服器端存儲密碼的文件沒有正確的許可權，也就是你的密碼文件不是類似這樣子的許可權：
-rw------- 1 root root

在備份完成之後

可以採用從文件讀取密碼的方式：
rsync -vzrtopg --progress --delete 98syn@xx.xx.xx.xx::98html .\bak\ --password-file=.\rsync98.scrt
可以寫成批處理，做到windows計劃任務裡面去，可以定時執行來實現自動備份。

你也可以在這裡下載cwRsync-1.2.8版：cwRsync_1.2.8_Installer.exe

註：本文引用地址：http://WWW.VFOCUS.NET/BLOG/mt-tb.cgi/6。請尊重原創，如有轉載請註明出處。

評論
一、faq

q：如何通過ssh進行rsync，而且無須輸入密碼？
a：可以通過以下幾個步驟

1. 通過ssh-keygen在server a上建立ssh keys，不要指定密碼，你會在~/.ssh下看到identity和identity.pub文件
2. 在server b上的home目錄建立子目錄.ssh
3. 將a的identity.pub拷貝到server b上
4. 將identity.pub加到~[user b]/.ssh/authorized_keys
5. 於是server a上的a用戶，可通過下面命令以用戶b ssh到server b上了
e.g. ssh -l userb serverb
這樣就使server a上的用戶a就可以ssh以用戶b的身份無需密碼登陸到server b上了。

q：如何通過在不危害安全的情況下通過防火牆使用rsync?
a：解答如下：

這通常有兩種情況，一種是伺服器在防火牆內，一種是伺服器在防火牆外。無論哪種情況，通常還是使用ssh，這時最好新建一個備份用戶，並且配置sshd僅允許這個用戶通過rsa認證方式進入。
如果伺服器在防火牆內，則最好限定客戶端的ip地址，拒絕其它所有連接。如果客戶機在防火牆內，則可以簡單允許防火牆打開tcp埠22的ssh外發連接就ok了。

q：我能將更改過或者刪除的文件也備份上來嗎？
a：當然可以：

你可以使用如：rsync -other -options -backupdir = ./backup-2000-2-13 ...這樣的命令來實現。
這樣如果源文件:/path/to/some/file.c改變了，那麼舊的文件就會被移到./backup-2000-2-13/path/to/some/file.c，
這裡這個目錄需要自己

手工建立起來

q：我需要在防火牆上開放哪些埠以適應rsync？
a：視情況而定

rsync可以直接通過873埠的tcp連接傳文件，也可以通過22埠的ssh來進行文件傳遞，但你也可以通過下列命令改變它的埠：

rsync --port 8730 otherhost::
或者
rsync -e 'ssh -p 2002' otherhost:

q：我如何通過rsync只複製目錄結構，忽略掉文件呢？
a：rsync -av --include '*/' --exclude '*' source-dir dest-dir

q：為什麼我總會出現"read-only file system"的錯誤呢？
a：看看是否忘了設"read only = no"了

q：為什麼我會出現'@error: invalid gid'的錯誤呢？
a：rsync使用時默認是用uid=nobody;gid=nobody來運行的，如果你的系統不存在nobody組的話，就會出現這樣的錯誤，可以試試gid =nogroup或者其它

q：綁定埠873失敗是怎麼回事？
a：如果你不是以root許可權運行這一守護進程的話，因為1024埠以下是特權埠，會出現這樣的錯誤。你可以用--port參數來改變。

q：為什麼我認證失敗？
a：從你的命令行看來：

你用的是：
> bash$ rsync -a 144.16.251.213::test test
> password:
> @error: auth failed on module test
>
> i dont understand this. can somebody explain as to how to acomplish this.
> all suggestions are welcome.

應該是沒有以你的用戶名登陸導致的問題，試試rsync -a max@144.16.251.213::test test

二、一些可借鑒的腳本

這裡這些腳本都是rsync網站上的例子：

1、每隔七天將數據往中心伺服器做增量備份

#!/bin/sh

# this script does personal backups to a rsync backup server. you will end up
# with a 7 day rotating incremental backup. the incrementals will go
# into subdirectories named after the day of the week, and the current
# full backup goes into a directory called "current"
# tridge@linuxcare.com

# directory to backup
bdir=/home/$user

# excludes file - this contains a wildcard pattern per line of files to exclude
excludes=$home/cron/excludes

# the name of the backup machine
bserver=owl

# your password on the backup server
export rsync_password=xxxxxx


########################################################################

backupdir=`date +%a`
opts="--force --ignore-errors --delete-excluded --exclude-from=$excludes
--delete --backup --backup-dir=/$backupdir -a"

export path=$path:/bin:/usr/bin:/usr/local/bin

# the following line clears the last weeks incremental directory
[ -d $home/emptydir ] || mkdir $home/emptydir
rsync --delete -a $home/emptydir/ $bserver::$user/$backupdir/
rmdir $home/emptydir

# now the actual transfer
rsync $opts $bdir $bserver::$user/current

2、備份至一個空閑的硬碟

#!/bin/sh

export path=/usr/local/bin:/usr/bin:/bin

list="rootfs usr data data2"

for d in $list; do
mount /backup/$d
rsync -ax --exclude fstab --delete /$d/ /backup/$d/
umount /backup/$d
done

day=`date "+%a"`

rsync -a --delete /usr/local/apache /data2/backups/$day
rsync -a --delete /data/solid /data2/backups/$day

3、對vger.rutgers.edu的cvs樹進行鏡像

#!/bin/bash

cd /var/www/cvs/vger/
path=/usr/local/bin:/usr/freeware/bin:/usr/bin:/bin

run=`lps x | grep rsync | grep -v grep | wc -l`
if [ "$run" -gt 0 ]; then
echo already running
exit 1
fi

rsync -az vger.rutgers.edu::cvs/cvsroot/changelog $home/changelog

sum1=`sum $home/changelog`
sum2=`sum /var/www/cvs/vger/cvsroot/changelog`

if [ "$sum1" = "$sum2" ]; then
echo nothing to do
exit 0
fi

rsync -az --delete --force vger.rutgers.edu::cvs/ /var/www/cvs/vger/
exit 0

4、利用find的一種巧妙方式

rsync -avr remote:'`find /home -name "*.[ch]"`' /tmp/

可以用這種方法列出需要備份的文件列表——這種方法似乎比較少人用到。

Tags: linux system 系統