Sersync Rsync實現觸發式檔案同步

通常我們在伺服器上使用rsync加上crontab來定時地完成一些同步、備份檔案的任務。隨著業務和應用需求的不斷擴大、實時性要求越來越高。一般rsync是通過校驗所有檔案後，進行差量同步，如果檔案量十分龐大，那麼rsync進行校驗的過程也是十分耗時的。而且正在發生變化的往往是其中很少的一部分，這是非常低效的方式。其次，rsync不能實時的去監測、同步資料，雖然它可以通過crontab方式進行觸發同步，但是兩次觸發動作一定會有時間差，這樣就導致了服務端和客戶端資料可能出現不一致，無法在應用故障時完全的恢復資料。而sersync+rsync的組合能夠較好地解決這種問題。

1、sersync是使用c++編寫，而且對linux系統文件系統產生的臨時檔案和重複的檔案操作進行過濾（詳細見附錄，這個過濾指令碼程式沒有實現），所以在結合rsync同步的時候，節省了執行時耗和網路資源。因此更快。

2、sersync配置起來很簡單，其中bin目錄下已經有基本上靜態編譯的2進製檔案，配合bin目錄下的xml配置檔案直接使用即可。

3、另外本專案相比較其他指令碼開源專案，使用多執行緒進行同步，尤其在同步較大檔案時，能夠保證多個伺服器實時保持同步狀態。

4、本專案有出錯處理機制，通過失敗佇列對出錯的檔案重新同步，如果仍舊失敗，則每10個小時對同步失敗的檔案重新同步。

5、本專案自帶crontab功能，只需在xml配置檔案中開啟，即可按您的要求，隔一段時間整體同步一次。無需再額外配置crontab功能。

6、本專案socket與http外掛程式擴充套件，滿足您二次開發的需要。

服務端：172.16.57.26 centos6.7 rsync-server 接收檔案

客戶端：172.16.57.25 centos6.7 sersync+rsync-client 傳送檔案

1、安裝rsync

# rpm -qa | grep rsync #檢視rsync是否已經安裝，如果沒有安裝，yum install直接安裝即可

2、使用xinetd方式啟動rsync

# vim /etc/xinetd.d/rsync #修改disable = no，flags = ipv4

3、修改rsync配置檔案

# mkdir /etc/rsyncd
# vim /etc/rsyncd/rsyncd.conf #修改配置檔案如下
# global options
motd file=/etc/motd
port=873
pid file=/var/run/rsyncd.pid
lock file = /var/lock/rsyncd
log file=/var/log/rsyncd
transfer logging = yes
log format = [op]:%o [ip]:%a [module]:%m [path]:%p [file]:%f [size]:%l
syslog facility=daemon
max connections=100
[recv]
comment = "recv data from 57.25"
list = yes
use chroot = yes
read
only=no
write only = no
exclude =
include =
auth users = rsync
secrets file = /etc/rsyncd/rsyncd.secrets
strict modes = yes
hosts allow = 172.16.57.25
hosts deny = *
# ln -s /etc/rsyncd/rsyncd.conf /etc/rsyncd.conf

4、建立使用者認證檔案

# vim /etc/rsyncd/rsyncd.secrets rsync:111111 #格式使用者名稱:口令 #chmod 600 /etc/rsyncd/rsyncd.secrets #許可權設為600，否則啟動會報錯

5、啟動rsync

# /etc/init.d/xinetd start # netstat -tpln | grep 873 #檢視873埠是否已經在監聽了

1、安裝rsync，和服務端一樣，沒有安裝的話yum install安裝

2、安裝sersync

# tar xzvf sersync2.5_64bit_binary_stable_final.tar.gz # mv gnu-linux-x86 /opt/programs/sersync #解壓並拷貝到安裝目錄

3、配置sersync

<?xml version="1.0"
encoding="iso-8859-1"
?>
version="2.5"
>
hostip="localhost"
port="8008"
>
start="false"
/>
xfs="false"
/>
start="false"
>
expression="(.*)\.svn"
>
expression="(.*)\.gz"
>
expression="^info/*"
>
expression="^static/*"
>
start="true"
/>
start="true"
/>
start="true"
/>
start="true"
/>
start="true"
/>
start="true"
/>
start="true"
/>
start="true"
/>
watch="/opt/rsync_data/send"
>
#監控目錄，一旦本地目錄有檔案變化，將同步到服務端
ip="172.16.57.26"
name="recv"
/>
#服務端ip和同步模組
params="-artuz"
/>
#rsync同步引數
start="true"
users="rsync"
passwordfile="/etc/rsync.pas"
/>　＃服務端認證密碼
start="false"
port="873"
/>
start="false"
time="100"
/>
start="false"
/>
path="/tmp/rsync_fail_log.sh"
timetoexecute="60"
/>
start="false"
schedule="600"
>
start="false"
>
expression="*.php"
>
expression="info/*"
>
start="false"
name="command"
/>

4、服務端密碼認證

# vim /etc/rsync.pas #在相應的目錄下配置身份驗證檔案，裡面輸入服務端的密碼，並chmod 600 # chmod 600 /etc/rsync.pas

5、啟動sersync

# ./sersync2 -d -o confxml.xml

在客戶端下監控目錄/opt/rsync_data/send下新增檔案或者刪除，服務端的接受目錄都會實時地進行更新。

在此例中，伺服器iptables和selinux均處於關閉狀態。

note: 這種方法同步檔案的時候，同步檔案的數量如果很多，可能會有部分檔案在同步過程中缺失。查閱相關資料後，找到了如下的解決方案。由於本例中，使用的是xinetd方式啟動的rsync服務，在xinetd的配置檔案中，修改幾個引數如下：

# vim /etc/xinetd.conf
修改幾個引數：
cps             = 500 30
instances       = unlimited
per_source
= unlimited

Sersync Rsync實現觸發式檔案同步

sersync rsync實現實時同步備份

Sersync Rsync實現觸發式檔案同步

sersync rsync 實時非同步備份

Sersync Rsync實現觸發式檔案同步

sersync rsync實現實時同步備份

Sersync Rsync實現觸發式檔案同步

sersync rsync 實時非同步備份

相關推薦