參考文件:
官網:伺服器角色
作業系統型別
ip位址
目錄目標
源伺服器
centos7.4
11.11.11.2
/share
實時同步到目標伺服器
目標伺服器
centos7.4
11.11.11.3
/opt/share
yum -y install lua lua-devel rsync
1、配置源伺服器免密碼ssh登入目標伺服器
如果要通過ssh的方式,從源伺服器同步到目標伺服器的話,需要在源伺服器上配置ssh免密碼登入,如果是同一臺伺服器的本地目錄同步到另乙個目錄的話,不需要配置ssh免密碼登入su - root #用root使用者進行遠端同步
ssh-keygen -t dsa #一路回車
ssh-copy-id -i /root/.ssh/id_dsa.pub [email protected] #將源伺服器的公鑰傳送到目標伺服器,這裡需要輸入目標伺服器的root使用者密碼
ssh [email protected] ip address #檢視結果是否為目標伺服器的ip位址,如果是的話,說明ssh免金鑰登入配置成功
2、安裝依賴包
yum -y install lua lua-devel rsyn
3、安裝lsync
yum -y install lsyncd #這條命令只適用於centos 6.*版本的系統,7以上的系統會報找不到lsyncd包#cnetos
7.*版本如果要裝lsyncd的話,需要先安裝擴充套件源eple如下,然後在執行yum -y install lsyncd
路徑 說明/etc/lsyncd.conf 主配置檔案
/etc/sysconfig/lsyncd init環境變數和啟動選項配置檔案
/etc/logrotate.d/lsyncd 日誌滾動配置檔案
/usr/share/doc/lsyncd-*/examples/目錄下有lsyncd.conf配置例子
/etc/init.d/lsyncd lsyncd的init啟動指令碼
/usr/bin/lsyncd lsyncd命令路徑
/var/run/lsyncd/可放lsyncd.pid的目錄
/var/log/lsyncd/ 預設的日誌目錄
這裡ssh埠改為22022
實現結果:對源目錄下的檔案進行增刪改都會同步到目標伺服器,但需要注意的是在啟動服務後會刪除目標服務指定的目錄下的檔案(類似於映象檔案)
[root@localhost share]# cat /etc/lsyncd.confsettings
sync ,
},ssh =
}[root@localhost share]#
啟動服務centos6
# /etc/init.d/lsyncd start
設定開機啟動
# chkconfig lsyncd on
centos7
#systemctl start lsyncd.service
設定開機啟動
systemctl enable lsyncd.service
引數詳解:
setting配置引數詳解inotifymode: 預設是closewrite,還可以是modify或者 closewrite or modify
statusfile: 定義狀態檔案位置
statusinterval:將lsyncd的狀態寫入statusfile檔案的建個時間,預設是10s ,對實時同步要求比較高的話,可以調小,我設定為3s。
logfile:定義日誌檔案的位置,同步內容也可以在此檔案看到
sync配置引數詳解
default
.rsyncssh:同步到遠端主機目錄,rsync的ssh模式,需要使用key來認證
source:源目錄,需要被同步的目錄
host:遠端備份主機ip
targetdir:遠端備份目錄
delay:等待rsync同步延時時間,預設15s,如果對實時同步要求比較高,可以設定相對低點,我設定的為3s
init: 預設為true,啟動lsyncd服務後,同步源目錄裡邊的所有資料,如果值為false時,只同步源目錄lsyncd服務啟動後改變的檔案
rsync選項中引數:
binary:定義rsync的執行位置
archive:定義傳輸是否歸檔
compress:定義遠端創術是否壓縮,
verbose:定義同步時顯示的詳細資訊,列出同步的檔案
_extra:限制傳輸速度,為了不影響正常業務執行,可以做此設定,單位kb/s,與rsync相同(計算方法:10mb/s 等於 10 x 1024/8 = 1280kb/s; 2000kb/s 等於2000 x 8/1024 = 15.6mb/s)
ssh選項引數
port:定義遠端備份主機的遠端埠,定義非22埠,如果是22埠,可以不寫。
[root@tomcat2 ~]# cat /etc/lsyncd.confsettings
sync ,
delay = 5
, --init = true,
rsync =
}sync ,
delay = 5
, --init = true,
rsync =
}[root@tomcat2 ~]#
settings-- i. 本地目錄同步,direct:cp/rm/mv。 適用:500+萬檔案,變動不大
sync
--ii. 本地目錄同步,rsync模式:rsync
sync
}-- iii. 遠端目錄同步,rsync模式 +rsyncd daemon
sync ,
delay = 30
, init = false
, rsync =}}
-- iv. 遠端目錄同步,rsync模式 +ssh shell
sync
}-- v. 遠端目錄同步,rsync模式 +rsyncssh,效果與上面相同
sync ,
},ssh =
}
指令碼每25秒監測一次lsyncd服務的程序是否正常,若程序不在了,則自動啟動程序,正常與否都會寫入日誌檔案```bash
cat /opt/lsync_monitor.sh
#!/bin/bash
source /etc/profile
start()
check()
elif [ $num -eq 1
];then
fi}tot()
totsleep
25tot
6、其他設定
##### 5.2lsync_monitor.sh產生日誌只保留1個月的記錄
由於lsync_monitor.sh每分鐘寫入6行內容,所以一天下來日誌量也是比較大的
```bash
cat /opt/month.sh
#!/bin/bash
source /etc/profile
mv -f /var/log/lsync_monitor.log /var/log/last_month.log
> /var/log/lsync_monitor.log
```#####
5.3加入crontab定時任務
```bash
crontab -e
*/5 * * * * /usr/sbin/ntpdate -s 192.168.8.18
#####lsync to
10.66.84.16:/opt/share*****=
*/1 * * * * /opt/lsync_monitor.sh >> /var/log/lsync_monitor.log00
1 * * /opt/month.sh
faq:
當需要同步的資料量上百g時,程序起來一會後,自動停了。檢視日誌:因為同步的資料量較大,需要lsyncd監測的inode數量超過了自身預設的最大監控數量,所以報錯
```bash
tail -f /var/log/lsyncd/lsyncd.log
遇到:error: terminating since
outof inotify watches.
consider increasing /proc/sys/fs/inotify/max_user_watches
解決辦法:
echo
65535000 > /proc/sys/fs/inotify/max_user_watches
這個值改成多少需要根據源目錄所在分割槽的的inode多少來定(使用df -i檢視該分割槽總的inode數量)
sysctl -p
重啟lsyncd
監控目錄下的檔案操作與實時同步
若有個需求 要求記錄下某個目錄下的所有操作,包括建立檔案 修改檔案 重新命名 刪除檔案的操作,將以上所有的操作全部記錄到日誌中,或者做其他操作。net提供了乙個方法叫做 system.io.filesystemwatcher 方便powershell來呼叫。具體使用方法,我慢慢解釋。folder c...
sersync 開源伺服器檔案實時同步工具
這是我貢獻的第乙個開源軟體sersync,主要用於伺服器同步,web映象等功能。基於boost1.41.0,inotify api,rsync command.開發。測試環境centos,ubuntu。利用inotify與rsync對伺服器進行實時同步,其中inotify用於監控檔案系統事件,rsy...
檔案同步工具
前幾天有台伺服器電源壞了,還好資料沒有丟。因此必須做好伺服器檔案內容的備份。伺服器主要是用來提供 服務,帶著乙個資料庫,資料庫可以用分發和訂閱來解決,網頁檔案開發電腦也有備份,因此重點在上傳的檔案部分。手動上傳複製備份的方法顯然不可行,需要做到自動將上傳的檔案同步到另一台伺服器上。找到了乙個免費開源...