最近在centos系統中(主機a)讀資料。由於a主機只是作為資料讀取,具體的deep learning 實驗,需要在主機b( centos )中進行,需要將主機a上的資料傳輸。由於主機a並不是一直開著centos系統,且資料量比較(40g+),所以用優盤copy的方法有點不現實,經過查詢資料,發現了兩種方法。
注意:兩台主機都是centos 6.5 版本的系統,主機a:ip 192.168.1.102 主機b:192.168.1.33
a,b 機上的ssh都允許root登入,b主機的ip:192.168.1.33,要把a主機上的/home/data資料夾傳送到主機b上,執行命令
注意:這裡的scp命令,前面不能加sudo ,加上sudo後會報錯。
[root@localhost desktop]# scp /home/data [email protected]:/home/new-data
上面的命令中/home/data 是a主機中要傳的資料夾,後面的資訊是b主機的資訊。
輸入上面的命令會提示輸入b主機的root 密碼,對於要傳的資料夾來說scp命令是不允許的會提示
/home/data: not a regular file
so,需要先將資料夾進行壓縮,然後再用剛才的命令進行傳遞資料
[root@localhost desktop]#tar jcvf /home/data.tar.bz2 /home/data #建立.tar.bz2檔案,壓縮率高(由於資料量比較大,壓縮時間比較長)
[root@localhost desktop]#tar -xvjf data.tar.bz2 #解壓.tar.bz2檔案
首先稍微介紹一下nfs。nfs( network file system )即,網路檔案系統,允許網路中的計算機之間通過tcp/ip 網路共享資源。在nfs的應用中,本地nfs的客戶端應用可以透明地讀寫位於遠端nfs伺服器上的檔案,就像訪問本地檔案一樣。
下面看一下nfs伺服器和客戶端的具體配置過程
(1)安裝nfs 所需的包,nfs-utils 和 rpcbind,注意:在centos的一些版本中安裝nfs-utils的時候會安裝rpcbind
yum install -y nfs-utils
(2)修改配置檔案(建立共享的檔案路徑)
[root@localhost desktop]#vim /etc/exports
/home/ 192.168.1.0/24 (rw,all_squash) #檔案裡面新增的內容
其中的/home/ 是要共享的目錄 192.168.1.0/24 是允許訪問的主機,可以是乙個ip,也可以是乙個網段 。()裡是共享的許可權 ,其中 rw是讀寫,all_squash是普通使用者身份
(3)修改後,啟動nfs服務
[root@localhost desktop]# /etc/init.d/rpcbind start #輸入該命令後無反應
[root@localhost desktop]# /etc/init.d/nfs start
(1)安裝nfs所需的軟體包(和伺服器的安裝方式一樣)
(2)檢視伺服器共享了哪些目錄
showmount -e 192.168.1.102
會提示如下錯誤
被訪問的nfs伺服器上的防火牆沒有新增規則,我所做的處理是直接將防火牆關閉,需在伺服器配置
service iptables stop
伺服器配置完後,再檢視共享目錄就沒問題了。
(3)客戶端mount nfs
mount -t nfs 192.168.1.102:/home /mnt/new_data
兩台centos之間傳送檔案
最近在centos系統中 主機a 讀資料。由於a主機只是作為資料讀取,具體的deep learning 實驗,需要在主機b centos 中進行,需要將主機a上的資料傳輸。由於主機a並不是一直開著centos系統,且資料量比較 40g 所以用優盤copy的方法有點不現實,經過查詢資料,發現了兩種方法...
兩台centos之間傳送檔案
最近在centos系統中 主機a 讀資料。由於a主機只是作為資料讀取,具體的deep learning 實驗,需要在主機b centos 中進行,需要將主機a上的資料傳輸。由於主機a並不是一直開著centos系統,且資料量比較 40g 所以用優盤copy的方法有點不現實,經過查詢資料,發現了兩種方法...
兩台centos之間傳送檔案
最近在centos系統中 主機a 讀資料。由於a主機只是作為資料讀取,具體的deep learning 實驗,需要在主機b centos 中進行,需要將主機a上的資料傳輸。由於主機a並不是一直開著centos系統,且資料量比較 40g 所以用優盤copy的方法有點不現實,經過查詢資料,發現了兩種方法...