因為imagenet放在230節點上,如果不把資料down到其他伺服器上的話,只能使用polyaxon排程跑**,而在使用polyaxon過程中程式不知道為什麼總是崩掉,猜測和讀取imagenet的路徑有關,因此想了另乙個辦法,把資料down下來,一開始想的是先down到本地,再上傳到其他伺服器上,而光光down val這個檔案(4個多g)就用了1個多小時,可想而知down train這個檔案,再把train和val上傳到伺服器一共需要耗時多久了,因此學習了scp這個命令,可以在伺服器之間進行檔案拷貝傳輸,命令是:
scp -r /home/data/plx-data/imagenet/val [email protected]:/home/hyq/data/imagenet
在230上執行,也就是把230上的/home/data/plx-data/imagenet/val路徑下所有檔案,包括val這個資料夾,拷貝到235的/home/hyq/data/imagenet路徑下,但是我仍然需要在後台執行,這樣的話才方便,不會因為關電腦而導致傳輸失敗,因此使用了nohup命令,但是失敗了,顯示程序狀態是t
nohup scp -r /home/data/plx-data/imagenet/val [email protected]:/home/hyq/data/imagenet &
因此換了另一種方法,
先直接用scp去跑,然後ctrl+z暫停程序,jobs檢視,發現程序狀態是stopped,
然後把該程序放入後台,bg %n,n是jobs檢視被暫停的程序,再次jobs檢視,發現程序已經在running了
然後使用disown -h %n將這個程序忽略hup訊號(不懂,猜測可能是忽略關閉伺服器通訊的訊號)
退出登入,再次登入檢視ps -ef|grep scp
參考
linux伺服器之間傳輸檔案
scp 引數 源位址 使用者名稱 ip位址或主機名 檔案路徑 目的位址 使用者名稱 ip 位址或主機名 檔案路徑 舉例 scp home work source.txt work 192.168.0.10 home work 把本地的source.txt檔案拷貝到192.168.0.10機器上的 h...
linux伺服器之間傳輸檔案的方式
1.scp 優點 簡單方便,安全可靠 支援限速引數 缺點 不支援排除目錄 用法 scp就是secure copy,是用來進行遠端檔案拷貝的。資料傳輸使用 ssh,並且和ssh 使用相同的認證方式,提供相同的安全保證 命令格式 scp 引數 源位址 使用者名稱 ip位址或主機名 檔案路徑 目的位址 使...
伺服器之間如何傳輸資料
scp命令 scp是secure copy的簡寫,用於在linux下進行遠端拷貝檔案的命令,和它類似的命令有cp,不過cp只是在本機進行拷貝不能跨伺服器,而且scp傳輸是加密的。scp可以通過ssh傳輸也可以通過ftp傳輸。上面的那個例子可以這樣來操作 乾貨 伺服器之間如何傳輸資料 scp scp的...