2023年9月15日 19:02:47
《高效能mysql>裡的內容
場景是將資料從乙個伺服器傳遞到另乙個伺服器中用於mysql資料初始化或恢復
本質的原理是壓縮傳輸
1. 使用管道命令, 壓縮的時候直接傳輸, 不再壓縮到本地, 再傳輸到另一台server壓縮
server1$ gzip -c /server1/data/file | ssh root@server2 "gunzip -c - > /server2/data/file"
2. 上一步用了ssh加密, 也可以不用加密的nc命令傳輸, 需要監聽乙個埠
server2$ nc -l -p 12345 | gunzip -c - > /server2/data/file //server2監聽埠,等待資料傳遞進行解壓縮
server1$ gzip -c - /server1/data/file | nc -q 1 server2 12345
注意:1. 壓縮命令的選擇: 更快的壓縮/解壓但壓縮率不高, 慢一些的壓縮速度, 但是壓縮率比較高 (gzip -l 壓縮更快, lzo壓縮更快, bzip2壓縮率更高)
2. 壓縮的時候用tar打包, 他解壓的時候會自動命名
3. 用rsync支援斷點續傳
4. 通過監控來選擇更好的方法 vmstat -n 5, 檢視是磁碟io還是cpu速度是瓶頸(千兆網絡卡的話,但cpu/磁碟不咋滴, 瓶頸就可能在讀寫檔案上, 不壓縮反而更快)
大檔案跨伺服器傳送
2015年9月15日 19 02 47 高效能mysql 裡的內容 場景是將資料從乙個伺服器傳遞到另乙個伺服器中用於mysql資料初始化或恢復 本質的原理是壓縮傳輸 1.使用管道命令,壓縮的時候直接傳輸,不再壓縮到本地,再傳輸到另一台server壓縮 server1 gzip c server1 d...
sql大檔案匯入遠端伺服器
有時遇到sql大檔案，比如4個g，開啟都是個問題，這時只能通過命令來匯入 在匯入之前可以使用 sqldumpsplitter.exe 將大檔案分割成小檔案。解決辦法如下 mysql h ip位址 u 使用者名稱 p p 埠 use db demo set names utf8 如 source d ...
雲伺服器大檔案分段傳輸
有時會有從遠端伺服器傳大檔案到本地的需要，傳統的 scp 命令雖然保證了資料的安全性，但是速度極慢，這裡採用將大檔案分割成小檔案，分段傳輸的方式，本地只要將小檔案合併成乙個檔案即可 分割命令 使用 split 命令進行分割，假設原始檔案有 1.55g，那麼用下面的命令會將檔案分割成 16 個小檔案，...