集群搭建完成簡要測試集群（效能）頻寬與IOPS

集群搭建好之後網路，raid卡策略，磁碟都會影響集群的效能。為了避免因上述問題使得集群的效能受到影響，我們依次進行測試，最後得到基本的集群效能。

網路首先是網路，ceph集群一大堆讓人摸不著頭腦的問題都出在網路上，所以我們在建立集群之前就可以測試網路，看其是否有問題，可以通過ping命令來測試網路的連通性，但最好使用iperf，測試下網路傳輸速度。

遇到有不少現場情況，因為光模組導致萬兆網路只有百兆的速度，如果等集群建好之後效能不如意，花費大量時間排查發現是這個問題就太冤了。

iperf命令

選擇乙個節點作為iperf server

iperf -s

選擇其他節點作為iperf client，比如server ip位址為192.168.12.4

iperf -c 192.168.12.4 -i 1 -t 5

[ 3] 0.0- 1.0 sec 575 mbytes 4.83 gbits/sec

[ 3] 1.0- 2.0 sec 361 mbytes 3.03 gbits/sec

[ 3] 2.0- 3.0 sec 618 mbytes 5.18 gbits/sec

[ 3] 3.0- 4.0 sec 423 mbytes 3.55 gbits/sec

[ 3] 4.0- 5.0 sec 519 mbytes 4.35 gbits/sec

[ 3] 0.0- 5.0 sec 2.44 gbytes 4.19 gbits/sec

iperf -c 192.168.12.4 -i 1 -t 10 |awk 『/sec/ 』

一般ceph的內部通訊網路是萬兆網路，那通過iperf測試的速度為8-9gbits/sec為正常，一次測試每個節點，沒問題後接下來檢查raid卡cache策略

總之，如果有bbu，設定raid cache為no write cache if bad bbu

/opt/megaraid/megacli/megacli64 -adpbbucmd -aall

/opt/megaraid/megacli/megacli64 -ldsetprop -nocachedbadbbu -immediate -lall -aall

測試頻寬與iops

頻寬和iops測試的時候要同時使用atop來看當前測試壓力的瓶頸在**，以三節點集群為例，通常使用兩台節點同時往集群寫入資料就可以測出最大效能，但是如果硬體裝置配置很高，這時候atop觀察發現兩台同時給壓力集群還是沒有滿負荷跑，可以使用三個節點同時壓：

通常頻寬使用1m的資料塊來順序寫測試，iops使用4k小檔案隨機寫來測試

頻寬測試的瓶頸往往在萬兆網絡卡上，atop命令可以看到萬兆卡被壓紅

iops的瓶頸往往在磁碟上，atop可以看到不同節點的磁碟輪番被壓紅，或者同時壓紅則正常。如果發現有乙個節點始終沒有太大的變化，就需要去排查分析是否有問題

注意無論是dd命令還是fio命令，都不要對系統盤寫，尤其是直接對系統塊裝置寫，會直接抹掉系統資料。

頻寬以集群提供的nas資料夾為例，如果為3節點集群，可以利用其中兩個節點向同一資料夾同時寫入，最後將結果相加

以順序寫為例：

進入nas目錄裡（同時寫入的兩個節點of檔名取不同的，否則測試結果偏高），同時從兩個節點寫資料,頻寬為1.7gb/s（兩個節點測試結果之和）

dd命令

dd if=/dev/zero of=dd.client1 bs=1m count=40960 conv=fsync

iops測試

一般使用fio工具來測試iops，fio也可以測試頻寬。

測試iops一般使用4k的資料塊

測試頻寬建議使用大於等於1m的資料塊

我們使用集群提供的塊服務（iscsi），如塊名為rbd0

下圖為同時從兩個節點向/dev/rbd0寫如資料的iops測試結果，同理，將兩個iops的值相加即粗略得到集群的iops，記得上面說到的用atop檢視三個節點的磁碟狀態，最直觀的就是是否壓紅