調優的基本選項

2021-06-20 09:57:12 字數 1050 閱讀 6389

** 

基於glusterfs構建的集群nas系統是乙個複雜的系統工程,其整體效能表現與特定應用特徵、硬體和軟體配置等息息相關。系統部署時,如果效能與估算或經驗值相差較大,則需要根據實際情況進行效能調優。根據gluster系統組成,效能調優主要從硬體、os系統和glusterfs檔案系統三大部分著手,通過測試和實驗分析得出影響效能的關鍵點,然後有針對性的實施調優方法。導致效能問題的典型情景有如下幾種:

(1)不正確的磁碟配置

(2)不正確的網路配置

(3)硬體本身存在故障;

(4)伺服器數量不足

(5)不正確的檔案訪問協議

從一定程度上講,glusterfs的效能依賴於硬體基礎設施,主要涉及伺服器、cpu、記憶體、磁碟、網路等部件,硬體效能直接決定著系統理論上的最大效能。當效能不能滿足應用需求時,我們應當首先分析是否硬體配置是否足夠。如果硬體配置存在明顯問題,可以直接通過公升級硬體配置來直接提公升效能,比如更多更高效能的cpu,更多的記憶體,更多或更快的磁碟,更多的網路介面或更快的網路。

通常情況下,系統預設的引數設定是為了適應更多的應用負載,但效能往往不是最優的,比如i/o排程演算法、cache引數、程序排程親和度、磁碟檔案系統引數、mount引數、網路通訊引數等。可以針對具體的應用特徵,基於理論分析和實驗測試,對這些引數進行個性化配置,以獲得更高的效能提公升。

典型的如本地檔案系統xfs,ext4等各自測試的結果,綜合資料要看應用。

(1)全域性cache-size,預設值32mb

(2)每檔案write-cache-size,預設值1mb

(3)i/o併發數量,預設值16

(4)read-ahead開關,預設值on

(5)條帶大小,預設值128kb

以上這些系統引數設定沒有普遍適用的經驗值,需要根據實際情況進行理論分析和實驗測試,從而確定最佳的系統引數。如果硬體配置足夠,應該適當提公升這些系統引數設定,以獲得更高的整體效能。

beyondstor也應該有自己的一套!

WAS中的基本調優步驟

部署在was上的j2ee應用程式,其效能是由多個因素決定的。例如網路 資料庫 記憶體分配 was伺服器的配置以及應用程式的設計。對於乙個標準的j2ee應用,乙個請求到來時,往往需要經過多次 網路 web伺服器web容器 ejb容器 資料庫。而每一次 都可能造成請求處理的瓶頸,使得應用程式整體效能下降...

spark調優 shuffle調優

基於spark1.6 引數可以通過 new sparkcontext set 來設定,也可以通過命令的引數設定 conf spark.shuffle.file.buffer 預設值 32k 引數說明 該引數用於設定shuffle write task的bufferedoutputstream的buf...

Spark Spark調優 資源調優

spark在乙個executor的記憶體分為三塊,1.一塊是execution記憶體 2.一塊是storge 記憶體 3.一塊是其他記憶體 執行記憶體是執行記憶體,加入,聚合都是在這部分記憶體中執行.shuffle的資料也會先快取在這個記憶體中,滿了再寫入磁碟,能減少io,其實地圖過程也是在這個記憶...