很久沒有處理很大的集群，在接觸乙個新集群的時候，如果集群足夠大，需要比較長的時間才能去理解這個集群的結構，而直接去看ceph osd tree的結果，當然是可以的，這裡是把osd tree的結構進行了乙個結構化輸出，也可以理解為畫出乙個簡單的結構圖，比較適合給其它人講解你對crush做了哪些改變，這個如果指著文字來講估計很多人會聽的雲裡霧裡，如果有比較方便的方式出圖就比較好了
為此寫了乙個小工具自己用，正好也可以看看我們對結構做簡單調整後的效果
環境就一台機器，不需要用到磁碟，這裡是模擬結構
建立乙個大集群40臺機器
seq 1 40 |xargs -i ceph osd crush add-bucket lab{} host
seq 1 40|xargs -i ceph osd crush move lab{} root=default
seq 1 960 |xargs -i ceph osd create#! /bin/sh
for osd in `seq 0 959`
dohost=$(( (($osd / 24)) + 1 ))
ceph osd crush create-or-move osd.$osd 3.6 host=lab$host &
done
ps -ef|grep create-or-move960個osd的效果如圖，節點太多了，本身輸出的時候是高畫質可以放大去看的，並且主機如果不是這麼多，顯示效果會好一點，這裡我們看的清楚是主機分組的
可以看到已經是多層的結構了，這個機器太多，我們來看下稍微少點機器的效果
主機分組
rack分組
後面的兩個圖的就比較清晰了
工具的乙個作用是，在調整結構後，能夠比較方便的去檢查osd的結構，是不是均勻的，有沒有調整錯誤，有沒有某個host裡面的osd個數跟其他不一樣，這幾種情況之前都遇到過
如果你面對的是幾十個osd的時候，你還會看看，當超過一百個的時候，一般來說就是走過場了，都會僥倖的認為，應該沒事吧，好像是對的，當然通過各種方式都能實現
目前這個小工具是直接執行直接出圖的,配色後面再處理下效果
這個tree的圖一直以為之前有寫過，但是找不到**了，重新實現了一次，也算乙個梳理，這個圖只是作為乙個更大的體系裡面很小的一部分的模組
本篇同樣給出了模擬大集群的方式
just for fun
whywho
when
建立武漢-運維-磨渣
2018-09-19
資料視覺化 什麼是資料視覺化
資料對應的英文單詞是data，從資訊獲取的角度看，資料是對目標觀察和記錄的結果，是現實世界中的時間 地點 事件 其他物件或概念的描述。不同學者對資料的作用也給出不同的定義，大致分為以下3類 視覺化對應的兩個英文單詞 visualize和visualization。visualize是動詞，描述 生成...
視覺化建模
中科永聯高階技術培訓中心 www.itisedu.com 視覺化建模 visual modeling 是利用圍繞現實想法組織模型的一種思考問題的方法。模型對於了解問題 與專案相關的每個人 客戶 行業專家 分析師 設計者等 溝通 模仿企業流程 準備文件 設計程式和資料庫來說都是有用的。建模促進了對需求...
卷積視覺化
影象卷積操作的應用沒有嚴格的數學推導，即沒有數學推導表明每一層究竟表示什麼。為了了解卷積神經網路中每一層與原有影象的對應關係，文章visualizing and understanding convolutional networks通過反向卷積的方式實現了該過程。那具體如何操作的呢？得到的h1與真...