隨著it技術的發展，各行各業的產生的資料正在以**性的速度增長。為了從這些資料中挖掘出可用的資訊並進行持續應用，資料分析變得越來越重要。資料分析使決策變得更加準確和精細，近年來已經逐漸發展成為乙個重要的it技術方向。
雲計算技術的發展使得計算資源逐漸集中化、虛擬化。怎麼高效、可靠的運營這些雲計算平台上的資源就變成了乙個重要的課題。本文主要介紹應用資料分析的方法來分析私有雲平台的系統容量和資源使用率，進而在提高資源使用率、平衡系統負載和控制進一步資金投入方面提供詳細的決策支援。
一、私有雲平台運維中的痛點和挑戰
在各行各業都在進行私有雲建設的今天，在企事業單位中負責私有雲平台運維的部門也在承受著來自各個方面的壓力。業務部門總是不斷地要求更多的資源，更快的部署節奏;財務部門則會要求不斷地降低成本，盡量使用已有資源;私有雲的運維部門則需要尋求適當的方法以在兩者之間達成平衡。
與公有雲按時間計費的方式不同，一般作為企事業單位內部建設和使用的私有雲並沒有成熟的計費體系，而作為資源使用者的一般員工對於成本更是不太關心。這就會導致一方面員工閒置了大量資源，而另一方面員工又在以各種業務需要為名義不停申請新的資源，進而導致私有雲的運維部門總是感覺資源緊張而要求增加投資，財務部門則會感覺私有雲是個需要不斷投入的無底洞。
二、以資料分析為基礎的私有雲平台優化系統概況
為了切實解決上述問題，我們需要一種有效的可度量的技術手段。而資料分析正好為我們提供了一種系統性的解決上述痛點和挑戰的方法。如圖1所示，基於硬體系統和虛擬化平台之上的監控系統 (universal monitoring) 為整個優化系統提供關於私有雲平台的各種資源利用率的資料**，同時在這一層動態生成虛擬機器資源配置資訊資料庫(federated db)。在此之上以資料分析的方法和相關軟體對監控系統產生的資料進行分析，並以分析結果生成關於資源利用率和系統容量的報表(dashboard &report)。最後根據報表進行資源優化調整和進行進一步投資的決策(optimization)。這樣就形成了乙個完整的私有雲平台建設和維護的迴圈：從投資到雲平台建設，再到監控現有平台資源並分析資源使用情況，最後生成報表並採取優化措施和決定是否進一步投資。
圖1：私有雲平台優化系統系統架構圖
三、以資料分析為基礎的私有雲平台優化系統詳細介紹
3.1 系統監控
系統監控的目的是將所有系統資源配置和使用的情況置於集中統一的監控之下， 而監控系統會產生大量時序的監控資料，這是我們後續進行資料分析的資料**。系統監控可以使用成熟的商業軟體如ibm tivoli monitoring(itm)來達成這個目的。關於itm在虛擬化環境中的部署可以參考文章(應用ibm tivoli實現虛擬化環境的監控 /000001147294.shtml)。現在也出現了一些開源的軟體如nagios, cacti, zabbix等，但開源軟體在不同平台的適用性方面還需要做大量的定製才能達成目的。
federated db的目的是根據監控系統生成的配置資料生成雲平台中統一的配置資訊資料庫，同時配置資訊資料庫會與資源所有者等資訊進行關聯以達到人、資源、配置等資訊同步可查。
3.3 資料分析
資料分析是指通過技術、技能和實踐來持續探索和研究既往的業務資料從而獲得洞察力以驅動新的業務規劃。 可以運用ibm spss modular對監控資料進行處理，根據不同的技術指標(如物理機cpu, 物理機記憶體，物理機disk, 虛擬機器cpu, 虛擬機器記憶體等)進行分析及按照時間序列進行**。找出不同物理機、虛機的資源利用率曲線及未來趨勢。同時開源的r語言也可以通過一定的程式設計達到上述目的。
3.4 報表
根據資料分析的結果，利用成熟的報表工具來呈現使用者關心的內容和關鍵指標。可以運用ibm cognos報表工具來展示物理機及虛機的資源利用率、系統容量、虛擬機器分類資訊、使用者行為資訊等雲平台運維部門和雲平台實際使用部門關心的不同資訊。同時一些開源的報表工具如birt等也可以通過一定量的程式設計來實現上述目的。
3.5 系統優化
在獲得了準確的物理機及虛機的利用率、容量等資訊以後，雲平台運維部門可以根據不同的情況對系統進行優化。如對資源利用率低的機器增加負載，以提高資源利用率;對資源率用率過高的機器減少負載，避免因為負載過高而產生問題。對於雲平台上的虛擬機器，如果資源利用率較低，可以聯絡使用者看是否可以刪掉這個虛擬機器;如果虛擬機器資源利用率過高，可以協調使用者給其增加必要的資源。通過這樣的方式，可以提高私有雲平台的整體資源利用率，提高系統可靠性。同時在進一步投資決策的時候可以參考現有系統的資源使用率和可用系統容量，進而從整體上降低私有雲平台的運營成本。
四、總結
目前資料分析在it運維中還沒有得到大範圍的應用。由於私有雲平台自身的特點，資料分析在私有雲運維中可以發揮較大的作用，但要想達到最終的目的，我們需要多層次的知識、技能和相應工具。從資料採集、資料分析、報表生成及採取相應措施來進行系統優化是乙個整合了從底層到應用層的較長的過程。每一層都需要付出相當的努力才能最終將系統整合起來並發揮效益。
我回來了 以資料分析和自動化運維的角度
曾幾何時，我也是一門高手！在專業方面技術，不說前三，前十應該還是有我的位置。那是從2008年到2013年，我在巨集基工作的時候，也是這輩子學識 見識和世界觀成長的最快的時候。這個階段比較年輕，曾經以為世界可以就這樣下去，可是 但是我發現世界變化太快，快的讓我不知道未來方向在 我迷茫了，於是我離開了江...
思維篇 資料分析在企業中的應用 3
今天給大家分享的是資料分析在企業中兩個重量級部門中的應用，話不多說，直接進入正題。這兩個重量級部門在前兩天的文章中也有跟大家提到過，乙個是管錢的 財務管理部，另乙個是管人的 人力資源。這兩個部門在企業中屬於心臟部門，這麼說吧，沒有任何乙個部門能夠在企業正常運轉的時候不跟這兩個部門打交道，主要是哪個部...
技術在大資料分析中的重要性
隨著人們越來越依賴大資料，技術支援將比以往任何時候都更加重要。人們需要了解大資料在it支援的發展中所起的作用，但重要的是要認識到大資料也增加了對這些服務的需求。為什麼技術支援很重要?1 便利性 在由資料驅動的世界中，技術支援服務可帶來很多好處。使用技術支援來為大資料策略提供補充的最重要好處之一就是提...