畢業尾聲，今天突然想在csdn寫寫部落格了，積累一些心得。通過時序大資料視覺化平台研究與設計這個畢業課題來總結一下學習過程，乙個新的起跑線：
本文針對時序大資料視覺化分析的需求，分析出現有的視覺化分析工具操作繁瑣、重複、耗時，以及在時序大資料（即隨著時間序列變化特徵的資料）場景下儲存和查詢效能下降時的問題。為此，借助開源的zenvisage視覺化分析平台，提出了基於spark的時序大資料分析方案，將其整合於zenvisage的視覺化分析平台底層中，解決了上述問題。視覺化分析平台對大資料的處理分析越來越重要。本文針對時序大資料視覺化分析的需求，分析出現有的視覺化分析工具操作繁瑣、重複、耗時，以及在時序大資料（即隨著時間序列變化特徵的資料）場景下儲存和查詢效能下降時的問題。為此，借助開源的zenvisage視覺化分析平台，提出了基於spark的時序大資料分析方案，將其整合於zenvisage的視覺化分析平台底層中，解決了上述問題。**主要從以下幾個方面展開討論：
（1）對大規模時序資料進行視覺化需求的分析，在系統層面上實現對大規模檢視的管理，支援使用者修改查詢條件，調整被分析的屬性，進行互動式的視覺化分析；根據繪製的視覺化趨勢，協助使用者發現眾多檢視中趨勢相似的，或者趨勢明顯不同的檢視，同時推薦呈現當前正在檢視的資料子集中最有趣的趨勢，如代表性、異常性；提供使用者資料集上傳介面，並支援基於視覺化集合的查詢，從視覺化中指定所需的洞察；
（2）分析了zenvisage平台在大規模時序資料的應用場景下儲存和查詢效能下降的問題，找到傳統關係型資料庫在時序大資料分析中的瓶頸；
（3）針對這些瓶頸提出了基於spark的時序大資料分析方案，該方案以hdfs進行檔案儲存、parquet列儲存資料壓縮、分布式記憶體引擎spark為底層計算框架，以解決zenvisage平台在時序大資料場景下的有效性，提高互動式分析系統的效能和執行效率；
（4）將此分析方案整合於zenvisage的視覺化分析平台底層中，並通過系統測試和對比實驗評估本文研究內容的有效性和可用性。
本課題主要服務於xx專案「***」，經測試證明，該系統能夠滿足使用者互動式分析的需求，優化了zenvisage平台在時序大資料場景下的儲存和查詢效能，執行穩定、功能完整、可擴充套件性強。
說明：關於zenvisage的一些資訊，也可以參考它的技術文件。
大資料視覺化分析方法與流程
資料視覺化起源於圖形學 計算機圖形學 人工智慧 科學視覺化以及使用者介面等領域的相互促進和發展，是當前電腦科學的乙個重要研究方向，它利用計算機對抽象資訊進行直觀的表示，以利於快速檢索資訊和增強認知能力。資料視覺化系統並不是為了展示使用者的已知的資料之間的規律，而是為了幫助使用者通過認知資料，有新的發...
什麼是資料視覺化分析平台
資料視覺化平台是通過三維表示技術來表達複雜的資訊，實現海量資料的立體體現。視覺化技術借鑑人腦的視覺顯示能力，通過挖掘重要資料之間的關係，揭示資料中隱藏的關聯和發展趨勢，從而提高資料的使用效率。視覺化平台使人們不再侷限於傳統的關係資料表來分析資料資訊，而是以更加直觀的方式從視覺的角度觀察資料資訊。大資...
視覺化bi平台與大資料分析的關係
視覺化bi平台，是乙個資料分析結果的展示，資料視覺化的作用也不容小覷，資料視覺化的工具也是多種多樣，免費的還是收費的，供企業選擇的範圍也很多。資料視覺化過程彙總也會產生一些資料，或者是資料視覺化的工具也可以進行資料的輔助分析，但是這裡要明確的是，資料視覺化並不能代替資料分析，資料視覺化可以看出資料之...