雲計算技術之資料視覺化教程。
? ??最近剛剛接觸資料視覺化，手頭的書有兩本：《資料視覺化的基本原理與方法》、《大資料視覺化》，網上也有很多的資源，相信這些足夠我先入門了，打算寫一些筆記，記錄自己學習的過程，就以本文開始吧！
首先要弄清楚幾個問題：
? ? 什麼是大資料？
? ? 什麼是資料視覺化？
????為什麼要資料視覺化？
下面就進入正文！ 什麼是大資料
? ? 關於大資料的定義，網上有很多版本，但我覺得最容易理解的還是：大資料指的是所涉及的資料集規模已經超過了傳統資料庫軟體獲取、儲存、管理和分析的能力。這是乙個很主觀的定義，並沒有具體的說多少tb的資料才叫大資料。因為技術是不斷發展的，或許若干年以後，處理幾十tb或幾十pb的資料就像現在處理幾十mb的資料那樣簡單。
? ? ibm原先提出可以用三個特徵來定義大資料，後又歸納總結出了第四個特徵，即現在大資料的4v特徵：volume、variety、velocity、veracity。
? ? volume（數量）：用現有的技術無法管理的資料量，現在來看，基本上是tb到pb的數量級，當然上面提到，隨著技術的幾部，這個數值會不斷提公升。
? ? variety（多樣性）：現在各種感測器、智慧型裝置呈現井噴的態勢，企業的資料也變得更複雜，因為不僅僅包含的傳統關係型資料庫的結構化資料，還包括網路的日誌檔案、搜尋索引、各種論壇、郵件、文件等半結構化和非結構化的資料。
? ? velocity（速度）：不知大家知不知道」1s定律「，就是說要在秒級的時間範圍內給出分析結果，否則資料將失去價值。這裡強調的資料的處理速度，其實還有乙個資料的產生速度。例如新年大家傳送的祝福資訊，大多都集中在那幾個小時，甚至幾十分鐘。還比如**的雙十一活動，相信等在零點下單的使用者不計其數，那麼這時訂單資料就是乙個爆發式的產生。
? ? veracity（真實性）：資料的重要性就在於它可以為決策提供支援，而單單資料的規模並不能提供實際的幫助，資料的真實性和可靠性才是制定正確決策的基礎。換而言之，只有真實而準確的資料才能讓對資料的管控和治理真正的有意義。
? ?大資料具有各種各樣的形式，從高度結構化的財務資料到文字檔案、多**檔案等非結構化資料，都可以叫大資料。而處理大資料的首選方法就是大規模的並行處理，例如hadoop體系的核心就是mapreduce，map（對映），reduce（規約），乙個典型的分治的思想。下圖顯示了幾種不同資料結構的特點。而且未來產生的資料，絕大部分都不會是結構化的資料。
結構化 ? ? ? ? ? ? ? ? ? ? ? ??
預先定義好的資料型別、格式。資料一般以行為單位，一行資料表示乙個實體的資訊。例如關係型資料中的表。
半結構化
具有可識別的模式並可以解析的文字資料檔案，用相關標記來分隔元素，例如xml檔案和json檔案。
非結構化
沒有固定的格式，通常都儲存為不同型別的檔案。例如文字文件、pdf文件、**和影象。
????我們希望和喜歡對高度結構化的資料進行分析和處理，然而不幸的是，結構化的資料太少，而非結構化的資料太多。而處理分析非結構化的資料，則需要不同的技術，不同的方法，這裡不深入討論。
雲計算技術之資料結構筆記
雲計算技術之資料結構筆記。python是資料結構筆記一 引入 以一道題來展示 如果a b c 1000,且a 2 b 2 c 2 a,b,c為自然數 求a,b,c可能的組合 解析 列舉法 思路 a 0.b 0.c 先讓其中的乙個數a去不變，b變化，當b確定乙個數的時候c去變化 也就是利用迴圈巢狀的方...
python 資料視覺化 詞云
近年來，大資料等一系列字眼開始進入到普通老百姓的生活中，但大部分老百姓對其知之甚少。人們通常了解大資料主要是通過資料視覺化，而詞云作為資料視覺化中較為直觀 強烈的視覺衝擊，也越來越受到人們的重視。廢話不多說，先給大家展示一下效果。展示 import xlrd import jieba import ...
資料視覺化之pyecharts
pyecharts乙個讓你變得強大的學習 首先來開始繪製你的第乙個圖表 from pyecharts.charts import bar bar bar bar.add xaxis 可樂 雪碧 礦泉水 咖啡 冰紅茶 涼白開 bar.add yaxis 商家a 5,20,36,10,75,90 ren...