大資料是近年來最熱門的乙個詞,很多企業已經運用成熟的大資料技術去做企業管理,國家也在大力發展資訊科技產業,大資料分析師更是招聘市場上炙手可熱的香餑餑。但是大資料相關的工作崗位對數學、程式設計能力都有較高的要求,大部分的人都只會用一些最基本的辦公軟體去處理資料,例如excel等。但是,千萬別小瞧了excel,雖然excel有一定功能上的缺陷,但是麻雀雖小五臟俱全,應用非常廣泛,是一款不可或缺的辦公軟體。那麼究竟excel能不能處理大資料呢?我們通過四宗「最」去了解一下。
excel如果不連線資料庫的話,效能可以說是弱爆了,分分鐘會被其他大資料工具碾壓按在地上摩擦,但是微軟不甘示弱,對excel進行的公升級改進,讓excel擁有連線資料庫的功能,只要連線上了資料庫,效能一下子提公升了百倍。excel支援連線mysql、sql servers、access等常見資料庫的連線,只要連線上了,便可以直接在excel中通過拉拽的方式去分析資料庫的資料,非常強大。
還有一種方法就是通過外掛程式的方式去連線資料庫,這個方法相對來說更簡單,無需複雜的操作,只要在網頁端上建立好了連線,便可以在excel中的資料集面板裡去拉拽資料,也可以把非常龐大的excel或者csv檔案直接導進去雲端,再回到excel裡進行資料拉拽的操作。
excel處理資料效率最高的功能當屬資料透視表了,用透視表可以快速對資料進行分析,並在非常短的時間內得出分析結果。透視表的操作方法也非常簡單,只要在excel中對資料來源插入透視表,便可以通過拉拽把資料通過不同的維度去展示出來,非常實用。
但是透視表還是會受到效能的限制,如果資料來源太大的話,資料就會出現刷不出來的現象。如果要解決這個問題還是用雲端的透視分析會給力一點,操作方法和excel是一樣的,最重要的是沒有資料量大小的限制。例如下圖裡,我在智分析上就可以通過網頁端對資料來源進行透視,幾千萬行的資料量在幾秒鐘之內便可以刷出來了,非常給力。
excel做資料視覺化的能力相信沒有人會懷疑,不僅可以做靜態圖表,也可以做動態圖表,有些高手做出來的圖表甚至可以媲美某些bi軟體了,可以說excel做圖表展示的能力一點也不差。下面我利用excel和其他bi做出來的圖表進行對比,除了美觀上比不過bi做出來的圖形之外,但是在圖形的的靈活性和創造性上,excel的表現依然非常驚人。當然,如果你會用bi那就更好了,可以與excel進行互補。
在這個網路發達的資訊時代,資料資訊極其容易洩露。因此excel提供了加密保護功能,只要對工作簿進行加密保護,別人便沒辦法開啟你的檔案進行查閱,這是乙個非常實用的功能。通常加密保護功能會用在重要檔案上,例如公司內部的一些資料,這個方法可以在一定程度上降低資料洩露的風險。
但是,這個方法並不是萬能的,如果遇到excel高手,這個方法就能輕易被攻破,因此非常機密的資料並不建議用這個方法進行加密。最好的辦法是利用雲端對資料進行加密,雲端伺服器有著嚴密的防範機制,一般人不能輕易攻破,而且還能對閱讀許可權進行設定,例如在智分析的雲端上,可以對每個使用者設定不一樣的閱讀許可權,下圖裡的例子,管理員可以看所有區域的資料,但是華北區域的使用者只能查閱本區域內的資料,而不能檢視其它區域的資料,大大提高了資料的安全性。
目前excel依舊是非常實用的一款資料分析工具,雖然效能上受到了一些限制,處理大資料時有一些捉襟見肘的感覺,但只要通過正確的方法去提公升excel的資料處理能力,excel便能脫胎換骨,重新煥發出生命力,讓大資料不再成為技術人員的專利,普通人也可以通過excel與大資料「掰掰手腕」。
別再手工造假資料了,faker了解一下
專案開發初期,為了測試方便,我們總要造不少假資料到系統中,盡量模擬真實環境。比如要建立一批使用者,建立一段文字,或者是 號碼,抑或著是街道位址或者ip位址等等。以前要麼就是鍵盤一頓亂敲,隨便造個什麼字串出來,當然最後誰也不認識誰。現在你不要這樣做了。對大資料以及人工智慧概念都是模糊不清的,該按照什麼...
儲存大量爬蟲資料的資料庫,了解一下?
當然,並不是所有資料都適合 在學習爬蟲的過程中,遇到過不少坑.今天這個坑可能以後你也會遇到,隨著爬取資料量的增加,以及爬取的 資料字段的變化,以往在爬蟲入門時使用的方法侷限性可能會驟增.怎麼個驟增法?intro 引例 在爬蟲入門的時候,我們爬取豆瓣電影top250這些資料量並不是很大的網頁時 僅計算...
與rms 「物美價廉」的RMS功率計,了解一下
ltc5596採用可控的線性db傳遞函式,具備出色的頻率平坦度,易於校準 如單個中頻兩點校準一般基礎的校準,在150 mhz至 30 ghz頻率範圍內,測量精度為 1 db。ltc5596具備低功耗 僅 100 mw 和整合特性,因此能夠用在電路和手持式電源監控解決方案中。圖1中電源供電的示例可以說...