如今，各路企業和組織都不再使用上一代架構來儲存大資料。既然如此，為什麼還要使用上一代商業智慧型（bi）工具來進行大資料分析呢？在為企業選擇bi工具時，應該遵守以下「十誡」。
第一誡：不要轉移大資料
轉移大資料代價高昂：畢竟，大資料很「大」，如果打包轉移，負擔太重。不要將資料提取出來，做成資料集市和資料立方，因為「提取」就意味著轉移，會在維護、網路效能附加處理器方面造成紛亂龐雜的問題，出現兩個邏輯上相同的備份。讓bi深入更底層執行資料就是大資料萌發的最初動力。
第二誡：不要偷盜！或者說不要違反企業安全政策
安全並非可有可無。不幸的是，資料洩露事件頻繁發生，這表明實現安全並非易事。要選擇能夠利用現有安全模型的bi工具。依靠ranger、sentry、knox等綜合性安全系統，大資料可以使實現資料安全變得更加容易，現在就連mongo資料庫都有了令人驚嘆的安全架構。所有那些模型都允許你插入許可權、將使用者資訊一路傳播到應用層、實施視覺化的授權和提供與該授權相關的資料志。記住了，安全即服務。
第三誡：不要按照使用者數和資料量付費
大資料的乙個主要好處在於，如果做好了，它就能實現極高的價效比。把5pb資料儲存到oracle可能會讓你傾家蕩產，但儲存到大資料系統則不會。儘管如此，在付錢購買之前，應該警惕某些**陷阱。有些bi應用按照資料量或者索引資料量向使用者收費。千萬當心！資料量和大資料使用量出現指數式增長是再平常不過的事情，我們的客戶曾目睹其訪問量在短短幾個月時間裡從數百億次猛增到數千億次，使用者數擴大50倍。這是大資料系統的另乙個好處：漸進式可擴充套件性。不要被低價所迷惑，去購買一種會對企業增長徵收「高稅」的bi工具。
第四誡：要貪大膽借鑑別人的可檢視
分享靜態圖表？這些我們已經做過了，無論是pdf文件、png還是電郵附件裡，到處都在傳播靜態圖表。但對於大資料和bi，靜態圖表還遠遠不夠：你擁有的一切無非都是些漂亮的罷了。你應該讓任何人都能夠隨心所欲地與你的資料進行互動。應該把視覺化看作是駕馭資料的互動式路線圖。為什麼要閉門造車呢？將互動式視覺化手段公之於眾只是第一步。看看github的模式就知道。與其說「這是我的最終發布產品」，不如說「這是一幅可檢視，複製下來，分解它，我就是從中得到那些見解，看看它還能用於其他哪些領域」。這會其他人從你的見解中學到有用的東西。
第五誡：要分析天然形態的資料
大資料是「非結構化」的，這樣的說法我們已經聽過太多太多。其實不然。財務和感測器會產生大量的鍵值對。json（可能是當下最流行的資料格式）可以是半結構化、多結構化等等，mongo資料庫對這種資料格式下了重注。json具有好處理和可規模化的優點，但如果把它轉換成**，表達力就會丟失。很多大資料仍然被製成**，通常擁有數千欄。你不得不為所有的值尋找關係：「在那種情況下……從這裡選擇這個」。扁平化會毀掉原始結構中所表達的重要關係。遠離那些對你說「請把資料轉換成**，因為我們一直都這麼幹」的bi解決方案。
第六誡：不要無限期地等待結果
在2023年，我們預計資料處理速度將會變得快起來。乙個典型方法是聯機分析處理（olap）立方，本質上就是把資料轉移到預計算快取，從而加快處理速度。問題在於，你必須提取和轉移資料（請看第一誡），以便建造資料立方，然後才能加快速度。現在，這種方法能夠在一定的資料規模下良好運轉，但如果臨時**過於龐大，你的膝上型電腦在試圖將**本地化的時候就會崩潰。當你提取新資料重建快取時，新資料的分析就會中途停下來。此外還要注意樣本問題，你可能會得到乙個看起來不錯、效果很好的可檢視，但最後卻發現全不對路，而問題就出在缺少大局觀。要選擇那些能便捷地不斷調整資料的bi工具。
第七誡：不要製作報告，而要打造應用
在很長一段時間裡，「獲得資料」意味著獲得報告。在大資料時代，bi使用者希望從多個**獲得非同步資料，這樣他們就不需要重新整理任何東西，就好像瀏覽器和移動裝置上執行的其他各種東西。使用者希望和可視元素進行互動，得到他們正在尋找的答案，而不是對你已經提供給他們的結果進行交叉過濾。rails等框架使打造web應用變得更加簡單。為什麼不對bi應用做同樣的事情呢？沒理由不對這些應用、應用程式介面（api）、模板、可重用性等等採取類似的做法。現在是時候通過現代web應用開發的透鏡來看待bi。
第八誡：要利用智慧型工具
在提供基於資料的可檢視方面，bi工具已經證明了自己的能力。現在則輪到在模型和快取的自動維護上下功夫，這樣一來，終端使用者就不必操這個心了。在龐大的資料規模下，自動維護幾乎是不可或缺的，我們可以從使用者和資料與可檢視的互動中獲得大量資訊，現代工具應該使用這些資訊來對資料網路效應加以利用。另外，要選擇那些內建全面搜尋能力的工具，因為我曾見過有些客戶擁有成千上萬的可檢視。你需要一種迅速查詢的方法，在網路的長年薰陶之下，我們已經習慣了搜尋，而不是翻找選單。
第九誡：要超越基本範疇
如今的大資料系統因為**分析能力而著稱。相關性、**和其他功能使企業使用者比以往任何時候都能更便捷地進行高階分析。不需要程式設計經驗就能處理大資料的視覺化技術讓分析師如有神助，超越了基本分析的範疇。為了實現其真正的潛力，大資料不應該依賴於每個人都變成r預言程式設計師。人類非常善於處理視覺化資訊，我們必須更加努力地將視覺化資訊呈現在人們眼前。
第十誡：不要只是站在資料湖邊，等著資料科學家來幹活兒
不管你是把大資料當成資料湖還是企業資料中心，hadoop已經改變了資料的處理速度和儲存成本，我們每天都在創造更多的資料。但在真正利用大資料為企業使用者服務方面，常常存在一種「只寫系統」——創造資料的人很多，但利用資料的人卻很少。
其實，用hadoop裡的資料可以為企業使用者解答數不清的問題。bi講究的是打造資料視覺化應用，為日常決策提供支援。企業裡的每個人都希望做出資料驅動的決策。把大資料能夠解答的所有問題侷限於需要資料科學家來處理的問題，這是奇恥大辱。
原文發布時間為：
2023年5月23日
十大資料結構
演算法 資料結構 程式設計 陣列是最簡單 也是使用最廣泛的資料結構。棧 佇列等其他資料結構均由陣列演變而來。下圖是乙個包含元素 1，2，3和4 的簡單陣列，陣列長度為4。每個資料元素都關聯乙個正數值，我們稱之為索引，它表明陣列中每個元素所在的位置。大部分語言將初始索引定義為零。以下是陣列的兩種型別 ...
十大熱門的大資料技術
隨著大資料分析市場的快速滲透到各行業務，哪些大資料技術是剛需？哪些技術有極大的潛在價值？根據弗雷斯特研究公司發布的指數，這裡給出最熱的十個大資料技術 分析 隨著現在硬體和軟體解決方案的成熟，許多公司利用大資料技術來收集海量資料 訓練模型 優化模型，並發布 模型來提高業務水平或者避免風險 nosql資...
大資料必備的十大工具
預計到2020年，每人將產生1.7兆每秒的資料量。那將有很多資訊要處理。一方面，對很多公司來說，大資料是乙個遊戲規則的改變者，它提供了我們過去從未開啟的洞察力。另一方面，如果沒有合適的工具，就不可能利用這些資訊。為了充分利用任何大資料戰略，公司獲得管理 挖掘和理解資料的創新解決方案至關重要。幸運的是...