大資料的處理過程可以分為大資料採集、儲存、結構化處理、隱私保護、挖掘、結果展示(發布)等，各種領域的大資料應用一般都會涉及到這些基本過程，但不同應用可能會有所側重。對於網際網路大資料而言，由於其具有獨特完整的大資料特點，除了共性技術外，採集技術、結構化處理技術、隱私保護也非常突出。
有很多演算法和模型可以解決這些處理過程中的技術問題，並且為了終端使用者的使用方便，它們大都被進一步的封裝，形成了比較簡單易用的操作平台。目前大資料技術平台有很多，歸納起來可以按照以下方式進行分類：
(1)從大資料處理的過程來分：包括資料儲存、資料探勘分析、以及為完成高效分析挖掘而設計的計算平台，它們完成資料採集、etl、儲存、結構化處理、挖掘、分析、**、應用等功能。
(2)從大資料處理的資料型別來劃分：可以分為針對關係型資料、非關係型資料(圖資料、文字資料、網路型資料等)、半結構化資料、混合型別資料處理的技術平台。
(3)從大資料處理的方式來劃分：可以分為批量處理、實時處理、綜合處理。其中批量資料是對成批資料進行一次性處理，而實時處理(流處理)對處理的延時有嚴格的要求，綜合處理是指同時具備批量處理和實時處理兩種方式。
(4)從平台對資料的部署方式看：可以分為基於記憶體的、基於磁碟的。前者在分布式系統內部的資料交換是在記憶體中進行，後者則是通過磁碟檔案的方式。
此外，技術平台還有分布式、集中式之分，雲環境和非雲環境之分等。阿里雲大資料平台構建在阿里云云計算基礎設施之上，為使用者提供了大資料儲存、計算能力、大資料分析挖掘、以及輸出展示等服務，使用者可以容易地實現bi商業智慧型、人工智慧服務，具備一站式資料應用能力。
不同的大資料技術平台提供了對這些處理過程的支援，有的平台可能會支援多個過程，但是側重點也不同，支援的深度也有所不同，因此有必要熟悉各種平台的功能，並做出比較分析，以便在實際應用中選擇適合於自己需求的技術平台。
選擇乙個合適的大資料技術平台是非常重要的，它能夠使得大資料應用開發更加容易、讓開發人員更集中精力在業務層面的資料分析與處理上。一些共性的基礎問題，例如資料如何儲存、如何檢索、資料統計等，就可以由平台來完成。選擇合適的大資料技術平台應當考慮以下因素：
(1)平台的功能與效能：由於不同平台側重的功能不同，平台的效能也就有很多需要考察的方面。比如對於儲存平台來說，資料的儲存效率、讀寫效率、併發訪問能力、對結構化與非結構化資料儲存的支援，所提供的資料訪問介面等方面就是比較重要的。對於大資料探勘平台來說，所支援的挖掘演算法、演算法的封裝程度、資料探勘結果的展示能力、挖掘演算法的時間和空間複雜度等，是比較重要的指標。
(2)平台的整合度：好的平台應該具有較高的整合度，為使用者提供良好的操作介面，具有完善的幫助和使用手冊、系統易於配置、移植性好。同時隨著目前軟體開源的趨勢，開源平台有助於其版本的快速公升級，盡快發現其中的bug，此外，開源的架構也比較容易進行擴充套件，植入更多的新演算法，這對於終端使用者而言也是比較重要的。
(3)是否符合技術發展趨勢：大資料技術是當前發展和研究的熱點，其最終將走向逐步成熟，可以預見在這個過程中，並非所有的技術平台都能生存下來。只有符合技術發展趨勢的技術平台才會被使用者、被技術開發人員所接受。因此，一些不支援分布式、集群計算的平台大概只能針對較小的資料量，側重於對挖掘演算法的驗證。而與雲計算、物聯網、人工智慧聯絡密切的技術平台將成為主流，是技術發展趨勢。
技術迭代更新速度加快，當我們花很多時間去掌握熟悉某種技術平台後，可能新的更好的技術平台出現了，導致我們受累奔波於各種技術平台，因此，最好的策略就是全面系統地掌握大資料技術的原理和實現方案，這樣學習新的技術平台就很容易上手。
交換機主要分為哪幾類？
交換機 switch 意為 開關 是一種用於電 光 訊號 的網路裝置。它可以為接入交換機的任意兩個網路節點提供獨享的電訊號通路。最常見的交換機是乙太網交換機。其他常見的還有 語音交換機 光纖交換機等。從廣義上來看，網路交換機分為兩種 廣域網交換機和區域網交換機。廣域網交換機主要應用於電信領域，提供通...
人工智慧核心技術，主要可以分為哪幾類？
今天讀了未來地圖，這本書的，一張ai價值地圖，看懂技術商業化，為大家分享一下，人工智慧技術的分類 人工智慧 大資料 雲計算和物聯網的未來發展值得重視，均為前沿產業，多智時代專注於人工智慧和大資料的入門和科譜，在此為你推薦幾篇優質好文 1.人工智慧時代，ai人才都有哪些特徵？2.大資料攜手人工智慧，高...
大資料入門學習者主要分為哪幾類，從業方向有哪些？
人才荒 高考熱門專業 需求大 缺口150萬人 稀缺職位 年薪百萬 這些詞彙成為當下網路 和社交人群提到大資料人才時，提到最多的詞彙。當前，國家戰略的支援 大資料技術的快速發展，催生了大量大資料應用產業。眼下不少就業者已經蠢蠢欲動想要加入到最時髦的資訊科技行業 大資料 大資料分析顯示，怎樣進行大資料的...