一、什麼是大資料
在網際網路技術發展到至今階段，大量日常，工作等事務產生的資料都已經資訊化，人類產生的資料量相比以前有了**式的增長，以前傳統的資料處理技術已經無法勝任，需求催生技術，一套用來處理海量資料的技術應運而生，這就是發資料技術。
梳理海量資料的核心技術：
這些核心技術的實現是不需要使用者從零開始造輪子的儲存和運算的都已經有大量的承受的框架來用。
儲存框架：
運算框架：（要解決的核心問題就是幫使用者將處理邏輯在許多機器上並行執行）
有海量的資料
有海量的資料進行挖掘的需求，有對海量資料進行挖掘的工具（hadoop、spark等）
資料處理測最典型應用：公司的產品運營情況分析
電商推薦系統：基於海量的瀏覽行為，購物行為資料，進行大量的模型的運算，得出各種推薦結論，一共電商**頁面來為使用者進行商品推薦，（猜你喜歡）
精準廣告推送系統：基於海量的網際網路使用者的各類資料，統計分析，進行使用者畫像（得到使用者的各種屬性標籤），然後可以為廣告主進行有針對性的進準的廣告投放。
大資料專題
目錄 鏈結分布式檔案系統 hdfs 分布式計算框架 mapreduce 集群資源管理器 yarn hadoop單機版環境搭建 hdfs 常用 shell 命令 目錄鏈結 flink安裝mac版 flink demo wordcount詞頻統計及單機任務提交 flink on yarn部署及任務提交 ...
大資料簡介
計算的速度比較慢 計算的資料量大 需要的技術hadoop hive 離線分析，他的本質就是hadoop sqoop 協作框架 hbase 資料庫，非關係型資料庫，分布式資料庫 flume 寫作框架，收集日誌資料 cm 圖形化管理器，監控集群資源狀態，部署集群。計算的資料量體量沒有離線大。計算的速度快...
大資料之簡介
要理解大資料這一概念，首先要從 大 入手，大 是指資料規模，大資料一般指在10tb 1tb 1024gb 規模以上的資料量。大資料同過去的海量資料有所區別，其基本特徵可以用4個v來總結 vol ume variety value和veloc ity 即體量大 多樣性 價值密度低 速度快。大資料技術是...