hadoop：hdfs mapreduce(清洗) yarn、需要部署hadoop集群hive：外部表、sql 、解決資料傾斜 、sql優化、基於元資料管理、sql 到mr過程
flume：將資料抽取到hdfs
排程：crontab、shell、azkaban
hue：視覺化的notebook，cm自帶 ，排查資料
大資料開發：關注的是2、3、4步驟。1,2,3都是屬於etl步驟，但是1可能是早就有的任務。
步驟1：使用flume/logstash抽取伺服器上的日誌資料以及使用sqoop/spark抽取關係型資料庫的資料將資料抽取到hdfs（壓縮+普通文字格式）。
步驟2：將hdfs上資料通過（mr/spark/flink）清洗處理後存放數倉（hive），此時
步驟3：將原始的資料放到目標位置，hive的外部表
步驟4：業務計算 將結果放到，業務表（資料集市）
步驟5：應用程式查詢訪問，我們這兒可通過hue檢視資訊
備註1
：hue是個非常強大且方便的視覺化介面。在介面能操作hadoop生態圈的元件以及查詢 查詢元件顯示資訊。使用場景：排查資料
備註2:
zeppelin和hue較類似的乙個工具，但是比hue好用，目前市場主流是以改z
eppelin原始碼去做自己的視覺化介面。
備註3：步驟2、3、4,的資料落地hdfs時，資料壓縮格式、資料的儲存格式選擇很重要
iOS電商專案金額輸入判斷處理
只能輸入數字和保留兩位小數,設定keyboardtype為uikeyboardtypedecimalpad即可 可以輸入0,繼續輸入數字則把0抹掉,輸入小數點則還可以繼續輸入兩位數字,不能輸入多個小數點 小數點前8位數字 小數點後2位 bool textfield uitextfield textf...
基於電商中臺架構 商品系統設計 一
二 概念定義 三 技術設計 四 總結 為什麼採用中臺架構前幾篇已經說明了，這裡就介紹一下基礎層和平台層的功能。商品管理 商品的基本操作 商品收藏 管理使用者收藏的商品 商品快照 儲存商品編輯的每乙個快照版本 活動打標 根據不同的活動對映到商品屬性上不同標記 銷量管理 商品的銷量統計 以及排序操作 瀏...
電商專案 基於json格式完成商品規格引數管理
學習主題 基於json格式完成商品規格引數管理 一對一json itemparamservice 介面新增方法 itemparamserviceimpl 重寫方法 manageritemparamservice介面新增方法 mnageritemparamserviceimpl 實現方法 建立 ite...