（2）spark部分：幾個重要的埠彙總
#總結（按埠號公升序排列）
2181：zookeeper的rpc埠號
6379：redis的埠號
7077：spark基於standalone的提交任務的埠號
8020：高可用訪問資料rpc
8080：spark的webui的埠號
8080：master的webui，tomcat的埠號
8081：worker的webui的埠號
8088：yarn的webui的埠號
8485:journalnode預設的埠號
9000：非高可用訪問數rpc埠
9083：hive的metastore的埠號
9092：kafka broker的埠
18080：spark historyserver的webui的埠號
19888：hadoop jobhistory的webui埠
50070：hdfs的webui的埠號
60010：hbase的webui的埠號
8020 ： 高可用的hdfs rpc埠
9000 ： 非高可用的hdfs rpc埠
8088 ： yarn 的web ui 介面
8485 ： journalnode 的rpc埠
8019 ： zkfc埠
2181 ： 客戶端連線zookeeper的埠
2888 ： zookeeper集群內通訊使用，leader監聽此埠
3888 ： zookeeper埠 用於選舉leader
60010：hbase的master的web ui埠
60030：hbase的regionserver的web ui 管理埠
9083 : metastore服務預設監聽埠
10000：hive 的jdbc埠
9092： kafka集群節點之間通訊的rpc埠
6379： redis服務埠
7180： cloudera manager webui埠
7182： cloudera manager server 與 agent 通訊埠
8888： hue webui 埠
大資料管理
1 資料治理 概念 業務中涉及資料使用的一整套管理行為，如何制定和實施針對整個企業內部資料的商業應用和技術管理的一系列政策和流程.組成部分 元資料管理 主資料管理 大資料質量管理 大資料資產化 大資料共享發布 大資料標準 大資料交換整合 元資料管理 收集元資料，對元資料進行查詢 分析 版本管理 後期...
《大資料管理 概念 技術與挑戰》讀後總結
池塘捕魚 和 大海捕魚 作模擬 運營式系統階段 該階段資料是伴隨運營活動產生並記錄在資料庫中 使用者原創內容階段 web2.0時代。以部落格 微博為代表的新型社交網路出現，其次是智慧型手機 平板電腦為代表的新型移動裝置的出現 感知式系統階段 遍布社會各個角落的感測器裝置產生新資料 流處理的基本理念 ...
資料管理技術的發展
本文基於萬常選編著的 資料庫系統原理與設計 為個人筆記整理。著重講解檔案系統和資料庫管理系統。資料管理技術經歷了人工管理 檔案系統和資料庫管理系統3個階段。一 人工管理系統 人工管理階段的資料時面向應用程式的，乙個資料集只能對應乙個程式，程式與資料之間的關係如下圖 當多個應用程式涉及某些相同的資料時...