處理架構知識點

2021-10-03 20:00:07 字數 455 閱讀 6768

hadoop的核心是hdfs和mapreduce

hadoop2.0增加了namenode ha和wire-compatibility兩個重大特性

hadoop mapreduce是針對谷歌mapreduce的開源實現,通常用於大規模資料集的平行計算

hadoop的特性高可靠性、支援多種程式語言、高容錯性

hdfs:分布式檔案系統,是hadoop專案的兩大核心之一,是谷歌gfs的開源實現

hbase:提供高可靠性、高效能、分布式的列式資料庫,是谷歌bigtable的開源實現

zookeeper:針對谷歌chubby的乙個開源實現,是高效可靠的協同工作系統

hadoop生態系統功能元件:核心的hdfs和mapreduce以外,還包括zoopker、hbase、hive、pig、mahout、sqoop、flume、ambari等功能元件

操作hdfs檔案的命令hdfs dfs

架構知識點體系

要想成為一名架構師,需要有很多對各式各樣軟體的了解與體會,本文主要記載自己平日裡對一些軟體的認識。1.負載均衡 負載均衡常用形式包括 dns負載均衡,cdn負載均衡,七層負載均衡 例如nginx伺服器通過判斷使用者cookie來分配應用伺服器 lvs負載均衡 在ip層或資料鏈路層實現 lvs 用於做...

知識點 B S C S 架構

c s即 client與server 中文意思 客戶端與伺服器端架構,這種架構也是從使用者層面 也可以是物理層面 來劃分的。這裡的客戶端一般泛指客戶端應用程式exe,程式需要先安裝後,才能執行在使用者的電腦上,對使用者的電腦作業系統環境依賴較大。b s即 browser與server,中文意思 瀏覽...

預處理命令知識點

ansi c標準規定,可以在c源程式中加入一些 預處理命令 以改進程式設計環節,提高程式設計效率。這些預處理命令是由ansi c統一規定的,但是它不是c語言本身的組成部分,不能直接對它們進行編譯 因為編譯程式不能識別它們 必須在對程式進行通常的編譯之前 先對程式中這些特殊的命令進行 預處理 即根據預...