hadoop主要包括hdfs系統和mapreduce兩個部分。
hdfs檔案系統特點：1.資料冗餘，硬體容錯
2.流式資料訪問。不允許修改，寫一次讀多次，想修改只能刪除再寫
3.適合大容量檔案，不適合大量小檔案，因為檔案每次讀取都需要訪問namenode，namenode會產生過大的負載
4.不適合互動式，延遲較大
5.不支援多個使用者同時寫乙個檔案
hdfs檔案被分成塊進行儲存，hdfs系統塊預設大小為64mb塊是檔案儲存的邏輯單元
namenode是管理節點，存放元資料。
元資料主要儲存兩種表：1.檔案與資料塊的對映表 2.資料塊與資料節點的對映表
還存在二級namenode定期元同步資料映像檔案、修改日誌，namenode發生故障時二級namenode轉正
datanode是hdfs的工作節點，存放資料塊
1.hdfs中每個數塊存三份，分布在兩個機架的三個節點
2.心跳檢測：datanode定期向namenode放心跳訊息
1.mapreduce概念
map：將乙個大的任務分解成許多小任務，進行並行處理
reduce：將結果合併
2..job和task
乙個作業成為job，乙個job完成過程要拆分成多個task，task又分為jobtask和maptask兩類
3..hadoop mapreduce體系結構
a.作業排程
b.分配任務、監控任務執行進度
c.監控tasktracker運**況
a.執行任務
b.匯報任務狀態
4.容錯機制
a.重複執行
b.推測執行
當乙個節點執行過慢時會使用另乙個節點與其共同計算相同的任務，當有乙個節點完成時，另乙個節點不在進行計算。
Redis安裝和啟動基本知識
這個教程是真實可用的，我的結果 再補充點東西 雖然上乙個步驟啟動了redis，但是只要關閉cmd視窗，redis就會消失。所以要把redis設定成windows下的服務。關閉剛剛的cmd視窗，再開啟乙個新的cmd視窗，進入redis目錄，輸入 輸入命令之後沒有報錯，表示成功安裝。開啟windows中...
hadoop基本知識點之HDFS
1.hadoop組成 hadoop主要由三大模組組成 1.1 hdfs 儲存模組 1.2.yarn 資源調配模組 引擎 分布式資源管理框架 1.3.mapreduce 計算引擎 2.hdfs儲存模型 3.hdfs架構模型 4.1 基於記憶體儲存 4.2 namenode主要功能 接受客戶端的讀寫要求...
棧和佇列基本知識
一 棧和佇列基本知識 1 棧和佇列的建立。2 棧和佇列的初始化。3 棧的增容。4 入棧，出棧，入隊，出隊。5 取得棧頂,隊頭和隊尾元素。6 求棧和佇列的大小，判斷棧和佇列是否為空。二 棧的基本操作 void stackinit stack s 棧的初始化 void expandstack stack...