第四次作業

2022-09-10 02:30:14 字數 1747 閱讀 6837

(1)

hadoop是道格·卡丁(doug cutting)建立的。

2003-2023年,google公布了部分gfs和mapreduce思想的細節,受此啟發的doug cutting等人用2年的業餘時間實現了dfs和mapreduce機制,使nutch效能飆公升。然後yahoo招安doug gutting及其專案。

2023年,hadoop作為lucene的子專案nutch的一部分正式引入apache**會。

2023年2月被分離出來,成為一套完整獨立的軟體,起名為hadoop

(2)(3)

1、hdfs 採用主/從架構,主節點即namenode 從節點即:datanode

2、namenode即是模式, 並完成外模式和模式之間的映像,模式和內模式之間的映像。

3、namenode存放hdfs全域性命名空間,充當全域性資料目錄;儲存全域性檔案系統樹,目錄-檔案-檔案塊資訊

namenode存放的資料塊資訊是在啟動時掃瞄所有資料節點重構;

在執行過程中週期性受到資料節點傳送的資料塊列表資訊重構而得;

4、在客戶端讀取資料過程中,將資料塊和資料節點對映按遠近排序列表傳送給客戶端;

5、在客戶端寫資料過程中,檢查檔案是否存在、是否有許可權;將待寫入檔案分成若干檔案塊,並根據資料節點的繁忙和磁碟容量程度,分配資料塊和資料節點對應關係列表反饋給客戶端

(4)1.為region server分配region;負責region server的負載均衡;發現失效的region server並重新分配其上的region;hdfs上的垃圾檔案**;處理schema更新請求

2.region server維護master分配給它的region,處理對這些region的io請求;

region server負責切分在執行過程中變得過大的region,

可以看到,client訪問hbase上資料的過程並不需要master參與(定址訪問zookeeper和region server,資料讀寫訪問regione server),master僅僅維護者table和region的元資料資訊,負載很低。

3.保證任何時候,集群中只有乙個master;

存貯所有region的定址入口—-root表在哪台伺服器上;

實時監控region server的狀態,將region server的上線和下線資訊實時通知給master;

儲存hbase的schema,包括有哪些table,每個table有哪些column family

4.(2)寫請求過程:

1 client向region server提交寫請求

2 region server找到目標region

3 region檢查資料是否與schema一致

4 如果客戶端沒有指定版本,則獲取當前系統時間作為資料版本

5 將更新寫入wal log

6 將更新寫入memstore

7 判斷memstore的是否需要flush為store檔案。

(5)hbase的資料通常儲存在hdfs上。hdfs為hbase提供了高可靠性的底層儲存支援。

hbase是hadoop database即hadoop資料庫。它是乙個適合於非結構化資料儲存的資料庫,hbase基於列的而不是基於行的模式。

hbase是google bigtable的開源實現,類似google bigtable利用gfs作為其檔案儲存系統,hbase利用hadoop hdfs作為其檔案儲存系統;google執行mapreduce來處理bigtable中的海量資料,hbase同樣利用hadoop mapreduce來處理hbase中的海量資料。

第四次作業

扎ogu 典型產品 最高傳輸速率 ieee 802.11a wi fi5 802.11a 43m 450 zyxel p334u 54mbps 1500 zyxel p335u 54mbps 1600 ieee 802.11b d link di 624 a 54mbps 215 linksys w...

第四次作業

作業題一 vs2012 rc在介面上,比beta版更容易使用,彩色的圖示和按照開發 執行 除錯等環境區分的顏色方案讓人愛不釋手。vs2012整合了asp.net mvc 4,全面支援移動和html5,wf 4.5相比wf 4,更加成熟,期待已久的狀態極工作流回來了,更棒的是,現在它的設計器已經支援c...

第四次作業

專案一求1000以內所有偶數的和 includevoid main cout sum includevoid main while i 1000 cout sum includeint main while i 1001 cout 專案3 乘法口訣表 程式設計序,輸出乙個乘法口訣表,形如 1x1 1...