在hadoop中，有一些命名不好的模組，secondary namenode是其中之一。從它的名字上看，它給人的感覺就像是namenode的備份。但它實際上卻不是。很多hadoop的初學者都很疑惑，secondary namenode究竟是做什麼的，而且它為什麼會出現在hdfs中。因此，在這篇文章中，我想要解釋下secondary namenode在hdfs中所扮演的角色。
從它的名字來看，你可能認為它跟namenode有點關係。沒錯，你猜對了。因此在我們深入了解secondary namenode之前，我們先來看看namenode是做什麼的。
namenode主要是用來儲存hdfs的元資料資訊，比如命名空間資訊，塊資訊等。當它執行的時候，這些資訊是存在記憶體中的。但是這些資訊也可以持久化到磁碟上。
上面的這張展示了namenode怎麼把元資料儲存到磁碟上的。這裡有兩個不同的檔案：
fsimage - 它是在namenode啟動時對整個檔案系統的快照
edit logs - 它是在namenode啟動後，對檔案系統的改動序列
只有在namenode重啟時，edit logs才會合併到fsimage檔案中，從而得到乙個檔案系統的最新快照。但是在產品集群中namenode是很少重啟的，這也意味著當namenode執行了很長時間後，edit logs檔案會變得很大。在這種情況下就會出現下面一些問題：
- edit logs檔案會變的很大，怎麼去管理這個檔案是乙個挑戰。
- namenode的重啟會花費很長時間，因為在edit log中有很多改動要合併到fsimage檔案上。如果namenode掛掉了，那我們就需要大量時間將edit log與fsimage進行合併。[會將還在記憶體中但是沒有寫到edit logs的這部分。]
因此為了克服這個問題，我們需要乙個易於管理的機制來幫助我們減小edit logs檔案的大小和得到乙個最新的fsimage檔案，這樣也會減小在namenode上的壓力。這跟windows的恢復點是非常像的，windows的恢復點機制允許我們對os進行快照，這樣當系統發生問題時，我們能夠回滾到最新的一次恢復點上。
現在我們明白了namenode的功能和所面臨的挑戰 - 保持檔案系統最新的元資料。那麼，這些跟secondary namenode又有什麼關係呢？
secondary namenode就是來幫助解決上述問題的，它的職責是合併namenode的edit logs到fsimage檔案中。
上面的展示了secondary namenode是怎麼工作的。
secondary namenode的整個目的是在hdfs中提供乙個檢查點。它只是namenode的乙個助手節點。這也是它在社群內被認為是檢查點節點的原因。
現在，我們明白了secondary namenode所做的不過是在檔案系統中設定乙個檢查點來幫助namenode更好的工作。它不是要取代掉namenode也不是namenode的備份。所以從現在起，讓我們養成乙個習慣，稱呼它為檢查點節點吧。
注：關於namenode是什麼時候將改動寫到edit logs中的？這個操作實際上是由datanode的寫操作觸發的，當我們往datanode寫檔案時，datanode會跟namenode通訊，告訴namenode什麼檔案的第幾個block放在它那裡，namenode這個時候會將這些元資料資訊寫到edit logs檔案中。
secondarynamenode有兩個作用：
映象備份備份fsimage,(fsimage是元資料傳送檢查點時寫入檔案)
日誌與映象的定期合併將namenode中edits日誌和fsimage合併,防止(如果namenode節點故障，namenode下次啟動的時候，會把fsimage載入到記憶體中，**應用**edit log,edit log往往很大，導致操作往往很耗時。)
日誌與映象的定期合併總共分五步：
secondarynamenode通知namenode準備提交edits檔案，此時主節點產生edits.new。
secondarynamenode通過http get方式獲取namenode的fsimage與edits檔案（在secondarynamenode的current同級目錄下可見到 temp.check-point或者previous-checkpoint目錄，這些目錄中儲存著從namenode拷貝來的映象檔案）。
secondarynamenode開始合併獲取的上述兩個檔案，產生乙個新的fsimage檔案fsimage.ckpt。
secondarynamenode用http post方式傳送fsimage.ckpt至namenode
namenode將fsimage.ckpt與edits.new檔案分別重新命名為fsimage與edits，然後更新fstime，整個checkpoint過程到此結束。
secondarynamenode備份由三個引數控制fs.checkpoint.period控制週期，fs.checkpoint.size控制日誌檔案超過多少大小時合併， dfs.http.address表示http位址，這個引數在secondarynamenode為單獨節點時需要設定。
core-site.xml：這裡有2個引數可配置，但一般來說我們不做修改。fs.checkpoint.period表示多長時間記錄一次hdfs的映象。預設是1小時。fs.checkpoint.size表示一次記錄多大的size，預設64m。
3600
the number
of seconds between two periodic checkpoints.
property>
fs.checkpoint.sizename>
67108864
the size of
the current edit log (in bytes) that triggers a periodic checkpoint even if
the fs.checkpoint.period hasn』t expired.
property>
映象備份的週期時間是可以修改的，如果不想乙個小時備份一次，可以改的時間短點，修改core-site.xml中的fs.checkpoint.period值。
如果主節點namenode掛掉了，硬碟資料需要時間恢復或者不能恢復了，現在又想立刻恢復hdfs，這個時候就可以import checkpoint。步驟如下：
準備原來機器一樣的機器，包括配置和檔案，建立乙個空的資料夾，該資料夾就是配置檔案中dfs.name.dir所指向的資料夾。拷貝你的secondary namenode checkpoint出來的檔案，到某個資料夾，該資料夾為fs.checkpoint.dir指向的資料夾（如：/home/hadadm/clusterdir/tmp/dfs/namesecondary）
執行命令bin/hadoop namenode –importcheckpoint這樣namenode會讀取checkpoint檔案，儲存到dfs.name.dir。但是如果你的dfs.name.dir包含合法的 fsimage，是會執行失敗的。因為namenode會檢查fs.checkpoint.dir目錄下映象的一致性，但是不會去改動它。
一般建議給maste配置多台機器，讓namesecondary與namenode不在同一臺機器上值得推薦的是，你要注意備份你的dfs.name.dir和 $/dfs/namesecondary。
python字典的作用 python字典詳解
字典的用途 字典是python提供的一種常用的資料結構，它用於存放具有對映關係的資料。字典相當於儲存了兩組資料，其中一組資料是關鍵資料，被稱為 key 另一組資料可通過 key 來訪問，被稱為 value。形象地看，字典中 key 和 value 的關聯關係如下圖所示 注意 key是十分關鍵的資料，...
Spring之配置檔案bean作用域的詳細介紹
1 物件的建立 單例和多例 scope singleton 預設值，單例 適合於 service,dao,工具類 scope prototype 多例適合於 action物件 2 什麼時候建立物件？scope singleton 在啟動的時候就已經建立了bean,且整個應用只有乙個，在容器初始化之前...
Spring之配置檔案bean作用域的詳細介紹
1 物件的建立 單例和多例 scope singleton 預設值，單例 適合於 service,dao,工具類 scope prototype 多例適合於 action物件 2 什麼時候建立物件？scope singleton 在啟動的時候就已經建立了bean,且整個應用只有乙個，在容器初始化之前...