HDFS面試問題整理

2021-08-28 02:06:28 字數 465 閱讀 5810

1、hdfs讀取流程,小檔案處理

2、hdfs的資料壓縮演算法

3、datanode什麼情況下不會進行備份

4、hdfs的體系結構

5、hdfs的儲存機制

6、hdfs的基本原理

7、hdfs上傳檔案的流程

8、hadoop1.0和2.0hdfs的block各為多少?

9、hdfs為什麼不太適合小檔案的儲存

這裡面提到了文件塊的概念,同本地檔案系統一樣,hdfs也是按塊儲存的,只不過塊的大小設定的相對大一些,預設為64m。如果乙個檔案不足64m,那麼它只儲存在乙個塊中,而且並不會占用64m的磁碟空間,

這一點需要注意,hdfs不適用於小檔案儲存的原因並不是因為小檔案消耗磁碟空間,而是因為小檔案占用了太多的塊資訊,每個文件塊的元資料是會儲存在namenode的記憶體裡的,因此當文件塊較多的時候會十分消耗namenode的記憶體

常見命令的使用

面試問題整理

所謂事務,就是提供一種機制,將乙個活動涉及的所有操作納入到乙個不可分割的執行單元,只要其中任何乙個操作執行失敗,都將導致整個事務的回滾。簡單的說,就是一種 要不什麼都不做,要麼做全套 機制。資料庫本地事務 acid原則 a atomicity 原子性 c consistency 一致性 i isol...

面試問題整理

c 中 deque的實現 可以在兩端高效插入 刪除資料,支援隨機訪問 內部實現原理 利用分段陣列,將元素存放在乙個個大小固定的陣列中,再有乙個索引陣列存放這些陣列的首位址。頭部插入資料時,移動頭部首位址索引即可,從後往前移動,如果當前資料段滿了,則將資料儲存在新建立的分段陣列中,並將其首位址加入到索...

面試問題整理

最近面試,遇到了不少題目,為今後的再面試做準備,特收集記錄於此 一 關於管理方面的 1 如何構建比較完整的測試體系框架,可以從哪些方面入手?思路 測試技術體系建設 測試管理支撐 主要從團隊組織 環境建設 標準制定 人員培養 配置管理 工作流程 a 軟體測試管理體系建設可以從測試的總體規程 需求跟蹤管...