為什麼hdfs的blocksize是128m？
磁碟的塊大小為512byte，hdfs的塊大小為128mb，主要原因是為了減少磁碟的尋道時間。一次尋道大約需要10ms，目前市面上的千兆網絡卡速度為100mb/s，尋道時間應該只佔傳輸時間的1%，我們需要設定一塊的大小為100m，因此設定塊的大小為128m。
hdfs不適合的場景
1）低延遲的訪問 hdfs在高吞吐量的資料傳輸上面做了很多優化，而這是以犧牲低延遲為代價的。
2）太多小檔案 因為namenode是在記憶體中儲存檔案的元資料的，因此能夠儲存的檔案個數受記憶體大小的限制。每乙個檔案、目錄和塊都占用大約150byte，因此假設有100w個檔案，每乙個檔案佔乙個塊，那就需要大約300m的記憶體。
大資料面試常問問題 HDFS讀寫流程
首先，客戶端向namenode請求上傳檔案。namenode檢測相應的檔案是否存在，若不存在namenode則向client響應可以上傳。client按照128m切分檔案，切分完檔案之後，client請求namenode第乙個block上傳的位置，namenode返回block應上傳的相應的bloc...
Mysql面試常問問題
資料庫基礎知識 1 為什麼要使用資料庫 2 什麼是sql？3 什麼是mysql?4 資料庫三大正規化是什麼 5 mysql有關許可權的表都有哪幾個 6 mysql的binlog有有幾種錄入格式？分別有什麼區別？資料型別 1 mysql有哪些資料型別 引擎1 mysql儲存引擎myisam與innod...
php 面試常問問題
1.看看簡歷，會問一些過去做的專案的使用者量 pv 吞吐量 相關難點和解決方法等 2.資料庫設計經驗,為什麼進行分表?分庫?一般多少資料量開始分表?分庫?分庫分表的目的?什麼是資料庫垂直拆分?水平拆分?分割槽等等？可以舉例說明 3.資料庫優化有哪些?分別需要注意什麼?4.web開發方面會遇到哪些快取...