由於hadoop相關引數頁面需要通過firefox瀏覽器開啟,這裡需要你先安裝firefox瀏覽器。
下拉頁面,可以在頁面左下角找到「configuration」,其下面有core-site.xml、hdfs-site.xml兩個鏈結。本節內容主要是解讀一下這兩個檔案中的主要引數。
2017-5-25 更新:
現在官方已經能更新谷歌瀏覽器也可以開啟預設引數頁面了
名稱預設值
說明hadoop.tmp.dir
/tmp/hadoop-$
臨時資料夾
fs.defaultfs
file:///
檔案系統主機和埠
io.file.buffer.size
4096
流檔案的緩衝區大小,建議設定為65536 ( 64k)
名稱預設值
說明dfs.name.dir
$/dfs/name
namenode 元資料存放位置
dfs.data.dir
$/dfs/data
datanode在本地磁碟存放block的位置,可以是以逗號分隔的目錄列表
dfs.permissions
true
檢查許可權
dfs.replication
3檔案副本數
定義hdfs對應的http伺服器位址和埠
HDFS讀寫流程詳細解讀
在這裡插入描述 讀取檔案過程簡述 1 客戶端向namenode發起讀資料請求 2 namenode響應請求並告訴客戶端要讀的檔案的資料塊位置 存在哪個datanode上 3 客戶端到對應datanode讀取資料,當資料讀取到達末端,關閉與這個datanode的連線,並查詢下乙個資料塊,直到檔案資料全...
mysql explain執行計畫 引數解讀
隨著業務邏輯的複雜化和資料量的擴充套件,慢sql的問題就會出現,此時需要通過檢視執行計畫來對一些慢sql進行優化,下文是對explain的各個引數的解讀。在sql語句前面加上explain關鍵字,即可檢視執行計畫。如 explain select instrument id from quote k...
隨機森林 Random Forest 引數解讀
基本原理 隨機森林 random forest 基本原理參考 引數 a.max features 隨機森林允許單個決策樹使用特徵的最大數量。python為最大特徵數提供了多個可選項。下面是其中的幾個 auto none 簡單地選取所有特徵,每顆樹都可以利用他們。這種情況下,每顆樹都沒有任何的限制。s...