Hadoop技巧(01) 外掛程式,終端許可權

2022-03-05 16:44:53 字數 1687 閱讀 9513

文章是哥(mephisto)寫的,sourcelink

在hadoop開發或者使用中,可能會使用到一些外掛程式或3方軟體,比如:eclipse的hadoop外掛程式,etl的kettle。那麼就存在乙個hdfs目錄許可權的問題。

下面就這個許可權問題進行闡述。

一:目錄結構

hadoop檔案系統hdfs的使用者為hdfs,預設密碼為空。hdfs根目錄下還有乙個tmp目錄,這個目錄是可以任何使用者進行操作的,包括新建、刪除目錄和檔案(tmp下原有的其他使用者建立的檔案及資料夾則不能訪問)。

二:預設許可權

我們在這個許可權下只能操作tmp目錄,如下,其他的目錄不能操作。

右鍵tmp,新建目錄test-1,重新整理。

結果如下

右鍵test-1,上傳檔案test.txt到dfs

其他現有目錄就沒法向上面那樣操作成功了

三:增加環境變數

在環境變數用增加兩個環境變數:

四:eclipse外掛程式

重啟eclipse,然後我們可以對tmp外其他目錄進行操作,我們也可以在根目錄下新建新的目錄。

點選根目錄,新建test-1,重新整理

結果。

五:kettle

新建乙個轉換,在hadoop clusters中新建乙個集群h188

點選測試,我們可以看到user home directory access是紅叉

說明是不能訪問的。

我們設定了環境變數後。

再點測試,發現可以訪問了。

到此,本章節的內容講述完畢。

hadoop技巧系列索引

文章是哥(mephisto)寫的,sourcelink

hadoop 編譯eclipse 外掛程式

使用eclipse開發hadoop專案時,可以使用hadoop eclipse外掛程式,提高效率,下面來介紹下步驟 步驟 操作 1 進入 root hadoop 1.2.0 src contrib eclipse plugin下面,修改build.xml 2 進入 root hadoop 1.2.0...

eclipse新增hadoop外掛程式

重啟eclipse 關閉hdfs伺服器的防火牆,修改相應配置檔案使之能夠通過ip加埠訪問 在window preferences hadoop map reduce下邊,選擇剛剛解壓的hadoop目錄,提交並關閉 window show view map reduce locations,建立新的h...

編譯Hadoop的Eclipse外掛程式

在參考了 和 之後成功編譯hadoop eclipse外掛程式。流程如下 2.eclipse匯入.hadoop 1.0.3 src contrib eclipse plugin專案,預設專案是mapreducetools。注意 一定要把這幾個jar add to build path 4.修改上級目...