菜鳥高階大資料第五天 搭建外部客戶端

2021-09-24 10:52:34 字數 986 閱讀 4556

1、配置環境變數

1.1 配置jdk的環境變數

1.2 配置hadoop的環境變數 變數名:hadoop_home 路徑:自己hadoop的位址

修改path %hadoop_home%\bin

1.3 修改系統使用者名稱 在系統變數中新建hadoop_user_name 值為root

2、配置eclipse環境

2.1在eclipse啟動之前,將hadoop-eclipse-plugin-2.6.0.jar複製到eclipse的安裝目錄下的plugins

2.2啟動eclipse

配置完環境變數就可以配置eclipse了·

首先在下圖所示的路徑上建乙個lib檔案把hadoop的jar包放進來

並把乙個hadoop的乙個jar包放到如下圖的eclipes中

做完這些後jar包的一些操作基本就算是完成了,接下來就是eclipse的一些內部操作了

首先我們需要開啟map/reduce locations,操作如下圖所示

在這裡面new乙個hadoop的鏈結,和你的hadoop集群連線上,成功之後如圖所示,會有乙個dfs locations

尤其注意在new的時候鏈結位址和埠號一點按自己的實際情況填寫,如圖所示

基本上到這一步你啟動集群之後,你就可以用你的eclipse和你的集群就可以做你想做的一些操作了,如果你過程報錯了,需要仔細檢查自己的集群配置情況,謝謝。

演算法高階(第五天)

二叉樹中,乙個節點可以往上往下走,那麼節點a總能走到b,求乙個二叉樹上的最遠距離。演算法思路 利用遞迴 結果要麼是左子樹的最大距離,要麼是右子樹的最大距離,要麼是左子樹的最大深度到右子樹的最大深度 public static class returntype public static return...

iOS 高階 第五天 0330

cell的一些常見屬性 再如下圖 有些美工提供的是,此時就用上backgroundview和selectedbackgroundview tableview的常見屬性 特別注意 如果要設定tableview的cell的分割線左右通欄一條線的話可以用下面這樣的設定 if tableview respo...

大資料入門第五天總結

主要使用的有 airflow azkaban rundeck以及linux自帶的crontab 執行乙個指令碼步驟 1.建立乙個文字vi test,sh 檔名最好加上字尾 sh 檔案裡第一行加上字首 bin bash 若沒有加,需要用sh命令去執行 2.修改文字許可權 chmod 3.執行指令碼 t...