Pig 安裝總結學習

2021-09-02 20:27:05 字數 793 閱讀 8960

----------------------------------

[url]

[size=medium][color=red][b]2.配置環境[/b][/color][/size]

----------------------------------

pig工作模式

本地模式:只需要配置path環境變數$/bin即可,適用於測試

mapreduce模式:需要新增環境變數pig_classpath=$/conf/,指向hadoop的conf目錄,我的是hadoop2.6 ,hadoop home: /usr/local/hadoop/etc/hadoop

[color=blue][b]sudo vi ~/.bashrc[/b][/color]

新增:[color=red][b]注意:需要啟動historyserver[/b][/color] [b]./sbin/mr-jobhistory-daemon.sh start historyserver[/b]

[size=medium][color=red][b]3.替換jline.jar 檔案[/b][/color][/size]

----------------------------------

將$pig_home/lib/jline-*.jar拷貝到$hadoop_home/share/hadoop/yarn/lib

[size=medium][b]4.執行測試[/b][/size]

----------------------------------

執行pig命令看是否報錯 不報錯則安裝成功

總結 Pig的安裝部署

tar zxvf pig 0.17.0.tar.gz c 2 建立軟鏈結 ln s pig 0.17.0 pigvi bashrc在檔案末尾加上這兩行 export pig home home 使用者名稱 pig 0.17.0 export path pig home bin path 1 本地模式...

pig使用問題總結

1,如果是a tags pic 作為引數,傳遞給另乙個函式方法,需要轉義多次,二次呼叫函式,就是這個方法裡,又呼叫了其他方方法,引數也是層層傳遞,需要轉義兩次,尤其是map裡的函式,c1 two use cart filter by clkloc distinct vid and ic c,0,2,...

Pig安裝配置

1.安裝好hadoop2.7.3 2.解壓 tar zxvf pig 0.17.0.tar.gz c 3.建立軟鏈結 cd ln s pig 0.17.0 pig 4.設定環境變數 nano bashrc在檔案末尾新增如下語句 export pig home pig export path pig ...