pig pig 基礎使用

2022-03-09 14:14:02 字數 1637 閱讀 9681

1.pig執行模式

本地模式: pig -x local  

直接訪問本地磁碟

集群模式: pig  或者 pig -x mapreduce

2.pig latin 互動

幫助資訊 help

上傳本地檔案到hdfs中

檢視內容 cat 

載入資料

grunt> a = load '/pig/input/a.data' using pigstorage('\t');  --載入檔案,並用冒號』\t『將資料分離為多個字段

grunt> b = foreach a generate $0 as id; --將每一次迭代的第乙個元祖資料作為id

grunt> dump b; 在命令列輸出結果

執行成功,如下展示:

計算結果

3. 小試牛刀

1)、載入學生資訊

student = load '/pig/input/student.data' using pigstorage(',') as (id:long,name:chararray,class:int,state:int);

2)過濾 符合條件的資料

filterstudent= filter student by state==1;

3)展示每個班的學生

4)統計每個班的人數

mysql使用基礎 mysql 的基礎使用

1 登入 mysql uroot p123 2 檢視使用者 select user 3 退出 quit exit q 4 檢視幫助資訊 help create user 5 建立帳號 create user egon 192.168.32.identified by 123 create user ...

Spring Aop基礎使用

說到spring,想必大家一定就馬上想到了,哦spring不就是幫助管理bean物件,封裝資料源,提供事務管理的東西麼。的確,平常在使用spring的時候,用到最多的就是spring提供的這些功能了,其實spring還有乙個挺好的東西,或許大家平常用得少一些,他就叫aop。什麼aop,這是什麼玩意兒...

OC基礎使用

oc物件類標頭檔案的兩個作用 1.宣告成員變數 2.宣告方法 特點 1.oc標頭檔案中宣告的成員變數都是私有的,方法都是公有的 五種訪問成員變數的方法 1.getter setter方法 2.自定義設定方法 3.自定義初始化方法 滿足條件 3.1.方法一般使用init開頭 3.2.使用id作為返回值...