linux hive使用記錄

##linux下對檔案去重 sort -n test.txt | uniq 這是先把重複的sort在一起，再利用uniq去重，-n是按照數值大小排序 sort -u test.txt ##去除空白行（包括空格和\t） awk nf file #只能列印出字段數(nf)不為零(即大於零)的行 ##取程序號 ps -ef |grep service_name ##殺死程序 kill process_id ##刪除首行 sed -i '1d' a.txt ##刪除前100行 sed -i '1,100d' a.txt ##刪除尾行 sed -i '$d' a.txt ##拷貝1到10行到第3行命令列： 1，10 co 3 or yy：複製游標所處當前行 n + yy：複製游標所在行及以下共 n 行按 p 貼上在游標所在行 ##剪下1到10行到第3行 1，10 m 3 or dd：剪下游標所處當前行 n + dd：剪下游標所在行及以下共 n 行按 p 貼上在游標所在行 ##刪除1到10行 1，10 de or dd：刪除游標所處當前行 n + dd：刪除游標所在行及以下共 n 行 ## 指定輸入分割符和輸出分割符 awk -f'\t' -v ofs='\t' '' data.txt ## 後台執行命令 nohup command & #一般形式 nohup ./main >yourfile 2>&1 & #例項 ## 檢視後台執行的命令 jobs ##ps命令檢視使用者程序 ps -u lidongchao002 ps -ef|grep lidongchao #替換檔案內容 :s/well/good/ 替換當前行第乙個 well 為 good :s/well/good/g 替換當前行所有 well 為 good :n,$s/well/good/ 替換第 n 行開始到最後一行中每一行的第乙個 well 為 good :n,$s/well/good/g 替換第 n 行開始到最後一行中每一行所有 well 為 good n 為數字，若 n 為 .，表示從當前行開始到最後一行 :%s/well/good/（等同於 :g/well/s//good/）替換每一行的第乙個 well 為 good :%s/well/good/g（等同於 :g/well/s//good/g）替換每一行中所有 well 為 good 可以使用 # 作為分隔符，此時中間出現的 / 不會作為分隔符 :s#well/#good/# 替換當前行第乙個 well/ 為 good/ :%s#/usr/bin#/bin#g 可以把檔案中所有路徑/usr/bin換成/bin #傳資料夾：先在目標機器執行命令準備好接收（1221為任意可用埠） nc -l 1221 | tar -zxvf - 然後在源機器執行命令 tar -zcvf - [資料夾] | nc [目標ip] 1221 #批量殺死程序 ps -ef|grep mcfcm_st|grep -v grep|cut -c 9-15|xargs kill -9 #按照某一列去重

sort -t " " -k 3,3 -u 檔名

##拉取hive表，且分組&組內排序
hive -e "select city_name,price,row_number() over(partition by city_name order by price) from table_name where pt='20190816000000';" >your_file

linux hive使用記錄

linux Hive常用命令總結

Python 使用記錄（累計記錄）

fiddler使用記錄

linux hive使用記錄

linux Hive常用命令總結

Python 使用記錄（累計記錄）

fiddler使用記錄

相關推薦