本文將介紹linux下使用shell處理文字時最常用的工具:
find、grep、xargs、sort、uniq、tr、cut、paste、wc、sed、awk;
提供的例子和引數都是最常用和最為實用的;
我對shell指令碼使用的原則是命令單行書寫,盡量不要超過2行;
如果有更為複雜的任務需求,還是考慮python吧;
預設使用'\n'作為檔案的定界符;
-print0 使用'\0'作為檔案的定界符,這樣就可以搜尋包含空格的檔案;
grep match_patten file // 預設訪問匹配行
xargs 能夠將輸入資料轉化為特定命令的命令列引數;這樣,可以配合很多命令來組合使用。比如grep,比如find;
-d 定義定界符 (預設為空格 多行的定界符為 \n)
-n 指定輸出為多行
-i {} 指定替換字串,這個字串在xargs擴充套件時會被替換掉,用於待執行的命令需要多個引數時
eg:
cat file
.txt
|xargs -i
{}./
command
.sh -p
{}-1
-0:指定\0為輸入定界符
eg:統計程式行數
find source_dir/-
type f
-name
"*.cpp"
-print0
|xargs -0
wc -
l
字段說明:
-n 按數字進行排序 vs -d 按字典序進行排序
-r 逆序排序
-k n 指定按第n列排序
eg:
sort
-nrk
1data
.txt
sort
-bd data
// 忽略像空格之類的前導空白字元
將兩個文字按列拼接到一起;
cat file112
cat file2
colin
book
paste file1 file2
1colin
2book
預設的定界符是製表符,可以用-d指明定界符
paste file1 file2 -d ","
1,colin
2,book
wc -l file // 統計行數
wc -w file // 統計單詞數
wc -c file // 統計字元數
nr:表示記錄數量,在執行過程中對應當前行號;
nf:表示字段數量,在執行過程總對應當前行的字段數;
$0:這個變數包含執行過程中當前行的文字內容;
$1:第乙個欄位的文字內容;
$2:第二個欄位的文字內容;
echo -e
"line1 f2 f3\n line2 \n line 3"
|awk
''
var
=1000
echo
|awk
''vara
=$var
# 輸入來自stdin
awk
''vara
=$var file
# 輸入來自檔案
awk 'nr < 5' #行號小於5
awk 'nr==1,nr==4 ' file #行號等於1和4的列印出來
awk '/linux/' #包含linux文字的行(可以用正規表示式來指定,超級強大)
awk '!/linux/' #不包含linux文字的行
使用-f來設定定界符(預設為空格)
awk -f: '' /etc/passwd
使用getline,將外部shell命令的輸出讀入到變數cmdout中;
echo
|awk
''
for(i=0;i<10;i++)
for(i in array)
eg:以逆序的形式列印行:(tac命令的實現)
seq 9|
\awk
' \end
} '
index(string,search_string):返回search_string在string**現的位置
sub(regex,replacement_str,string):將正則匹配到的第一處內容替換為replacement_str;
match(regex,string):檢查正規表示式是否能夠匹配字串;
length(string):返回字串長度
echo
|awk
''
printf 類似c語言中的printf,對輸出進行格式化
eg:
seq 10|
awk
''
for
word
in$line;do
echo $word
;done
$:從字串中提取乙個字元;(bas**本切片)
$:返回變數word的長度
for((i
=0;i
<$;
i++))
doecho $
{word:i
:1);done
Linux shell 文字處理工具
本文將介紹linux下使用shell處理文字時最常用的工具 find grep xargs sort uniq tr cut paste wc sed awk 提供的例子和引數都是最常用和最為實用的 我對shell指令碼使用的原則是命令單行書寫,盡量不要超過2行 如果有更為複雜的任務需求,還是考慮p...
文字處理工具
參考 man,info,magedu講義 宣告 以下英文純屬個人翻譯,英文b級,歡迎糾正,以下內容純屬個人理解,並沒有對錯,只是參考,盜版不糾,才能有限,希望不誤人子弟為好。these commands read and write entire files,possibly transformin...
文字處理工具
linux 上文字處理三劍客 grep 文字過濾工具 模式 pattern awk linux上的實現為gwak 文字報告生成器 格式化文字 正規表示式 regual expression regexp 由一類特殊字元及文字所編寫的模式,其中有些字元表示其字面意義,grep options colo...