text=data/local/train/text
lexicon=data/local/dict/lexicon.txt
dir=data/local/lm
mkdir -p $dir
cleantext=
$dir/text.no_oov
cat$text
|awk -v lex=
$lexicon
'begin }
else } printf("\n");}' \
>
$cleantext
【cat $text】
這裡是將text中每行讀進管道【逐行讀取】
【awk -v lex=$lexicon】
-v是準備開始定義乙個臨時變數叫lex,其值為變數lexicon的內容
【getline
【data/local/train/text】內容
我 是 不 喜歡 你 的【data/local/dict/lexicon.txt】內容你 不是 那麼 討厭
我 知道 你 很 差勁 但是 你 也 應該 努力 才對
sil sil
sil
啊 aa a1
啊 aa a2
啊 aa a4
啊 aa a5
啊啊啊 aa a2 aa a2 aa a2
啊啊啊 aa a5 aa a5 aa a5
阿 aa a1
阿 ee e1
...
awk一些常用命令
awk filename 列印檔案的第一列 awk filename 列印檔案的第一列和第三列 awk filename 列印完第一列,緊接著列印第二列 awk end filename 列印檔案的行數 awk nr 1 filename 列印檔案的第一列 shell裡面的兩種賦值方式 1 arg ...
awk的一些用法
awk是個非常強大的乙個工具,在我看來位列三劍客之首,下面記錄一些非常好的用法 一 比較常用的是統計tcp的狀態 netstat n awk tcp end 二 awk呼叫外部命令 awk tt.txt 將檔案裡面的第二列作為使用者,第一列作為主目錄,此命令呼叫了useradd命令,可以批量建使用者...
Linux一些常見命令及解釋
ls 顯示當前路徑下的檔案和資料夾 ls a 顯示當前路徑下的所有檔案和資料夾 包括隱藏檔案 ls l 以列表方式顯示當前路徑下檔案和資料夾的詳細資訊 ls h 以列表方式顯示當前路徑下檔案和資料夾的詳細資訊,並用合適的單位來表示檔案的大小 ls help 檢視命令幫助文件 上述a l h是ls命令...