在linux中有很多方法逐行讀取乙個檔案的方法,其中最常用的就是下面的指令碼裡的方法,而且是效率最高,使用最多的方法。為了給大家乙個直觀的感受,我們將通過生成乙個大的檔案的方式來檢驗各種方法的執行效率。
方法1:while迴圈中執行效率最高,最常用的方法。
複製**
**如下:
function while_read_line_bottm()
注釋:我習慣把這種方式叫做read釜底抽薪,因為這種方式在結束的時候需要執行檔案,就好像是執行完的時候再把檔案讀進去一樣。
方法2 : 重定向法;管道法: cat $filename | while read line
複製**
**如下:
function while_read_line()
注釋:我只所有把這種方式叫做管道法,相比大家應該可以看出來了吧。當遇見管道的時候管道左邊的命令的輸出會作為管道右邊命令的輸入然後被輸入出來。
方法3: 檔案描述符法
複製**
**如下:
function while_read_line_fd()
注釋: 這種方法分2步驟,第一,通過將所有內容重定向到檔案描述符3來關閉檔案描述符0.為此我們用了語法exec 3<&0 。第二部將輸入檔案放送到檔案描述符0,即標準輸入。
方法4 for 迴圈。
複製**
**如下:
function for_in_file()
注釋:這種方式是通過for迴圈的方式來讀取檔案的內容相比大家很熟悉了,這裡不多說。對各個方法進行測試,看那方法的執行效率最高。
首先我們用指令碼(指令碼見附件)生成乙個70000行的檔案,檔案位置在/scripts/bigfile。然後通過下面的指令碼來測試各個方法的執行效率,指令碼很簡單,不再解釋。
複製**
**如下:
#!/bin/bash
filename="$1"
timefile="/tmp/loopfile.out" > $timefile
script=$(basename $0)
function usage()
function while_read_bottm()
function while_read_line()
function while_read_line_fd()
function for_in_file()
if [ $# -lt 1 ] ; then
usage fi
echo -e " \n starting file processing of each method\n"
echo -e "method 1:"
echo -e "function while_read_bottm"
time while_read_bottm >> $timefile
echo -e "\n"
echo -e "method 2:"
echo -e "function while_read_line "
time while_read_line >> $timefile
echo -e "\n"
echo -e "method 3:"
echo "function while_read_line_fd"
time while_read_line_fd >>$timefile
echo -e "\n"
echo -e "method 4:"
echo -e "function for_in_file"
time for_in_file >> $timefile
執行指令碼後: [root@localhost shell]# ./while /scripts/bigfile
指令碼輸出內容:
複製**
**如下:
method 1:
function while_read_bottm
real 0m5.689s
user 0m3.399s
sys 0m1.588s
method 2:
function while_read_line
real 0m11.612s
user 0m4.031s
sys 0m4.956s
method 3:
function while_read_line_fd
real 0m5.853s
user 0m3.536s
sys 0m1.469s
method 4:
function for_in_file
real 0m5.153s
user 0m3.335s
sys 0m1.593s
下面我們對各個方法按照速度進行排序。
複製**
**如下:
real 0m5.153s method 4 (for 迴圈法)
real 0m5.689s method 1 (while 釜底抽薪法)
real 0m5.853s method 3 (識別符號法)
real 0m11.612s method 2 (管道法)
由此可見在各個方法中,for語句效率最高,而在while迴圈中讀寫檔案時,
複製**
**如下:
while read line do
echo $line
done < $filename
讀檔案的方法:
第一步: 將檔案的內容通過管道(|)或重定向(<)的方式傳給while
第二步: while中呼叫read將檔案內容一行一行的讀出來,並付值給read後跟隨的變數。變數中就儲存了當前行中的內容。
例如讀取檔案/sites/linuxpig.com.txt
1)管道的方式:
cat /sites/linuxpig.com.txt |while read line
doecho $line
done
當然也可以將cat /sites/linuxpig.com.txt 寫成一些複雜一些的,比如:
示例1:
find -type f -name "*.txt" -exec cat |while read line
doecho $line
done
可以將當前目錄所有以 .txt 結尾的檔案讀出
示例2:
grep -r "linuxpig.com" ./ | awk -f":" '' | cat |while read line
doecho $line
done
可以將含有 "linuxpig.com" 字串的所有檔案開啟並讀取。。
示例沒有實際測試,如果使用請先測試。。。。。:-)
2)重定向的方式:
2.1 利用重定向符<
while read line
doecho $line
done < /sites/linuxpig.com.txt
2.2 利用檔案描述符(0~9)和重定向符 <
exec 3<&0
exec 0while read line
doecho $line
done
exec 0<&3
shell 讀取配置檔案的方法
乙個bbs的問答。配置檔案config內容如下 id 123 ip 192.168.3.154 name test方法一,利用sed解析文字,提取配置資訊 id sed id d s urfile ip sed ip d s urfile name sed name d s urfile echo ...
Shell程式設計 檔案讀取方法集錦
1 在這裡總結一下shell讀取檔案的方法 a 使用read命令讀取一行資料 while read myline do echo line myline done datafile.txt b 使用read命令讀取一行資料 cat datafile.txt while read myline do ...
Shell逐行讀取檔案的方法 待整理
在linux中有很多方法逐行讀取乙個檔案的方法,其中最常用的就是下面的指令碼裡的方法,而且是效率最高,使用最多的方法。為了給大家乙個直觀的感受,我們將通過生成乙個大的檔案的方式來檢驗各種方法的執行效率。方法1 while迴圈中執行效率最高,最常用的方法。function while read lin...