Linux Shell多程序併發以及併發數控制

1. 基礎知識準備

1.1. linux後台程序

unix是乙個多工系統，允許多使用者同時執行多個程式。shell的元字元&提供了在後台執行不需要鍵盤輸入的程式的方法。輸入命令後，其後緊跟&字元，該命令就會被送往到linux後台執行，而終端又可以繼續輸入下乙個命令了。

比如：

sh a.sh & sh b.sh &

sh c.sh &

這三個命令就會被同時送往linux後台執行，在這個程度上，認為這三個命令併發執行了。

1.2. linux檔案描述符

檔案描述符（縮寫fd）在形式上是乙個非負整數。實際上，它是乙個索引值，指向核心為每乙個程序所維護的該程序開啟檔案的記錄表。當程式開啟乙個現有檔案或者建立乙個新檔案時，核心向程序返回乙個檔案描述符。每乙個unix程序，都會擁有三個標準的檔案描述符，來對應三種不同的流：

檔案描述符名稱

0 standard input

1 standard output

2 standard error

每乙個檔案描述符會對應乙個開啟檔案，同時，不同的檔案描述符也可以對應同乙個開啟檔案；同乙個檔案可以被不同的程序開啟，也可以被同乙個程序多次開啟。

在/proc/pid/fd中，列舉了程序pid所擁有的檔案描述符，例如

#!/bin/bash
source /etc/profile;
# $$表示當前程序的pid
pid=$$
# 檢視當前程序的檔案描述符指向
ll /proc/$pid/fd
echo "-------------------";echo
# 檔案描述符1與檔案tempfd1進行繫結
( [ -e ./tempfd1 ] || touch ./tempfd1 ) && exec 1<>./tempfd1
# 檢視當前程序的檔案描述符指向
ll /proc/$pid/fd
echo "-------------------";echo;

[ouyangyewei@localhost learn_linux]$ sh learn_redirect.sh total 0 lrwx------. 1 ouyangyewei ouyangyewei 64 jan 4 22:17 0 -> /dev/pts/0 lrwx------. 1 ouyangyewei ouyangyewei 64 jan 4 22:17 1 -> /dev/pts/0 lrwx------. 1 ouyangyewei ouyangyewei 64 jan 4 22:17 2 -> /dev/pts/0 lr-x------. 1 ouyangyewei ouyangyewei 64 jan 4 22:17 255 -> /home/ouyangyewei/workspace/learn_linux/learn_redirect.sh ------------------- [ouyangyewei@localhost learn_linux]$ cat tempfd1 total 0 lrwx------. 1 ouyangyewei ouyangyewei 64 jan 4 22:17 0 -> /dev/pts/0 lrwx------. 1 ouyangyewei ouyangyewei 64 jan 4 22:17 1 -> /home/ouyangyewei/workspace/learn_linux/tempfd1 lrwx------. 1 ouyangyewei ouyangyewei 64 jan 4 22:17 2 -> /dev/pts/0 lr-x------. 1 ouyangyewei ouyangyewei 64 jan 4 22:17 255 -> /home/ouyangyewei/workspace/learn_linux/learn_redirect.sh

-------------------

上述的例子中第12行，將檔案描述符1與檔案tempfile進行了繫結，此後，檔案描述符1指向了tempfile檔案，標準輸出被重定向到了檔案tempfile中。

linux管道包含兩種：

匿名管道

命名管道

管道有乙個特點，如果管道中沒有資料，那麼取管道資料的操作就會滯留，直到管道內進入資料，然後讀出後才會終止這一操作；同理，寫入管道的操作如果沒有讀取管道的操作，這一動作就會滯留。

1.3.1. 匿名管道

在unix或類unix作業系統的命令列中，匿名管道使用ascii中垂直線|作為匿名管道符，匿名管道的兩端是兩個普通的，匿名的，開啟的檔案描述符：乙個唯讀端和乙個只寫端，這就讓其它程序無法連線到該匿名管道。

例如：cat file | less

1為了執行上面的指令，shell建立了兩個程序來分別執行cat和less。下圖展示了這兩個程序是如何使用管道的：

有一點值得注意的是兩個程序都連線到了管道上，這樣寫入程序cat就將其標準輸出（檔案描述符為fd 1）連線到了管道的寫入端，讀取程序less就將其標準輸入（檔案描述符為fd 0）連線到了管道的讀入端。實際上，這兩個程序並不知道管道的存在，它們只是從標準檔案描述符中讀取資料和寫入資料。shell必須要完成相關的工作。

1.3.2. 命名管道（fifo，first in first out）

命名管道也稱fifo，從語義上來講，fifo其實與匿名管道類似，但值得注意：

在檔案系統中，fifo擁有名稱，並且是以裝置特俗檔案的形式存在的；

任何程序都可以通過fifo共享資料；

除非fifo兩端同時有讀與寫的程序，否則fifo的資料流通將會阻塞；

匿名管道是由shell自動建立的，存在於核心中；而fifo則是由程式建立的（比如mkfifo命令），存在於檔案系統中；

匿名管道是單向的位元組流，而fifo則是雙向的位元組流；

比如，可以利用fifo實現單伺服器、多客戶端的應用程式:

有了上面的知識準備，現在可以開始講述，linux多程序併發時，如何控制每次併發的程序數。

既然不能一次性把365個任務放到linux後台執行，那麼，能不能實現自動地每次將n個任務放到後台併發執行呢？當然是可以的啦。

#! /bin/bash
source /etc/profile;
# -----------------------------
tempfifo=$$.fifo        # $$表示當前執行檔案的pid
begin_date=$1           # 開始時間
end_date=$2             # 結束時間
if [ $# -eq 2 ] 
then
if [ "$begin_date" \> "$end_date" ]
then
echo "error! $begin_date is greater than $end_date"
exit 1;
fielse
echo "error! not enough params."
echo "sample: sh loop_kpi 2015-12-01 2015-12-07"
exit 2;
fi# -----------------------------
trap "exec 1000>&-;exec 1000<&-;exit 0" 2
mkfifo $tempfifo
exec 1000<>$tempfifo
rm -rf $tempfifo
for ((i=1; i<=8; i++))
do    echo >&1000
done
while [ $begin_date != $end_date ]
do    read -u1000
&begin_date=`date -d "+1 day $begin_date" +"%y-%m-%d"`
done
wait
echo "done!!!!!!!!!!"

Linux Shell多程序併發以及併發數控制

摘錄多程序併發

python多程序併發

python併發之多程序

Linux Shell多程序併發以及併發數控制

摘錄 多程序併發

python多程序併發

python併發之多程序

相關推薦

摘錄多程序併發