parallel可以一台或多台伺服器上執行命令,命令可以是shell指令碼。檔案列表、使用者列表、主機列表、url列表都可以作為輸入端,測試下來,效果在單一伺服器比多台伺服器要明顯。在實際應用中主要是對大批量pcap檔案進行篩選。
先查一下伺服器processor的個數
#cat /porc/cpuinfo/grep name|cut -f2 -d:|uniq -c
**在centos7 和 centos8測試通過如下:
#!/bin/bash
doit
export -f donit
cat ./pcapfilelist.txt|parallel -j+0 doit
**還是很清晰的,這裡的pcapfilelist.txt的格式是這樣的
#cat ./pcapfilelist.txt
/home/user/test1.pcap
/home/user/test2.pcap
/home/user/test3.pcap
下面把parallel安裝過程簡述下
wget
tar jxvf parallel-20190122.tar.bz2
cd parallel-20190122
./configure
make -j 4
make install
利用nginx加速web訪問
起因 在最近新系統的設計中對於首頁開啟速度的問題做了一些考慮,由於頁面上還是以動態資料為主,所以簡單的靜態化資料可能並不行,所以需要從業務和技術結合的角度去考慮這個問題。由於有些資料並不敏感,其實可以放入快取並定時更新。另外就是有些本身是靜態,能否加快併發相應速度。這裡對動態資料想到了2種辦法 1 ...
numba 利用numba加速python
importtime fromnumpyimportarange fromnumbaimportjit jit defz num 2147483647 質數大於 1 ifnum 1 檢視因子 foriinrange 2,num if num i 0 print num,不是質數 print i,乘於...
利用nginx加速web訪問
在最近新系統的設計中對於首頁開啟速度的問題做了一些考慮,由於頁面上還是以動態資料為主,所以簡單的靜態化資料可能並不行,所以需要從業務和技術結合的角度去考慮這個問題。由於有些資料並不敏感,其實可以放入快取並定時更新。另外就是有些本身是靜態,能否加快併發相應速度。這裡對動態資料想到了2種辦法 1 把ac...