[檔案、目錄檢視類]
在當前目錄下按照檔案大小倒排序,顯示百分比,並以k,m,g為單位,提高資訊的可讀性:
du -sb ./* | sort -nr | gawk 'beginfunction kmg(innum) else if(innum/1024/1024>1) else if(innum/1024>1) else return field}'
更簡單的,這個命令可以代替:
du -sb ./* | sort -nrk1 | cut -f2 | xargs du -sh
使用awk進行檔案統計:
1、統計日誌中ip的條數
awk ';end}' 2010-06-09.txt
2、查詢500條符合條件的記錄
awk '; if(num > 200)}' 2010-06-09.txt;
3、根據url ?前的字串進行倒排序
awk '; end}' /home/admin/alibaba_web_logs/syslog-ng/china/2010-06-11/2010-06-11.txt | sort –nr
統計目錄下指定檔案或資料夾的大小彙總:
du -ch a*|grep total
touch -d "may 24 3:51 pm" test/a/may24.txt
ldd和file命令:
1、首先ldd不是乙個可執行程式,而只是乙個shell指令碼 2、ldd能夠顯示可執行模組的dependency
file識別各種不同的檔案型別
ln -s /disk2/history_cookielog/history_asc history_asc
du -sh /data/work/enlog/beaconlog/20101011/*
檢視目錄資訊:
du -sk ./* | sort -n
du -sh ./*
[檔案查詢、比對類]
多行替換:
1、在ue下,查詢:(.*)/p ,替換為:alias /1='ssh /1'/p
2、在linux下使用:
sed "s//(.*/)/alias /1='ssh /1'/" test_file
diff檔案比對結果輸出:
diff -y -w 130 --suppress-common-line ./offerdetail.2010.08.23.txt ./cx300/offerdetail.2010.08.23.txt | head -n 10
-y表示並列輸出
-w指定在並列輸出時候的列寬
--suppress-common-lines 只輸出不同的內容
查詢最大的檔案:
find ./ -size +800000000c -print | grep bz2 | xargs ls -alh | sort +4
或者:
du -ah * | grep bz2 | sort -nr | head
查詢檔案時,如何過濾沒有許可權等異常資訊的輸出:
find / -name iplib.pm 2>/dev/null
用以下命令:
find . -name '1^cookie_log.jp_search*.bz2'
找到了一堆檔案,現在想將這些找到的檔案打包,用tar -cvf,怎麼寫?
find . -name '1^cookie_log.jp_search*.bz2' | xargs tar cvf ....
試試看,或者:
find . -name '1^cookie_log.jp_search*.bz2' -exec tar -rvf all_search.tar {} /;
對於find命令 -exec 和 -ok 一樣,只是 -ok 需要一一確認
查詢目錄a下不包含目錄b的所有檔案,刪除建立時間在2天前的檔案:
find ./a -path "./a/b" -prune -o -type f -mtime +2 -ok rm {} /;
grep多個或條件:
ls | grep -e "a|b" 或者 grep 'usrquota/|grpquota' /etc/fstab
grep使用逆向查詢,將日誌中所有的url找出:
[系統效能監控、命令跟蹤類]
系統狀態檢視:
memory:free -m
disk: df -h
load: uptime、w
其他: top -n 1 | col -b > top.txt
更詳細程序資訊:
ps uaxf
如何檢視程序的所有執行緒數?
ps -el | grep iot –c
效能分析工具有:
sar、iostat、vmstat
如何修改hostname:
1、vi /etc/sysconfig/network,修改hostname
2、vi /etc/hosts 修改:127.0.0.1 以及本機ip對應的hostname
上面兩步執行之後重啟機器才能生效
3、hostname newname 重新login就ok了
hostname命令是臨時修改hostname,重啟後會以上面兩個配置檔案的來設定
新增使用者
groupadd dw
useradd -c "log user" -d /home/adli -g dw -p dw -s /bin/bash adli
useradd -c "analoyzer test log user" -d /home/logtest -g alilog -p logtest -s /bin/bash logtest
userdel adli
後台執行shell指令碼中的命令:
nohup sh ./run_search_click.sh >/tmp/run_search_click.log 2>&1 &
[遠端傳輸、控制類]
如何進行批量傳輸?
wget -t 10 -c -t 60 -i downloadfile.txt
遠端copy:
scp admin@cx300-admin:/home/admin/alibaba_web_logs/otherlogs/offer_detail.log/offerdetail.2010.08.23.* .
[壓縮、解壓類]
解壓tar包:
tar -zxvf ybc.dmp.tar.gz
壓縮tar包:
tar -zcvf ybcout.dmp.tar.gz ybcout.dmp
enfp工具箱怎麼用 隱喻 你的工具箱
分享一些在心理諮詢中好用的隱喻。在幫助家庭學習新的溝通方式時,我喜歡 工具箱 這個隱喻。顧名思義,工具箱裡裝著各種各樣的工具,不同工具適用於不同場合。有些工具你裝備了未必用得上,但你不會嫌工具太多。學習一種新的方式,彷彿就要替換掉舊的方式。他會擔心失去一些東西,喚起取捨的焦慮。比如,教乙個人拒絕別人...
大資料 工具箱
當前,整個網際網路正在從it時代向dt時代演進,大資料技術也正在助力企業和公眾敲開dt世界大門。當今 大資料 一詞的重點其實已經不僅在於資料規模的定義,它更代表著資訊科技發展進入了乙個新的時代,代表著 性的資料資訊給傳統的計算技術和資訊科技帶來的技術挑戰和困難,代表著大資料處理所需的新的技術和方法,...
libsvm工具箱使用
libsvm工具箱安裝 讀入變數利用svmtrain訓練得模型,利用svmpredict訓練得 結果 model svmtrain x norm 6 x norm 1 5 predicted label,accuracy,decision values svmpredict y norm 6 y n...