對於大日誌分割的幾種方法

# ls -lrth test.log

-rw-r--r-- 1 root root 645m 5月  30
20:42 test.log
# wc -l test.log
8856340 test.log

-b分割後的文件大小，單位是byte

-c分割後的文件，單行最大byte數

-d使用數字作為字尾，同時使用-a length指定字尾長度

-l分割後文件的行數

#字尾是數字，佔兩位，字首是test

.log
split-l
1000000
test
.log-d
-a2test
.log
#分割之後的結果ls-
lrth
總用量1.3g
-rw-r
--r-
-1root
root
645m
5月30
20:42
test
.log-rw
-r--
r--1
root
root
73m5月
3020:55
test
.log00-rw
-r--
r--1
root
root
73m5月
3020:55
test
.log01-rw
-r--
r--1
root
root
73m5月
3020:55
test
.log02-rw
-r--
r--1
root
root
73m5月
3020:55
test
.log03-rw
-r--
r--1
root
root
73m5月
3020:55
test
.log04-rw
-r--
r--1
root
root
73m5月
3020:55
test
.log05-rw
-r--
r--1
root
root
73m5月
3020:55
test
.log06-rw
-r--
r--1
root
root
73m5月
3020:55
test
.log07-rw
-r--
r--1
root
root
64m5月
3020:55
test
.log08

of=newlog.1

dd bs=1m count=300

if=test.log

of=newlog.2 skip=300

dd bs=1m count=300

if=test.log

of=newlog.3 skip=600

ls -lrth

總用量 1.3g
-rw-r
--r--
1 root root 645m 5月  30
20:42 test.
log-rw
-r--r--
1 root root 300m 5月  30
21:07 newlog.1
-rw-r
--r--
1 root root 300m 5月  30
21:07 newlog.2
-rw-r
--r--
1 root root  45m 5月  30
21:07 newlog.3

sed -n

'1,2000000p' test.
log> test.
log.1
sed -n
'2000001,4000000p' test.
log> test.
log.2
sed -n
'4000001,6000000p' test.
log> test.
log.3
sed -n
'6000001,8000000p' test.
log> test.
log.4
sed -n
'8000001,$p' test.
log> test.
log.5

awk 『』 test.log > a.txt

awk 『』 test.log > b.txt

對於日誌進行分割的N種方法

前言 乙個主要網域名稱的日誌包，解壓縮之後有10多個g，當日誌分析系統處理此日誌包時，需要的分析時間過長，而且如分析過程中出錯，要清空資料後再分析，所以需要將日誌進行分割成多個日誌包，通過多個日誌分析系統併發分析，本文主要記錄一下我測試的分割過程。說明 方法1 split分割 語法 split 行數...

分割字串的幾種方法

單個字元分割 string s abcdeabcdeabcde string sarray s.split c foreach string i in sarray console.writeline i.tostring 輸出下面的結果 ab deab deab de多個字元分割 string s...

提公升語義分割效能的幾種方法

本文主要記錄幾種提公升基於深度學習的影象語義分割精度的方法，以防忘記！by zhengzibing2011,2017年10月21日 星期六 1.影象語義分割面臨的挑戰 1 特徵解析度減小 主要是由神經網路中的重複最大池化和降取樣 stride跨越 操作造成的，而採用此種操作的原因是 a.降維，以免引...