下面是我們的日誌檔案,裡面都是一條條這樣的資料
為了將讀取的日誌檔案存入mysql,我們需要讀取日誌檔案,然後按照指定格式切割出需要的資料
表字段會是time, ip , level, messages
這個可以處理大檔案,因此每次只讀取一行
def
read_log()
:"""
讀取日誌檔案,進行資料重組,寫入mysql
:return:
"""file
="data.log-2019"
with
open
(file
)as f:
"""使用while迴圈每次只讀取一行,讀到最後一行的時候結束"""
while
true
: lines = f.readline()if
not lines:
break
line = lines.split(
",")
(line[0]
, line[1]
.strip(),
int(
str(line[2]
).strip())
, line[3]
.strip())
)return data
if __name__ ==
'__main__'
: data =
print
(read_log(
))
執行**:這樣我們得到了切割後重組好的資料,可以使用execute_many()方法將它插入資料庫中
讀取日誌檔案
represents the log level,level of value 4 is the most important public enum loglevel int 讀取日誌檔案 filemanager.instance createdirectoryfrompath pathdirlo...
NIO讀取日誌檔案
在分布式開發中對日誌處理的一些簡單思路 一.約定日誌的格式,以及生成規則 1.約定日誌的輸出格式 2.約定生成日誌的目錄 3.約定日誌生成的時段,是按天生成乙個日誌檔案 還是按小時生成 二.日誌抽取 1.日誌抽取的應用對日誌資訊抽取入mysql庫 2.定時統計各個應用所要統計的內容 srping q...
python實現讀取日誌
我們測試的過程中,如果遇到需要讀取日誌該怎麼通過python實現呢。測試小白的我寫了個python指令碼來實現讀取伺服器上的日誌。下面的例子是我的乙個測試需求 讀取日誌中的某個字段例如欄位a和我的預期結果作比較。實現之前我們需要知道伺服器的位址 日誌檔案所在的路徑 日誌的名稱以及日誌的結構,最好先自...