Linux中利用csvquote處理csv檔案

2021-10-09 18:30:49 字數 899 閱讀 6847

在linux中處理csv檔案時,經常會碰到欄位中包含,\n的問題,這種情況下就不能使用awkcut等命令處理檔案

使用csvquote對csv進行預處理。github

csvquote可將csv欄位中的,轉換為us(unit separator,單元分隔符,ascii碼31),將\n轉換為rs(record separator,記錄分隔符,ascii碼30),這樣在使用cut等命令時就能將它們當作普通字元處理了。

在使用python處理轉換後的檔案時,要注意open方法開啟檔案是預設的newline引數值為none,python官方文件對該引數的解釋:

newline 控制 universal newlines 模式如何生效(它僅適用於文字模式)。它可以是 none,』』,』\n』,』\r』 和 『\r\n』。它的工作原理:

雖然python文件中只提到了 『\n』,』\r』 或 『\r\n』 ,但其實rs字元也會被當作換行符

>>

>

'1\x1e2\n3\r4\r\n5\n\r6'

.splitlines()[

'1',

'2',

'3',

'4',

'5','',

'6']

所以在處理時需要顯式地指定newline引數為檔案的原始換行符,如linux中的\n

Linux中利用vmstat命令檢視系統狀況

在linux中,我們可以通過top命令檢視系統狀況,以及每乙個程序的具體狀況。不過另外也可以利用vmstat命令檢視到一些另外的資訊。vmstat命令可以檢視memory情況,swap使用情況,io使用情況,cpu以及一些其他system的狀況。以上的每個大類都有好幾個小條目可以檢視。比如memor...

Linux系統中的CPU利用率

設前一次cpu執行的總時間長期為jiffies pr,當前cpu執行總時間為jiffies cur,前一次監控使用者進行程占用的時間為jiffies user pr,當前使用者程序占用時間為jiffies user cur,則 pe rcen br br jif fies use r cu r ji...

利用Xshell修改Linux中預設的SSH埠號

進入linux後,通過以下命令進入sshd config配置檔案中修改埠號 vi etc ssh sshd config進入後移動游標到 port 22 這一行,再移動游標到22,修改22為你想要的埠號,若前面有 注釋符,去要去掉 關於怎麼儲存退出 儲存退出檔案時,自己也是摸索了好久 首先,修改完後...