python指令碼判斷檔案字符集引數的選擇

2021-09-19 13:24:12 字數 940 閱讀 3397

常常在處理檔案時，會出現錯誤如下：

unicodedecodeerror: 'utf-8' codec can't decode byte 0xea in position 626: illegal multibyte sequence
或者其它資料編碼出現的報錯，比如：

unicodedecodeerror: 'gb2312' codec can't decode byte 0xea in position 626: illegal multibyte sequence
出現該錯誤的原因是由於檔案中存在無法編譯的位元組，因為本文寫乙個python指令碼來判斷下，對於整個檔案的字符集引數選擇，是存在部分的不能解碼的位元組，還是整體都不能解碼。

# python3


f = open(r"檔案路徑", "rb")  # 二進位制格式讀檔案


m = 0


s = 0


while true:


m += 1


line = f.readline()


if not line:


break


else:


try:


line.decode('utf-8')


except:


s += 1


print("第%d行" % (m))


print(str(line))


print("未能正確編譯的行數比例：%.2f"%(s/m))
在編碼中選擇合適的編碼方式來解決這個問題，一般出現較多的情況是gbk和utf-8之間的選擇。如果出現錯誤編碼的位元組數不重要，對後續處理不影響，可以在decode（）方法中設定第二個引數：

decode('utf-8', errors='ignore')
其中errors的預設是strict。

判斷檔案字符集型別

在開發中，我們經常會遇到檔案亂碼問題，如果我們有乙個工具可以判斷檔案型別，這時對於我們的編碼轉換就方便多了。根據傳入的檔案，判斷檔案的字符集型別 param filename 傳入檔案的路徑 return throws ioexception private static string getcha...

mysql api 字符集 MySQL字符集

mysql字符集包括字符集 character 和 collation 兩個概念。字符集是用來定義mysql儲存字串的規則，校對規則則是定義了比較字串的方式。字串和校對規則是一對多的 關係。使用命令 show collation like gbk 可檢視相關的校對規則 使用 show charact...

Unicode字符集和多字符集

由於各國語言的加入，ascii已經不能滿足資訊交流的需要，因此，為了能夠表示其它國家的文字，各國在ascii的基礎上制定了自己的字符集，它們正式的名稱應該是mbcs multi byte chactacter system，即多位元組字元系統 型別說明 unicode ansi 通用型別 字元wch...