python中文編碼問題

2021-07-09 19:32:56 字數 1875 閱讀 4913



為什麼會報錯「unicodeencodeerror: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)」?本文就來研究一下這個問題。

字串在python內部的表示是unicode 編碼,因此,在做編碼轉換時,通常需要以unicode作為中間編碼,即先將其他編碼的字串解碼(decode)成unicode,再從unicode編碼(encode)成另一種編碼。

decode的作用是將其他編碼的字串轉換成unicode編碼,如str1.decode('gb2312'),表示將gb2312編碼的字串str1轉換成unicode編碼。

encode的作用是將unicode編碼轉換成其他編碼的字串,如str2.encode('gb2312'),表示將unicode編碼的字串str2轉換成gb2312編碼。

因此,轉碼的時候一定要先搞明白,字串str是什麼編碼,然後decode成unicode,然後再encode成其他編碼

**中字串的預設編碼與**檔案本身的編碼一致 。

如:s='中文'

如果是在utf8的檔案中,該字串就是utf8編碼,如果是在gb2312的檔案中,則其編碼為gb2312。這種情況下,要進行編碼轉換,都需 要先用decode方法將其轉換成unicode編碼,再使用encode方法將其轉換成其他編碼。通常,在沒有指定特定的編碼方式時,都是使用的系統默 認編碼建立的**檔案。

如果字串是這樣定義:s=u'中文'

則該字串的編碼就被指定為unicode了,即python的內部編碼,而與**檔案本身的編碼無關。因此,對於這種情況做編碼轉換,只需要直接使用encode方法將其轉換成指定編碼即可。

如果乙個字串已經是unicode了,再進行解碼則將出錯,因此通常要對其編碼方式是否為unicode進行判斷:

isinstance(s, unicode) #用來判斷是否為unicode

用非unicode編碼形式的str來encode會報錯

如何獲得系統的預設編碼 ?

#!/usr/bin/env python

#coding=utf-8

import sys

print sys.getdefaultencoding()

該段程式在英文windowsxp 上輸出為:ascii

在某些ide中,字串的輸出總是出現亂碼,甚至錯誤,其實是由於ide的結果輸出控制台自身不能顯示字串的編碼,而不是程式本身的問題。

如在ulipad中執行如下**:

s=u"中文"

print s

將最後一句改為:print s.encode('gb2312')

則能正確輸出「中文」兩個字。

若最後一句改為:print s.encode('utf8')

則輸出:\xe4\xb8\xad\xe6\x96\x87,這是控制台資訊輸出視窗按照ascii編碼輸出utf8編碼的字串的結果。

unicode(str,'gb2312')與str.decode('gb2312')是一樣的,都是將gb2312編碼的str轉為unicode編碼

使用str.__class__可以檢視str的編碼形式

原理說了半天,最後來個包治百病的吧:)

複製** **如下:

#!/usr/bin/env python 

#coding=utf-8 

s="中文" 

if isinstance(s, unicode): 

#s=u"中文" 

print s.encode('gb2312') 

else: 

#s="中文" 

print s.decode('utf-8').encode('gb2312')

感謝wolfmaster的分享:

python中文編碼問題

在 python 中對中文進行處理的時候,往往涉及到編碼轉換的問題,通常使用以下三種編碼格式 utf 8 gbkunicode 國內用的比較多的是 gbk格式,unicode 是乙個很好的編碼方案,將世界各國的語言進行了統一的編碼,美國人後來覺得自己吃了大虧,於是又搞了一種變長編碼的 utf 8 的...

python中文編碼問題

一道非常簡單的python小題,可要搞死我了 題目 輸入某年某月某日,判斷這一天是這一年的第幾天?這題很簡單,但我想要的是這樣的效果 輸入 1月1 輸出 1 也就是說,需要 原本的 片段 a raw input b 月 c a.index b 就是輸入一行字串,找到 月 在哪,然後切割成兩部分 根據...

python 中文編碼問題

python檔案中文和 print 的中文的總結如下 1 coding utf 8 或者 coding gbk 表明這個檔案使用何種編碼 如果出現非acs ii 碼,則必須制定編碼 否則 s 中文 或 s u 中文 都會報錯 2 print是python把 字串丟給作業系統,再丟出之前,要求字元的編...