python 編碼方式總結
(python
內部使用
unicode
編碼):
>>> t='北京'
>>> t
'\xe5\x8c\x97\xe4\xba\xac' 1)
urllib.quote(t)
將t轉換為
16進製制編碼
'%e5%8c%97%e4%ba%ac'
urllib.unquote('%e5%8c%97%e4%ba%ac')
將16進製制編碼轉換為內部編碼
'\xe5\x8c\x97\xe4\xba\xac'
2)decode的作用是將其他編碼的字串轉換成
unicode編碼
>>> s= t.decode('utf-8')
>>> s
u'\u5317\u4eac'
>>> w=t.encode('utf-8')
traceback (most recent call last):
file "", line 1, in
unicodedecodeerror: 'ascii' codec can't decode byte 0xe5 in position 0: ordinal not in range(128)
>>> w=s.encode('utf-8')
>>> w
'\xe5\x8c\x97\xe4\xba\xac'
>>> q=s.encode('gb2312')
>>> q
'\xb1\xb1\xbe\xa9'
首先要搞清楚,字串在python
內部的表示是
unicode
編碼.
因此,在做編碼轉換時,通常需要以unicode
作為中間編碼,即先將其他編碼的字串解碼(
decode
)成unicode
,再從unicode
編碼(encode
)成另一種編碼。
decode的作用是將其他編碼的字串轉換成
unicode
編碼,
如str1.decode('gb2312')
,表示將
gb2312
編碼的字串轉換成
unicode
編碼。
encode的作用是將
unicode
編碼轉換成其他編碼的字串,
如str2.encode('gb2312')
,表示將
unicode
編碼的字串轉換成
gb2312
編碼。
在某些ide
中,字串的輸出總是出現亂碼,甚至錯誤,其實是由於
ide的結果輸出控制台自身不能顯示字串的編碼,而不是程式本身的問題。
如在ulipad
中執行如下**:
s=u"中文
" print s
unicodeencodeerror: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)。
這是因為ulipad
在英文windowsxp
上的控制台資訊輸出視窗是按照
ascii
編碼輸出的(英文系統的預設編碼是
ascii
),而上面**中的字串是
unicode
編碼的,所以輸出時產生了錯誤。
將最後一句改為:print s.encode('gb2312')
則能正確輸出「中文
」兩個字。
若最後一句改為:print s.encode('utf8')
則輸出:
\xe4\xb8\xad\xe6\x96\x87
, 這是控制台資訊輸出視窗按照ascii
編碼輸出
utf8
編碼的字串的結果。
另外,**中字串的預設編碼與**檔案本身的編碼一致,
如: s='
中文'
如果是在
utf8
的檔案中,該字串就是
utf8
編碼,如果是在
gb2312
的檔案中,則其編碼為
gb2312
。這種情況下,要進行編碼轉換,都需要先用
decode
方法將其轉換成
unicode
編碼,再使用
encode
方法將其轉換成其他編碼。
通常,在沒有指定特定的編碼方式時,都是使用的系統預設編碼建立的**檔案,在這篇文章中可以看到如何獲得系統的預設編碼。
如果字串是這樣定義: s=u'
中文'
則該字串的編碼就被指定為
unicode
了,即python
的內部編碼,和**檔案本身的編碼無關。
因此,對於這種情況做編碼轉換,只需要直接使用encode
方法將其轉換成指定編碼即可。
如果乙個字串已經是unicode
了,再進行解碼則將出錯,
因此通常要對其編碼方式是否為unicode
進行判斷:
python編碼方式
檢視編碼方式 import chardet print chardet.detect str str為string 位元組序 若寫入時以mode a encoding utf 16 方式執行,則會在內容寫入前新增標誌 xff xfe 若以 mode wb encoding utf 16 方式執行,則...
Python 編碼總結
python裡面中文亂碼問題乙個讓初學者很頭痛的問題,自己在做專案的時候也遇到不少的編碼問題,在這裡做乙個小小的總結。1.編碼轉換 python內部使用unicode作為預設編碼來表示字串 string 在編碼轉換的過程中,將unicode作為中間編碼進行過度是乙個本質的思想。fromcode un...
python 編碼總結
1.如果py檔案裡面不指定原始檔需要用到的編碼格式的話,python解析器就會用預設的編碼去解析,一般是ascii,所以如果此時原始檔有中文的話就會報錯,syntaxerror non ascii character.因此一定要顯示指定編碼格式,方法是在py檔案第二行加入此句 coding gbk ...