python 編碼問題

字串在python內部的表示是unicode編碼，因此，在做編碼轉換時，通常需要以unicode作為中間編碼，即先將其他編碼的字串解碼（decode）成unicode，再從unicode編碼（encode）成另一種編碼。

decode的作用是將其他編碼的字串轉換成unicode編碼，如str1.decode(『gb2312』)，表示將gb2312編碼的字串str1轉換成unicode編碼。

encode的作用是將unicode編碼轉換成其他編碼的字串，如str2.encode(『gb2312』)，表示將unicode編碼的字串str2轉換成gb2312編碼。

因此，轉碼的時候一定要先搞明白，字串str是什麼編碼，然後decode成unicode，然後再encode成其他編碼

**中字串的預設編碼與**檔案本身的編碼一致。

如：s=』中文』

如果是在utf8的檔案中，該字串就是utf8編碼，如果是在gb2312的檔案中，則其編碼為gb2312。這種情況下，要進行編碼轉換，都需要先用decode方法將其轉換成unicode編碼，再使用encode方法將其轉換成其他編碼。通常，在沒有指定特定的編碼方式時，都是使用的系統預設編碼建立的**檔案。

如果字串是這樣定義：s=u』中文』

則該字串的編碼就被指定為unicode了，即python的內部編碼，而與**檔案本身的編碼無關。因此，對於這種情況做編碼轉換，只需要直接使用encode方法將其轉換成指定編碼即可。

如果乙個字串已經是unicode了，再進行解碼則將出錯，因此通常要對其編碼方式是否為unicode進行判斷：

isinstance(s, unicode) #用來判斷是否為unicode

用非unicode編碼形式的str來encode會報錯

如何獲得系統的預設編碼？

import sys

print sys.getdefaultencoding()

該段程式在英文windowsxp上輸出為：ascii

在某些ide中，字串的輸出總是出現亂碼，甚至錯誤，其實是由於ide的結果輸出控制台自身不能顯示字串的編碼，而不是程式本身的問題。

如在ulipad中執行如下**：

s=u」中文」

print s

將最後一句改為：print s.encode(『gb2312』)

則能正確輸出「中文」兩個字。

若最後一句改為：print s.encode(『utf8』)

則輸出：/xe4/xb8/xad/xe6/x96/x87，這是控制台資訊輸出視窗按照ascii編碼輸出utf8編碼的字串的結果。

unicode(str,』gb2312』)與str.decode(『gb2312』)是一樣的，都是將gb2312編碼的str轉為unicode編碼

使用str.class可以檢視str的編碼形式

#!/usr/bin/env python
#coding=utf-8
s="中文"
if isinstance(s, unicode):
#s=u"中文"
print s.encode('gb2312')
else:
#s="中文"
print s.decode('utf-8').encode('gb2312')

from

reload(sys)

sys.setdefaultencoding(『utf8』) 這兩行**也很起作用

#!/usr/bin/env python
# coding=utf-8
import sys
reload(sys)
sys.setdefaultencoding('utf8')
from wordseg import wordsegment
doc = '十四是十四四十是四十，十四不是四十，四十不是十四,我愛吃很辣的宮保雞丁，河南燴麵，上河菜河南菜'
doc = unicode(doc)
if len(sys.argv) > 1:
doc = sys.argv[1]
print doc.__class__,'====',isinstance(doc,unicode)
doc.decode('utf-8')
doc=unicode(doc)
print
'===decode utf8 =>',isinstance(doc,unicode)
print sys.getdefaultencoding(),'=>defaultencodeing'
print
'===',doc
ws = wordsegment(doc, max_word_len=2, min_aggregation=1, min_entropy=0.5)
result = ws.segsentence(doc)
#print result[1:3]
print
' '.join(result);

python 編碼問題

Python編碼問題

python編碼問題

Python編碼問題

python 編碼問題

Python編碼問題

python編碼問題

Python編碼問題

相關推薦