為什麼會報錯「unicodeencodeerror: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)」?本文就來針對編碼進行學習講解下。
字串在python內部的表示是unicode編碼,因此,在做編碼轉換時,通常需要以unicode作為中間編碼,即先將其他編碼的字串解碼(decode)成unicode,再從unicode編碼(encode)成另一種編碼。
decode的作用是將其他編碼的字串轉換成unicode編碼,如str1.decode('gb2312'),表示將gb2312編碼的字串str1轉換成unicode編碼。
encode的作用是將unicode編碼轉換成其他編碼的字串,如str2.encode('gb2312'),表示將unicode編碼的字串str2轉換成gb2312編碼。
因此,轉碼的時候一定要先搞明白,字串str是什麼編碼,然後decode成unicode,然後再encode成其他編碼
需要說明的是**中字串的預設編碼與**檔案本身的編碼一致。
如:s='中文'
如果是在utf8的檔案中,該字串就是utf8編碼,如果是在gb2312的檔案中,則其編碼為gb2312。該情況下,要進行編碼轉換時,則都需 要先用decode方法將其轉換成unicode編碼,再使用encode方法將其轉換成其他編碼。通常,在沒有指定特定的編碼方式時,都是使用的系統默 認編碼建立的**檔案。
如果字串是這樣定義:s=u'中文'
則該字串的編碼就被指定為unicode了,即python的內部編碼,而與**檔案本身的編碼無關。因此,對於這種情況做編碼轉換,只需要直接使用encode方法將其轉換成指定編碼即可。
如果乙個字串已經是unicode了,再進行解碼則將出錯,因此通常要對其編碼方式是否為unicode進行判斷:
isinstance(s, unicode) #用來判斷是否為unicode
需要注意的是用非unicode編碼形式的str來encode會報錯
在某些ide中,字串的輸出總是出現亂碼,甚至錯誤,其實是由於ide的結果輸出控制台自身不能顯示字串的編碼,而不是程式本身的問題。如在ulipad中執行如下**:
s=u"中文"
print s
將最後一句改為:print s.encode('gb2312')
則能正確輸出「中文」兩個字。
若最後一句改為:print s.encode('utf8')
則輸出:\xe4\xb8\xad\xe6\x96\x87,這是控制台資訊輸出視窗按照ascii編碼輸出utf8編碼的字串的結果。
unicode(str,'gb2312')與str.decode('gb2312')是一樣的,都是將gb2312編碼的str轉為unicode編碼
以python編碼問題為例,python是個容易出現編碼問題的語言,需要要了解幾個概念。
首先,要知道encode是 unicode轉換成str。decode是str轉換成unicode。 下文中,u代表unicode型別的變數,s代表str型別的變數。
u.encode('...')基本上總是能成功的,只要你填寫了正確的編碼。
s.decode('...')經常是會出錯的,因為str是什麼「編碼」取決於上下文,當你解碼的時候需要確保s是用什麼編碼的。
=關於#coding=utf8=
當你在py檔案的第一行中,寫了這句話,並確實按照這個編碼儲存了文字的話,那麼這句話有以下幾個功能。
使得詞法分析器能正常運作,對於注釋中的中文不報錯。
對於u"中文"字串,兩個引號中的內容是utf8編碼,然後能正確轉換成unicode
對於"中文"字串道,兩個引號中間的內容是utf8編碼,然後可以正確轉換成其它編碼或unicode了。
python學習 編碼
為了將各種不同的語言都包括在同一的字符集中,滿足國際間的資訊交流國際上制定了unicode字符集。通過使用unicode字符集能夠滿足跨語言的文書處理,有效的避免亂碼產生。用法 在指令碼中新增下面 行之中的乙個 coding utf 8 coding utf 8 注意 假設是在命令列輸出中文,則須要...
Getting Real學習筆記 關於編碼
getting real學習筆記 關於編碼 小巧的軟體 隨著 量的增加,你軟體的複雜度也會隨之增 加,每一次調整和變動的效果都會疊加,所以讓你的程式 盡可能的保持簡潔。那麼抵制這種 複雜化的最好方法就是只做小巧的軟體,它也意味著更少的功 能 更少的 和更少的浪費。小巧的軟體讓你放棄對未來功能的規劃,...
python 學習 unicode 編碼
如果 檔案需要制定編碼格式如utf 8 1.要在檔案開始時寫如下注釋 coding utf 8 2.或則 使用以下 import sys reload sys sys.setdefaultencoding utf 8 說明 unicode支援不同的編碼方式,最著名的的是utf 8.ascii字元 的...