Python字元編碼轉碼之GBK,UTF8互轉

1、須知：

在pythonwww.cppcns.com 2中預設編碼是 ascii，而在python 3中預設編碼是 unicode

unicode 分為utf-32 (佔4個位元組),utf-16(佔兩個位元組)，utf-8(佔1-4個位元組)，所以utf-16 是最常用的unicode版本，但是在檔案裡存的還是utf-8，因為utf8省空間

在python 3,encode編碼的同時會把stringl變成bytes型別，decode解碼的同時會把bytes型別變成string型別

在unicode編碼中 1個中文字元=2個位元組，1個英文本元 = 1個位元組，切記：ascii是不能存中文字元的

utf-8是可變長字元編碼,它是unicode的優化，所有的英文本元依然按ascii形式儲存，所有的中文字元統一是3個位元組

unicode包含了所有國家的字元編碼，不同字元編碼之間的轉換都需要經過unicode的過程

python本身的預設編碼是utf-8

2、py2中的編碼和轉碼的過程，如圖：

注：因為unicode是中間編碼，任何字元編碼之前的轉換都必須解碼成unicode，在編碼成需要轉的字元編碼

1、py2字元編碼的轉換，**如下：

#! /usr/bin/env python

# -*- coding:utf-8 -*-

# __auther__ == luoahong

s = "我是學員"

#utf-8解碼成unicode編碼

s_to_unicode = s.decode("utf-8")

print("--------s_to_unicode-----")

print(s_to_unicode)

#然後unicode再編碼成gbk

s_to_gbk = s_to_unicode.encode("gbk")

print("-----s_to_gbk------")

print(s_to_gbk)

#gbk解碼成unicode再編碼成utf-8

gbk_to_utf8 = s_to_gbk.decode("gbk").encode("utf-8")

print("------gbk_to_utf8-----")

print(gbk_to_utf8)

#輸出--------s_to_unicode-----

我是學員

-----s_to_gbk------

��˧

------gbk_to_utf8-----

我是學員

注：以上這種情況適合字元是非unicode編碼請款下，但是如果字元編碼已經是unicode的了咋辦呢？廣告回來，更加精彩。。。。。

2、字元編碼已經是unicode情況下，**如下：

#! /usr/bin/env python

# -*- coding:utf-8 -*-

# __auther__ == luoahong

#u**字元編碼是unicode

s = u'你好cfbkczb'

#已經是unicode，所以這邊直接是編碼成gbk

s_to_gbk = s.encode("gbk")

print("----s_to_gbk----")

print(s_to_gbk)

#這邊再解碼成unicode然後再編碼成utf-8

gbk_to_utf8 = s_to_gbk.decode("gbk").encode("utf-8")

print("-----gbk_to_utf8---")

print(gbk_to_utf8)

#輸出----s_to_gbk----

��a程式設計客棧533;

-----gbk_to_utf8---

你好注：在python2中，在檔案的開頭指定字元編碼，是要告訴直譯器我現在的字元編碼使用的是utf-8，那我在列印的中文時候，那麼在utf-8中包含中文字元，那麼可以列印出來。那麼如果你不制定字元編碼，預設使用系統編碼，如果你的系統編碼是ascii，那麼就會報錯，因為ascii不能存中文字元。

3、py3的字元編碼轉換

在須知中已經說到python 3的編碼，預設是unicode，所以字元編碼之間的轉換不需要decode過程，直接encode即可，**如下：

#! /usr/bin/env python

# __auther__ == luoahong

#無需宣告字元編碼，當然你宣告也不會報錯

s = '你好'

# 字串s已經是unicode編碼，無需decode,直接encode

s_to_gbk = s.encode("gbk")

print("----s_to_gbk----")

print(s_to_gbk)

#這邊還是一樣，gbk需要先解碼成unicode，再編碼成utf-8

gbk_to_utf8 = s_to_gbk.decode("gbk").encode("utf-8")

print("-----gbk_to_utf8---")

print(gbk_to_utf8)

#解碼成unicode字元編碼

utf8_decode = gbk_to_utf8.decode("utf-8")

print("-------utf8_decode----")

print(utf8_decode)

www.cppcns.com

#輸出----s_to_gbk----

b'\xc4\xe3\xba\xc3'

-----gbk_to_utf8---

b'\xe4\xbd\xa0\xe5\xa5\xbd'

-------utf8_decode----

你好注：在python 3,encode編碼的同時會把stringl變成bytes型別，decode解碼的同時會把bytes型別變成string型別，所以你就不難看出encode後的把它變成了乙個bytes型別的資料。還有需要特別注意的是：不管是否在python 3的檔案開頭申明字元編碼，只能表示，這個python檔案是這個字元編碼，檔案中的字串還是unicode，如下圖：

1、uniocode能識別所有字元編碼的字串

2、在python 2中，字元編碼之間的轉化需要通過unicode才能轉換，所以列印時，可以是使用unicode，也可以使用對應的字元編碼(檔案開頭指定編碼)，列印字元或者字串，因為py2中沒有對字元和位元組做明顯區分，所以才混導致這樣的結果。

3、在python 3中，只有通過unicode去識別字元的，如果轉成編碼成對應編碼格式了，就直接變成對應編碼的bytes型別的位元組碼，也就是二進位制，需要識別，必須解碼成unicode才能識別

Python字元編碼轉碼之GBK,UTF8互轉

python字元編碼與轉碼

python（字元編碼與轉碼）

Python基礎知識之字元編碼與轉碼

Python字元編碼轉碼之GBK,UTF8互轉

python字元編碼與轉碼

python（字元編碼與轉碼）

Python基礎知識之字元編碼與轉碼

相關推薦