由於常常要和漢字處理打交道，因此，我常常受到漢字編碼問題的困擾。在不斷的打擊與堅持中，也積累了一點漢字編碼方面的經驗，想和大家一起分享。
一、漢字編碼的種類
漢字編碼中現在主要用到的有三類，包括gbk，gb2312和big5。
1、gb2312又稱國標碼，由國家標準總局發布，2023年5月1日實施，通行於大陸。新加坡等地也使用此編碼。它是乙個簡化字的編碼規範，當然也包括其他的符號、字母、日文假名等，共7445個圖形字元，其中漢字佔6763個。我們平時說6768個漢字，實際上裡邊有5個編碼為空白，所以總共有6763個漢字。
gb2312規定「對任意乙個圖形字元都採用兩個位元組表示，每個位元組均採用七位編碼表示」，習慣上稱第乙個位元組為「高位元組」，第二個位元組為「低位元組」。gb2312中漢字的編碼範圍為，第一位元組0xb0-0xf7(對應十進位制為176-247)，第二個位元組0xa0-0xfe（對應十進位制為160-254）。
gb2312將**表分為94個區，對應第一位元組（0xa1-0xfe）；每個區94個位（0xa1-0xfe），對應第二位元組，兩個位元組的值分別為區號值和位號值加32（2oh），因此也稱為區位碼。01-09區為符號、數字區，16-87區為漢字區（0xb0-0xf7），10-15區、88-94區是有待進一步標準化的空白區。
2、big5又稱大五碼，主要為香港與台灣使用，即是乙個繁體字編碼。每個漢字由兩個位元組構成，第乙個位元組的範圍從0x81－0xfe（即129-255），共126種。第二個位元組的範圍不連續，分別為0x40－0x7e（即64-126），0xa1－0xfe（即161-254），共157種。
3、gbk是gb2312的擴充套件，是向上相容的，因此gb2312中的漢字的編碼與gbk中漢字的相同。另外，gbk中還包含繁體字的編碼，它與big5編碼之間的關係我還沒有弄明白，好像是不一致的。gbk中每個漢字仍然包含兩個位元組，第乙個位元組的範圍是0x81-0xfe（即129-254），第二個位元組的範圍是0x40-0xfe（即64-254）。gbk中有碼位23940個，包含漢字21003個。
表1漢字編碼範圍
名稱第一位元組
第二位元組
gb2312
0xb0-0xf7(176-247)
0xa0-0xfe（160-254）
gbk0x81-0xfe（129-254）
0x40-0xfe（64-254）
big5
0x81-0xfe（129-255）
0x40-0x7e（64-126）
0xa1－0xfe（161-254）
二、對漢字進行hash
為了處理漢字的方便，在查詢漢字的時候，我們通常會用到hash的方法，那怎麼來確定乙個漢字位置呢？這就和每種編碼的排列有關了，這裡主要給出一種hash函式的策略。
對於gb2312編碼，設輸入的漢字為gbword，我們可以採用公式(c1-176)*94 + (c2-161)確定gbindex。其中，c1表示第一位元組，c2表示第二位元組。具體如下：
gbindex = ((unsigned char)gbword.at(0)-176)*94 + (unsigned char)gbword.at(1) - 161;
之所以用unsigned char型別，是因為char是乙個位元組，如果用unsigend int，因為int是4個位元組的，所以會造成擴充套件，導致錯誤。
對於gbk編碼，設輸入的漢字為gbkword，則可以採用公式index=(ch1-0x81)*190+(ch2-0x40)-(ch2/128)，其中ch1是第一位元組，ch2是第二位元組。
具體的，
gbkindex = ((unsigned char)gbkword[0]-129)*190 +
((unsigned char)gbkword[1]-64) - (unsigned char)gbkword[1]/128;
三、怎樣判斷乙個漢字的是什麼編碼
直接根據漢字的編碼範圍判斷，對於gb2312和gbk可用下面兩個程式實現。
1、判斷是否是gb2312
bool isgbcode(const string& strin)
else return false;
}2、判斷是否是gbk編碼
bool isgbkcode(const string& strin)
else return false;
}3、對於big5
它的範圍為：高位元組從0xa0到0xfe，低位元組從0x40到0x7e，和0xa1到0xfe兩部分。判斷乙個漢字是否是big5編碼，可以如上對字元的編碼範圍判斷即可。如何定位呢？那麼也想象所有編碼排列為乙個二維座標，縱座標是高位元組，橫座標是低位元組。這樣一行上的漢字個數：(0x7e-0x40+1)+(0xfe-0xa1+1)＝157。那麼定位演算法分兩塊，為:
if 0x40<=ch2<=0x7e: #is big5 char
index=((ch1-0xa1)*157+(ch2-0x40))*2
elif 0xa1<=ch2<=0xfe: #is big5 char
index=((ch1-0xa1)*157+(ch2-0xa1+63))*2
對於第二塊，計算偏移量時因為有兩塊數值，所以在計算後面一段值時，不要忘了前面還有一段值。0x7e-0x40+1=63。
四、如果判斷乙個字元是西文字元還是中文字元
大家知道西文字元主要是指ascii碼，它用乙個位元組表示。且這個字元轉換成數字之後，該數字是大於0的，而漢字是兩個位元組的，第乙個位元組的轉化為數字之後應該是小於0的，因此可以根據每個位元組轉化為數字之後是否小於0，判斷它是否是漢字。
例如，設輸入字為strin，則，
if (strin.at(0) < 0)
cout << 」是漢字」 << endl;
else cout << 」不是漢字」 << endl;
漢字編碼問題
漢字編碼問題 由於常常要和漢字處理打交道，因此，我常常受到漢字編碼問題的困擾。在不斷的打擊與堅持中，也積累了一點漢字編碼方面的經驗，想和大家一起分享。一 漢字編碼的種類 漢字編碼中現在主要用到的有三類，包括gbk，gb2312和big5。1 gb2312又稱國標碼，由國家標準總局發布，1981年5月...
漢字編碼問題
漢字編碼問題 由於常常要和漢字處理打交道，因此，我常常受到漢字編碼問題的困擾。在不斷的打擊與堅持中，也積累了一點漢字編碼方面的經驗，想和大家一起分享。一 漢字編碼的種類 漢字編碼中現在主要用到的有三類，包括gbk，gb2312和big5。1 gb2312又稱國標碼，由國家標準總局發布，1981年5月...
漢字編碼問題
由於常常要和漢字處理打交道，因此，我常常受到漢字編碼問題的困擾。在不斷的打擊與堅持中，也積累了一點漢字編碼方面的經驗，想和大家一起分享。一 漢字編碼的種類 漢字編碼中現在主要用到的有三類，包括gbk，gb2312和big5。1 gb2312又稱國標碼，由國家標準總局發布，1981年5 月1日實施，通...