iconv 轉碼程式設計簡介

2021-04-30 13:59:54 字數 2969 閱讀 3996

glibc帶了一套轉碼函式iconv,使用方便,可識別的碼很多,如果程式需要涉及到編碼之間的轉換,可考慮用它。

iconv命令的用法。

$ iconv --list # 顯示可識別的編碼名稱

$ iconv -f gb2312 -t utf-8 a.html > b.html # 轉換gb2312編碼的檔案a.html為utf-8編碼,存入b.html

$ iconv -f gb2312 -t big5 a.html > b.html # 轉換gb2312編碼的檔案a.html為big5編碼,存入b.html

iconv程式設計涉及到以下glibc庫的呼叫:

#include 

iconv_t iconv_open(const char *tocode, const char *fromcode);

int iconv_close(iconv_t cd);

size_t iconv(iconv_t cd,

char **inbuf, size_t *inbytesleft,

char **outbuf, size_t *outbytesleft);

在使用iconv轉碼的時候,首先用iconv_open獲取轉碼控制代碼,然後呼叫iconv轉碼,轉完了後呼叫iconv_close關閉控制代碼。

iconv函式中:

引數cd是用iconv_open呼叫返回的轉碼控制代碼;

引數inbuf指向需要轉碼的緩衝區;

引數inbytesleft是inbuf所儲存的需要轉碼的位元組數;

引數outbuf存放轉碼結果;

引數outbytesleft存放outbuf空間的大小。

如果呼叫成功,iconv返回轉換的位元組數(不可逆轉呼叫的位元組數,可逆轉呼叫的位元組數不包括在內)。否則返回-1,並設定相應的errno。

iconv逐步掃瞄inbuf,每轉換乙個字元,就增加inbuf,減少inbytesleft,並將結果存入outbuf,結果位元組數存入outbytesleft。遇到下列情況將停止掃瞄並返回:

1. 多位元組序列無效,這時候errno為eilseq,*inbuf指向第乙個無效的字元;

2. 有位元組留在inbuf尚未轉換,errno為einval;

3. outbuf空間不夠,errno為e2big;

4. 正常轉換完備。

對於iconv函式,還有兩種呼叫情況:

1. inbuf或者*inbuf為null,outbuf和*outbuf不為null,iconv會設定轉換狀態為初始狀態,並儲存轉換序列到*outbuf。如果outbuf空間不足,errno會設定為e2big,返回(size_t)(-1);

2. inbuf或者*inbuf為null,outbuf或者*outbuf也為null,iconv設定轉換狀態為初始狀態。

iconv命令的使用固然方便,可是如果轉換過程中如果遇到問題則會停止轉換,有時候我們希望跳過不能轉換的位元組序列繼續轉換。以下的一段程式能實現這種功能。

/**

* siconv.cpp - a ****** way to demostrate the usage of iconv calling

** report bugs to [email protected]

* july 15th, 2006

*/#include

#include

#include

#include

#include

#include

#include

#include

#include

#ifdef debug

#define trace(fmt, args...) fprintf(stderr, "%s:%s:%d:"fmt, /

__file__, __function__, __line__, ##args)

#else

#define trace(fmt, args...)

#endif

#define convbuf_size 32767

extern int errno;

void print_err(const char *fmt, ...)

int print_out(const char* buf, size_t num)

return 0;

}void print_usage()

int conv_file_fd(const char* from, const char *to, int fd,

::std::string& result, int c)

start = mmap(null, st.st_size, prot_read, map_shared, fd, 0);

if (map_failed == start)

if (iconv_string(from, to, (char*)start,

st.st_size, result, c, convbuf_size) < 0)

munmap(start, st.st_size);

return 0;

}int conv_file(const char* from, const char* to,

const char* filename, int c)

if (conv_file_fd(from, to, fileno(fp), result, c) < 0)

print_out(result.data(), result.size());

fclose(fp);

return 0;}

可以用記憶體映像檔案解決檔案太大記憶體緩衝不夠的情況。相對於iconv命令,加-c選項,以忽略轉換過程中可能引發的問題。

$ g++ -o siconv siconv.cpp

如果在命令列加了-ddebug選項,會編譯進除錯語句,如果加了-dtestcase選項,則僅會編譯對iconv_string函式測試的情況。

iconv 轉碼程式設計簡介

glibc帶了一套轉碼函式iconv,使用方便,可識別的碼很多,如果程式需要涉及到編碼之間的轉換,可考慮用它。iconv命令的用法。iconv list 顯示可識別的編碼名稱 iconv f gb2312 t utf 8 a.html b.html 轉換gb2312編碼的檔案a.html為utf 8...

iconv 函式轉碼

1.iconv 函式用於轉換不同的字元編碼。使用流程 iconv open iconv iconv close 2.在將 windows 1252 轉 utf 8 時,有些字元轉碼報錯 illegal byte sequence 原因是 windows 1252 中有些字元在 utf 8 中找不到對...

Socket 程式設計簡介

linux 公報 讓linux更富魅力!譯者 小牟 大多數的網路應用程式可以分成兩部分 客戶端和伺服器端。建立乙個socket include include當建立乙個socket時需要指定三個主要的引數 int socket int domain,int type,int protocol 域引數...