網路程式,為了提高程式的效能,應儘量減少記憶體的拷貝次數。
以windows iocp為例,complete執行緒在接收到資料後,應該馬上將接收到的資料拷貝到
解包快取,然後立即發起一次新的wsarecv操作。然後再對解包快取執行操作,解析出邏輯
包。通常的方法是將資料拷貝到乙個環形緩衝中,以減少資料的拷貝次數。但在解出乙個資料
包之後,免不了還要將乙個完整的資料報拷貝到另乙個包快取中,再將這個包提交給應用層處理.
本文介紹一種,拼包方式,以避免從解包快取copy資料到邏輯包中.
首先介紹邏輯包的組織結構:
//rpacket資料可跨越多個buffer
class rpacket
~rpacket()
bool _nil()
rpacket& operator = (const rpacket &other)
return *this;
}char readchar()
short readshort()
long readlong()
float readfloat()
double readdouble()
short readcmd()
const
char* readstring()
unsigned int sizeremain = m_readbuf->m_bufsize - m_readpos;//
當前buf還有多少有效資料
char *str;
if(sizeremain >= strlen)
else
str = &m_binbuffer[m_binbufferpos];
unsigned int copysize = sizeremain;
memcpy(&m_readbuf->m_buf[m_readpos],&m_binbuffer[m_binbufferpos],copysize);
m_readbuf = m_readbuf->m_next;
m_readpos = 0;
m_binbufferpos += copysize;
copysize = strlen - copysize;
memcpy(&m_readbuf->m_buf[m_readpos],&m_binbuffer[m_binbufferpos],copysize);
m_readpos += copysize;
}m_dataremain -= strlen;
arrange();
return str;
}const
void* readbinary(unsigned short &len)
if(m_dataremain < len)
return
0;//
應提示錯誤,可能讀包順序與發包不一致了
void *bin;
unsigned int sizeremain = m_readbuf->m_bufsize - m_readpos;//
當前buf還有多少有效資料
if(sizeremain >= len)
else
bin = &m_binbuffer[m_binbufferpos];
unsigned int copysize = sizeremain;
memcpy(&m_readbuf->m_buf[m_readpos],&m_binbuffer[m_binbufferpos],copysize);
m_readbuf = m_readbuf->m_next;
m_readpos = 0;
m_binbufferpos += copysize;
copysize = len - copysize;
memcpy(&m_readbuf->m_buf[m_readpos],&m_binbuffer[m_binbufferpos],copysize);
m_readpos += copysize;
}m_dataremain -= len;
arrange();
return bin;
}private:
template
t read()
else
m_dataremain -= typesize;
arrange();
return ret;
}rpacket(rptr&buf,unsigned short head)
:m_buf(buf),m_readbuf(buf),m_head(head),m_readpos(head+sizeoflen+cmdlen)
,m_len(0),m_dataremain(0),m_binbuffer(0),m_binbufferpos(0)
}void arrange()
}private:
unsigned short m_readpos;
unsigned short m_head; //
在buf中的起始下標
unsigned short m_len; //
packet的總長度
unsigned short m_dataremain;
//////
//用於處理readstring,和readbin時資料跨越buffer的情況
char * m_binbuffer;
unsigned short m_binbufferpos;
//////
//rptrm_readbuf;//
當前readpos所在的buf
rptrm_buf;//
存放packet的資料,可能由一組m_buf構成鍊錶
};
如**所示,資料存放在由m_buf組成的list中,m_head表明屬於本rpacket的資料在m_buf中的起始位置.
乙個buf塊的大小為65535位元組。如果包的長度不大,則n個rpacket可以共享同乙個buf,如果rpacket的資料
大於65535,則乙個rpacket的資料則可能會使用超過一塊buf。由同乙個套介面收到的所有rpacket,其實際資料
被乙個buf煉錶鏈接著。
buf由基於引用計數的指標指向,當引用同乙個buf塊的rpacket都被釋放之後,buf也將會被釋放。
下面介紹資料接收和解包處理過程:
bool connection::recv()unsigned short bufcount = 0;
unsigned short recvsize = max_packet_size;
unsigned short freebufsize = m_currecvbuf->m_bufsize - m_writepos;
m_wrecvbuf[bufcount].buf = &m_currecvbuf->m_buf[m_writepos];
m_wrecvbuf[bufcount].len = freebufsize;
recvsize -= freebufsize;
if(recvsize > 0)
}else
m_totaldatasize += dwbytestransfered;
//recv();
}rpacket connection::unpack()
if(m_totaldatasize < packetlen)
return rpacket(rptr(0),0);//
沒有足夠的資料
//ok,資料充足,返回封包
rpacket rpk(m_head,(unsigned short)m_pos);
m_totaldatasize -= packetlen;
//調整m_head和m_pos
m_pos += packetlen;
while(m_pos >= max_packet_size)
else
m_pos -= max_packet_size;
}return rpk;
}
完成例程在onrecvcomplete中,
把接收到的資料拷貝到buf鍊錶中,馬上啟動新的recv操作.
後續的解包過程是unpack函式,其作用就是將buf鍊錶中的資料解包,並將rpacket返回以**用
層處理,從**中可以看出,解包過程是沒有資料拷貝的,只需要正確設定rpacket中的字段就可以了.
網路接收快取的設計
網路程式,為了提高程式的效能,應儘量減少記憶體的拷貝次數。以windows iocp為例,complete執行緒在接收到資料後,應該馬上將接收到的資料拷貝到 解包快取,然後立即發起一次新的wsarecv操作。然後再對解包快取執行操作,解析出邏輯 包。通常的方法是將資料拷貝到乙個環形緩衝中,以減少資料...
快取 網路中的快取。
網路中的快取位於客戶端和服務端之間,或響應客戶端的網路請求,從而對重複的請求返回快取中的資料資源。同時,接受服務端的請求,更新快取中的內容。web 幾乎是伴隨著網際網路誕生的,常用的web 分為正向 反向 和透明 web 是將web 作為快取的一種技術。一般情況下,web 預設說的是正向 如下圖所示...
網路接收流程描述
在2.6.24.4中所有的網絡卡,不管是否支援napi,都是通過struct napi struct結構進行。所有我們先說一下這個結果。struct napi struct 對應支援napi的網絡卡,自己填充這個結構體 而非napi網絡卡,則使用per cpu的softnet data backlo...