網路接收快取的設計

2022-02-24 05:04:58 字數 4205 閱讀 2099

網路程式,為了提高程式的效能,應儘量減少記憶體的拷貝次數。

以windows iocp為例,complete執行緒在接收到資料後,應該馬上將接收到的資料拷貝到

解包快取,然後立即發起一次新的wsarecv操作。然後再對解包快取執行操作,解析出邏輯

包。通常的方法是將資料拷貝到乙個環形緩衝中,以減少資料的拷貝次數。但在解出乙個資料

包之後,免不了還要將乙個完整的資料報拷貝到另乙個包快取中,再將這個包提交給應用層處理.

本文介紹一種,拼包方式,以避免從解包快取copy資料到邏輯包中.

首先介紹邏輯包的組織結構:

//

rpacket資料可跨越多個buffer

class rpacket

~rpacket()

bool _nil()

rpacket& operator = (const rpacket &other)

return *this;

}char readchar()

short readshort()

long readlong()

float readfloat()

double readdouble()

short readcmd()

const

char* readstring()

unsigned int sizeremain = m_readbuf->m_bufsize - m_readpos;//

當前buf還有多少有效資料

char *str;

if(sizeremain >= strlen)

else

str = &m_binbuffer[m_binbufferpos];

unsigned int copysize = sizeremain;

memcpy(&m_readbuf->m_buf[m_readpos],&m_binbuffer[m_binbufferpos],copysize);

m_readbuf = m_readbuf->m_next;

m_readpos = 0;

m_binbufferpos += copysize;

copysize = strlen - copysize;

memcpy(&m_readbuf->m_buf[m_readpos],&m_binbuffer[m_binbufferpos],copysize);

m_readpos += copysize;

}m_dataremain -= strlen;

arrange();

return str;

}const

void* readbinary(unsigned short &len)

if(m_dataremain < len)

return

0;//

應提示錯誤,可能讀包順序與發包不一致了

void *bin;

unsigned int sizeremain = m_readbuf->m_bufsize - m_readpos;//

當前buf還有多少有效資料

if(sizeremain >= len)

else

bin = &m_binbuffer[m_binbufferpos];

unsigned int copysize = sizeremain;

memcpy(&m_readbuf->m_buf[m_readpos],&m_binbuffer[m_binbufferpos],copysize);

m_readbuf = m_readbuf->m_next;

m_readpos = 0;

m_binbufferpos += copysize;

copysize = len - copysize;

memcpy(&m_readbuf->m_buf[m_readpos],&m_binbuffer[m_binbufferpos],copysize);

m_readpos += copysize;

}m_dataremain -= len;

arrange();

return bin;

}private:

template

t read()

else

m_dataremain -= typesize;

arrange();

return ret;

}rpacket(rptr&buf,unsigned short head)

:m_buf(buf),m_readbuf(buf),m_head(head),m_readpos(head+sizeoflen+cmdlen)

,m_len(0),m_dataremain(0),m_binbuffer(0),m_binbufferpos(0)

}void arrange()

}private:

unsigned short m_readpos;

unsigned short m_head; //

在buf中的起始下標

unsigned short m_len; //

packet的總長度

unsigned short m_dataremain;

//////

//用於處理readstring,和readbin時資料跨越buffer的情況

char * m_binbuffer;

unsigned short m_binbufferpos;

//////

//rptrm_readbuf;//

當前readpos所在的buf

rptrm_buf;//

存放packet的資料,可能由一組m_buf構成鍊錶

};

如**所示,資料存放在由m_buf組成的list中,m_head表明屬於本rpacket的資料在m_buf中的起始位置.

乙個buf塊的大小為65535位元組。如果包的長度不大,則n個rpacket可以共享同乙個buf,如果rpacket的資料

大於65535,則乙個rpacket的資料則可能會使用超過一塊buf。由同乙個套介面收到的所有rpacket,其實際資料

被乙個buf煉錶鏈接著。

buf由基於引用計數的指標指向,當引用同乙個buf塊的rpacket都被釋放之後,buf也將會被釋放。

下面介紹資料接收和解包處理過程:

bool connection::recv()

unsigned short bufcount = 0;

unsigned short recvsize = max_packet_size;

unsigned short freebufsize = m_currecvbuf->m_bufsize - m_writepos;

m_wrecvbuf[bufcount].buf = &m_currecvbuf->m_buf[m_writepos];

m_wrecvbuf[bufcount].len = freebufsize;

recvsize -= freebufsize;

if(recvsize > 0)

}else

m_totaldatasize += dwbytestransfered;

//recv();

}rpacket connection::unpack()

if(m_totaldatasize < packetlen)

return rpacket(rptr(0),0);//

沒有足夠的資料

//ok,資料充足,返回封包

rpacket rpk(m_head,(unsigned short)m_pos);

m_totaldatasize -= packetlen;

//調整m_head和m_pos

m_pos += packetlen;

while(m_pos >= max_packet_size)

else

m_pos -= max_packet_size;

}return rpk;

}

完成例程在onrecvcomplete中,

把接收到的資料拷貝到buf鍊錶中,馬上啟動新的recv操作.

後續的解包過程是unpack函式,其作用就是將buf鍊錶中的資料解包,並將rpacket返回以**用

層處理,從**中可以看出,解包過程是沒有資料拷貝的,只需要正確設定rpacket中的字段就可以了.

網路接收快取的設計

網路程式,為了提高程式的效能,應儘量減少記憶體的拷貝次數。以windows iocp為例,complete執行緒在接收到資料後,應該馬上將接收到的資料拷貝到 解包快取,然後立即發起一次新的wsarecv操作。然後再對解包快取執行操作,解析出邏輯 包。通常的方法是將資料拷貝到乙個環形緩衝中,以減少資料...

快取 網路中的快取。

網路中的快取位於客戶端和服務端之間,或響應客戶端的網路請求,從而對重複的請求返回快取中的資料資源。同時,接受服務端的請求,更新快取中的內容。web 幾乎是伴隨著網際網路誕生的,常用的web 分為正向 反向 和透明 web 是將web 作為快取的一種技術。一般情況下,web 預設說的是正向 如下圖所示...

網路接收流程描述

在2.6.24.4中所有的網絡卡,不管是否支援napi,都是通過struct napi struct結構進行。所有我們先說一下這個結果。struct napi struct 對應支援napi的網絡卡,自己填充這個結構體 而非napi網絡卡,則使用per cpu的softnet data backlo...