平時在面試中你肯定會經常碰見的問題就是:rocketmq為什麼快?kafka為什麼快?什麼是mmap?
這一類的問題都逃不過的乙個點就是零拷貝,雖然還有一些其他的原因,但是今天我們的話題主要就是零拷貝。
在開始談零拷貝之前,首先要對傳統的io方式有乙個概念。
基於傳統的io方式,底層實際上通過呼叫read()
和write()
來實現。
通過read()
把資料從硬碟讀取到核心緩衝區,再複製到使用者緩衝區;然後再通過write()
寫入到socket緩衝區
,最後寫入網絡卡裝置。
使用者程序通過read()
方法向作業系統發起呼叫,此時上下文從使用者態轉向核心態
dma控制器把資料從硬碟中拷貝到讀緩衝區
cpu把讀緩衝區資料拷貝到應用緩衝區,上下文從核心態轉為使用者態,read()
返回
使用者程序通過write()
方法發起呼叫,上下文從使用者態轉為核心態
cpu將應用緩衝區中資料拷貝到socket緩衝區
dma控制器把資料從socket緩衝區拷貝到網絡卡,上下文從核心態切換回使用者態,write()
返回
那麼,這裡指的使用者態、核心態指的是什麼?上下文切換又是什麼?
簡單來說,使用者空間指的就是使用者程序的執行空間,核心空間就是核心的執行空間。
如果程序執行在核心空間就是核心態,執行在使用者空間就是使用者態。
為了安全起見,他們之間是互相隔離的,而在使用者態和核心態之間的上下文切換也是比較耗時的。
從上面我們可以看到,一次簡單的io過程產生了4次上下文切換,這個無疑在高併發場景下會對效能產生較大的影響。
那麼什麼又是dma拷貝呢?
因為對於乙個io操作而言,都是通過cpu發出對應的指令來完成,但是相比cpu來說,io的速度太慢了,cpu有大量的時間處於等待io的狀態。
因此就產生了dma(direct memory access)直接記憶體訪問技術,本質上來說他就是一塊主機板上獨立的晶元,通過它來進行記憶體和io裝置的資料傳輸,從而減少cpu的等待時間。
但是無論誰來拷貝,頻繁的拷貝耗時也是對效能的影響。
零拷貝技術是指計算機執行操作時,cpu不需要先將資料從某處記憶體複製到另乙個特定區域,這種技術通常用於通過網路傳輸檔案時節省cpu週期和記憶體頻寬。那麼對於零拷貝而言,並非真的是完全沒有資料拷貝的過程,只不過是減少使用者態和核心態的切換次數以及cpu拷貝的次數。
這裡,僅僅有針對性的來談談幾種常見的零拷貝技術。
mmap+write簡單來說就是使用mmap
替換了read+write中的read操作,減少了一次cpu的拷貝。
mmap
主要實現方式是將讀緩衝區的位址和使用者緩衝區的位址進行對映,核心緩衝區和應用緩衝區共享,從而減少了從讀緩衝區到使用者緩衝區的一次cpu拷貝。
使用者程序通過mmap()
方法向作業系統發起呼叫,上下文從使用者態轉向核心態
dma控制器把資料從硬碟中拷貝到讀緩衝區
上下文從核心態轉為使用者態,mmap呼叫返回
使用者程序通過write()
方法發起呼叫,上下文從使用者態轉為核心態
cpu將讀緩衝區中資料拷貝到socket緩衝區
dma控制器把資料從socket緩衝區拷貝到網絡卡,上下文從核心態切換回使用者態,write()
返回
mmap
的方式節省了一次cpu拷貝,同時由於使用者程序中的記憶體是虛擬的,只是對映到核心的讀緩衝區,所以可以節省一半的記憶體空間,比較適合大檔案的傳輸。
相比mmap
來說,sendfile
同樣減少了一次cpu拷貝,而且還減少了2次上下文切換。
sendfile
是linux2.1核心版本後引入的乙個系統呼叫函式,通過使用sendfile
資料可以直接在核心空間進行傳輸,因此避免了使用者空間和核心空間的拷貝,同時由於使用sendfile
替代了read+write
從而節省了一次系統呼叫,也就是2次上下文切換。
使用者程序通過sendfile()
方法向作業系統發起呼叫,上下文從使用者態轉向核心態
dma控制器把資料從硬碟中拷貝到讀緩衝區
cpu將讀緩衝區中資料拷貝到socket緩衝區
dma控制器把資料從socket緩衝區拷貝到網絡卡,上下文從核心態切換回使用者態,sendfile
呼叫返回
sendfile
方法io資料對使用者空間完全不可見,所以只能適用於完全不需要使用者空間處理的情況,比如靜態檔案伺服器。
linux2.4核心版本之後對sendfile
做了進一步優化,通過引入新的硬體支援,這個方式叫做dma scatter/gather 分散/收集功能。
它將讀緩衝區中的資料描述資訊--記憶體位址和偏移量記錄到socket緩衝區,由 dma 根據這些將資料從讀緩衝區拷貝到網絡卡,相比之前版本減少了一次cpu拷貝的過程
整個過程發生了2次使用者態和核心態的上下文切換和2次拷貝,其中更重要的是完全沒有cpu拷貝,具體流程如下:
使用者程序通過sendfile()
方法向作業系統發起呼叫,上下文從使用者態轉向核心態
dma控制器利用scatter把資料從硬碟中拷貝到讀緩衝區離散儲存
cpu把讀緩衝區中的檔案描述符和資料長度傳送到socket緩衝區
dma控制器根據檔案描述符和資料長度,使用scatter/gather把資料從核心緩衝區拷貝到網絡卡
sendfile()
呼叫返回,上下文從核心態切換回使用者態
dma gather
和sendfile
一樣資料對使用者空間不可見,而且需要硬體支援,同時輸入檔案描述符只能是檔案,但是過程中完全沒有cpu拷貝過程,極大提公升了效能。
對於mq而言,無非就是生產者傳送資料到mq然後持久化到磁碟,之後消費者從mq讀取資料。
對於rocketmq來說這兩個步驟使用的是mmap+write
,而kafka則是使用mmap+write
持久化資料,傳送資料使用sendfile
。
由於cpu和io速度的差異問題,產生了dma技術,通過dma搬運來減少cpu的等待時間。
傳統的ioread+write
方式會產生2次dma拷貝+2次cpu拷貝,同時有4次上下文切換。
而通過mmap+write
方式則產生2次dma拷貝+1次cpu拷貝,4次上下文切換,通過記憶體對映減少了一次cpu拷貝,可以減少記憶體使用,適合大檔案的傳輸。
sendfile
方式是新增的乙個系統呼叫函式,產生2次dma拷貝+1次cpu拷貝,但是只有2次上下文切換。因為只有一次呼叫,減少了上下文的切換,但是使用者空間對io資料不可見,適用於靜態檔案伺服器。
sendfile+dma gather
方式產生2次dma拷貝,沒有cpu拷貝,而且也只有2次上下文切換。雖然極大地提公升了效能,但是需要依賴新的硬體裝置支援。
阿里前端一面二面三面經歷(2019 8 23)
面試 筆試一共半小時吧,沒怎麼問問題 一 es6相關問題 symbol 模板字串 iterator proxy 答案 二 筆試 underscore的方法includes和get原始碼 簡潔版 如下 1.判斷乙個陣列array在fromindex之後是否含有value值,function inclu...
二 什麼是IBeamMDAA
正確翻譯為 游標多層分布式應用架構。ibeam 即英文i beam,beam原義是一束光,i beam原義指 計算機互動介面的游標 i 俗稱 工 字樑游標,當我們把滑鼠指標指向輸入框時,滑鼠從 變為 昆明游標科技 在翻譯時取名為 kunming ibeam technology co.ltd 一方面...
什麼是Handler 二
2.threadlocal初步介紹 3.handler相關 執行流程 吧2.threadlocal初步介紹 回顧 12 class looperthread extends thread 12 13 14 looper.loop 15 16 looper thread handler一一對應,乙個l...