kafka 6 kafka快速讀取解析

總結補充：關於零拷貝記憶體中有幾分buffer

kafka作為訊息中介軟體，雖然是基於磁碟做資料儲存。但是有高效能、高吞吐、低延遲等特點。

磁碟順序讀寫效能高於記憶體的隨機讀寫

kafka將訊息記錄持久化到磁碟，有新訊息時，通過不斷追加的方式將message追加到檔案磁碟末尾

kafka利用了作業系統本身的 page cache，即利用的是作業系統自身的記憶體而不是jvm空間記憶體，這樣做主要有以下兩點好處

零拷貝只減少不必要的拷貝次數。通常是減少io讀寫過程中的拷貝次數。

零拷貝主要減少兩部分的開銷：

比如：讀取檔案，再用socket傳送出去

傳統方式實現：

先讀取、再傳送，實際經過1~4四次copy。

buffer = file.read

socket.send(buffer)

實際上並不需要傳統io方式的第二個和第三個資料副本。應用程式除了快取資料並將其傳輸回套接字緩衝區之外什麼都不做。相反，資料可以直接從讀緩衝區傳輸到套接字緩衝區。

顯然，第二次和第三次資料copy 其實在這種場景下沒有什麼幫助反而帶來開銷，這也正是零拷貝出現的意義。

這種場景：是指讀取磁碟檔案後，不需要做其他處理，直接用網路傳送出去。試想，如果讀取磁碟的資料需要用程式進一步處理的話，必須要經過第二次和第三次資料copy，讓應用程式在記憶體緩衝區處理。

此時我們會發現使用者態「空空如也」。資料沒有來到使用者態，而是直接在核心態就進行了傳輸，但這樣依然還是有多次複製。首先資料被讀取到read buffer中，然後發到socket buffer，最後才發到網絡卡。雖然減少了使用者態和核心態的切換，但依然存在多次資料複製。

如果可以進一步減少資料複製的次數，甚至沒有資料複製是不是就會做到最快呢？

dmadma，全稱叫direct memory access，一種可讓某些硬體子系統去直接訪問系統主記憶體，而不用依賴cpu的計算機系統的功能。聽著是不是很厲害，跳過cpu，直接訪問主記憶體。傳統的記憶體訪問都需要通過cpu的排程來完成。如下圖：

dma，則可以繞過cpu，硬體自己去直接訪問系統主記憶體。如下圖

kafka採用

分割槽分段設計

索引方面的優化

批量讀寫資料

從而使kafka有了高效能、高吞吐、低延時的特點