經常遇到一些剛接觸linux的新手會問記憶體占用怎麼那麼多?
在linux中經常發現空閒記憶體很少,似乎所有的記憶體都被系統占用了,表面感覺是記憶體不夠用了,其實不然。這是linux記憶體管理的乙個優秀特性,在這方面,區別於windows的記憶體管理。主要特點是,無論物理記憶體有多大,linux 都將其充份利用,將一些程式呼叫過的硬碟資料讀入記憶體,利用記憶體讀寫的高速特性來提高linux系統的資料訪問效能。而windows是只在需要記憶體時,才為應用程式分配記憶體,並不能充分利用大容量的記憶體空間。換句話說,每增加一些物理記憶體,linux都將能充分利用起來,發揮了硬體投資帶來的好處,而windows只將其做為擺設,即使增加8gb甚至更大。
linux的這一特性,主要是利用空閒的物理記憶體,劃分出一部份空間,做為cache、buffers ,以此提高資料訪問效能。
頁快取記憶體(cache)是linux核心實現的一種主要磁碟快取。它主要用來減少對磁碟的i/o操作。具體地講,是通過把磁碟中的資料快取到物理記憶體中,把對磁碟的訪問變為對物理 記憶體的訪問。
磁碟快取記憶體的價值在於兩個方面:第一,訪問磁碟的速度要遠遠低於訪問記憶體的速度,因此,從記憶體訪問資料比從磁碟訪問速度更快。第二,資料一旦被訪問,就很有可能在短期內再次被訪問到。
下面來了解下linux記憶體管理機制:
一、物理記憶體和虛擬記憶體
我們知道,直接從物理記憶體讀寫資料要比從硬碟讀寫資料要快的多,因此,我們希望所有資料的讀取和寫入都在記憶體完成,而記憶體是有限的,這樣就引出了物理記憶體與虛擬記憶體的概念。
物理記憶體就是系統硬體提供的記憶體大小,是真正的記憶體,相對於物理記憶體,在linux下還有乙個虛擬記憶體的概念,虛擬記憶體就是為了滿足物理記憶體的不足而提出的策略,它是利用磁碟空間虛擬出的一塊邏輯記憶體,用作虛擬記憶體的磁碟空間被稱為交換空間(swap space)。
作為物理記憶體的擴充套件,linux會在物理記憶體不足時,使用交換分割槽的虛擬記憶體,更詳細的說,就是核心會將暫時不用的記憶體塊資訊寫到交換空間,這樣以來,物理記憶體得到了釋放,這塊記憶體就可以用於其它目的,當需要用到原始的內容時,這些資訊會被重新從交換空間讀入物理記憶體。
linux的記憶體管理採取的是分頁訪問機制,為了保證物理記憶體能得到充分的利用,核心會在適當的時候將物理記憶體中不經常使用的資料塊自動交換到虛擬記憶體中,而將經常使用的資訊保留到物理記憶體。
要深入了解linux記憶體執行機制,需要知道下面提到的幾個方面:
linux系統會不時的進行頁面交換操作,以保持盡可能多的空閒物理記憶體,即使並沒有什麼事情需要記憶體,linux也會交換出暫時不用的記憶體頁面。這可以避免等待交換所需的時間。
linux進行頁面交換是有條件的,不是所有頁面在不用時都交換到虛擬記憶體,linux核心根據」最近最經常使用「演算法,僅僅將一些不經常使用的頁面檔案交換到虛擬記憶體,有時我們會看到這麼乙個現象:linux物理記憶體還有很多,但是交換空間也使用了很多。其實,這並不奇怪,例如,乙個占用很大記憶體的程序執行時,需要耗費很多記憶體資源,此時就會有一些不常用頁面檔案被交換到虛擬記憶體中,但後來這個占用很多記憶體資源的程序結束並釋放了很多記憶體時,剛才被交換出去的頁面檔案並不會自動的交換進物理記憶體,除非有這個必要,那麼此刻系統物理記憶體就會空閒很多,同時交換空間也在被使用,就出現了剛才所說的現象了。關於這點,不用擔心什麼,只要知道是怎麼一回事就可以了。
交換空間的頁面在使用時會首先被交換到物理記憶體,如果此時沒有足夠的物理記憶體來容納這些頁面,它們又會被馬上交換出去,如此以來,虛擬記憶體中可能沒有足夠空間來儲存這些交換頁面,最終會導致linux出現假死機、服務異常等問題,linux雖然可以在一段時間內自行恢復,但是恢復後的系統已經基本不可用了。
因此,合理規劃和設計linux記憶體的使用,是非常重要的.
二、記憶體的監控
作為一名linux系統管理員,監控記憶體的使用狀態是非常重要的,通過監控有助於了解記憶體的使用狀態,比如記憶體占用是否正常,記憶體是否緊缺等等,監控記憶體最常使用的命令有free、top等,下面是某個系統free的輸出:
[root@linuxeye ~]# freetotal used free shared buffers cached
mem: 3894036 3473544 420492 0 72972 1332348
-/+ buffers/cache: 2068224 1825812
swap: 4095992 906036 3189956
每個選項的含義:
第一行:
total:物理記憶體的總大小
used:已經使用的物理記憶體大小
free:空閒的物理記憶體大小
shared:多個程序共享的記憶體大小
buffers/cached:磁碟快取的大小
第二行mem:代表物理記憶體使用情況
第三行(-/+ buffers/cached):代表磁碟快取使用狀態
第四行:swap表示交換空間記憶體使用狀態
free命令輸出的記憶體狀態,可以通過兩個角度來檢視:乙個是從核心的角度來看,乙個是從應用層的角度來看的。
從核心的角度來檢視記憶體的狀態
就是核心目前可以直接分配到,不需要額外的操作,即為上面free命令輸出中第二行mem項的值,可以看出,此系統物理記憶體有3894036k,空閒的記憶體只有420492k,也就是40m多一點,我們來做乙個這樣的計算:
3894036 – 3473544 = 420492
其實就是總的物理記憶體減去已經使用的物理記憶體得到的就是空閒的物理記憶體大小,注意這裡的可用記憶體值420492並不包含處於buffers和cached狀態的記憶體大小。
如果你認為這個系統空閒記憶體太小,那你就錯了,實際上,核心完全控制著記憶體的使用情況,linux會在需要記憶體的時候,或在系統執行逐步推進時,將buffers和cached狀態的記憶體變為free狀態的記憶體,以供系統使用。
從應用層的角度來看系統記憶體的使用狀態
也就是linux上執行的應用程式可以使用的記憶體大小,即free命令第三行 -/+ buffers/cached 的輸出,可以看到,此系統已經使用的記憶體才2068224k,而空閒的記憶體達到1825812k,繼續做這樣乙個計算:
420492+(72972+1332348)=1825812
通過這個等式可知,應用程式可用的物理記憶體值是mem項的free值加上buffers和cached值之和,也就是說,這個free值是包括buffers和cached項大小的,對於應用程式來說,buffers/cached占有的記憶體是可用的,因為buffers/cached是為了提高檔案讀取的效能,當應用程式需要用到記憶體的時候,buffers/cached會很快地被**,以**用程式使用。
buffers與cached的異同
在linux 作業系統中,當應用程式需要讀取檔案中的資料時,作業系統先分配一些記憶體,將資料從磁碟讀入到這些記憶體中,然後再將資料分發給應用程式;當需要往檔案中寫資料時,作業系統先分配記憶體接收使用者資料,然後再將資料從記憶體寫到磁碟上。然而,如果有大量資料需要從磁碟讀取到記憶體或者由記憶體寫入磁碟時,系統的讀寫效能就變得非常低下,因為無論是從磁碟讀資料,還是寫資料到磁碟,都是乙個很消耗時間和資源的過程,在這種情況下,linux引入了buffers和cached機制。
buffers與cached都是記憶體操作,用來儲存系統曾經開啟過的檔案以及檔案屬性資訊,這樣當作業系統需要讀取某些檔案時,會首先在buffers與cached記憶體區查詢,如果找到,直接讀出發送給應用程式,如果沒有找到需要資料,才從磁碟讀取,這就是作業系統的快取機制,通過快取,大大提高了作業系統的效能。但buffers與cached緩衝的內容卻是不同的。
buffers是用來緩衝塊裝置做的,它只記錄檔案系統的元資料(metadata)以及 tracking in-flight pages,而cached是用來給檔案做緩衝。更通俗一點說:buffers主要用來存放目錄裡面有什麼內容,檔案的屬性以及許可權等等。而cached直接用來記憶我們開啟過的檔案和程式。
為了驗證我們的結論是否正確,可以通過vi開啟乙個非常大的檔案,看看cached的變化,然後再次vi這個檔案,感覺一下兩次開啟的速度有何異同,是不是第二次開啟的速度明顯快於第一次呢?
接著執行下面的命令:
find /* -name *.conf看看buffers的值是否變化,然後重複執行find命令,看看兩次顯示速度有何不同。
linux作業系統的記憶體執行原理,很大程度上是根據伺服器的需求來設計的,例如系統的緩衝機制會把經常使用到的檔案和資料快取在cached中,linux總是在力求快取更多的資料和資訊,這樣再次需要這些資料時可以直接從記憶體中取,而不需要有乙個漫長的磁碟操作,這種設計思路提高了系統的整體效能。
原文:
linux 記憶體中Buffer和Cache的區別
具體怎麼理解?通過實驗發現,比較寫資料到檔案和寫資料到磁碟 比較從檔案中讀取資料和從磁碟中讀資料 實驗資料參考 簡單理解 buffer 是對磁碟資料的快取,而 cache 是檔案資料的快取。同學 geek 5258f8 的解答 理論上,乙個檔案讀首先到block buffer,然後到page cac...
Linux記憶體buffer和cache的區別
記憶體使用說明 free 命令相對於top 提供了更簡潔的檢視系統記憶體使用情況 root rac1 free total used free shared buffers cached mem 1035108100898426124 0 124212 413000 buffers cache 47...
Linux記憶體機制 Buffer和Cache
今天twitter上關於buffer和cache討論得蠻火的,被各種說話一攪和,有點亂了,就乾脆整理一下。首先從翻譯上,buffer應該翻譯為 緩衝 cache應該翻譯為 快取 兩個完全不是乙個東西。在硬體這一層看,buffer應該為記憶體,cache為cpu整合的告訴快取。buffer為了讓不同速...