Linux的記憶體分頁管理

記憶體是計算機的主儲存器。記憶體為程序開闢出程序空間，讓程序在其中儲存資料。我將從記憶體的物理特性出發，深入到記憶體管理的細節，特別是了解虛擬記憶體和記憶體分頁的概念。

簡單地說，記憶體就是乙個資料貨架。記憶體有乙個最小的儲存單位，大多數都是乙個位元組。記憶體用記憶體位址（memory address）來為每個位元組的資料順序編號。因此，記憶體位址說明了資料在記憶體中的位置。記憶體位址從0開始，每次增加1。這種線性增加的儲存器位址稱為線性位址（linear address）。為了方便，我們用十六進製制數來表示記憶體位址，比如0x00000003、0x1a010cb0。這裡的「0x」用來表示十六進製制。「0x」後面跟著的，就是作為記憶體位址的十六進製制數。

記憶體位址的編號有上限。位址空間的範圍和位址匯流排（address bus）的位數直接相關。cpu通過位址匯流排來向記憶體說明想要訪問資料的位址。以英特爾32位的80386型cpu為例，這款cpu有32個針腳可以傳輸位址資訊。每個針腳對應了一位。如果針腳上是高電壓，那麼這一位是1。如果是低電壓，那麼這一位是0。32位的電壓高低資訊通過位址匯流排傳到記憶體的32個針腳，記憶體就能把電壓高低資訊轉換成32位的二進位制數，從而知道cpu想要的是哪個位置的資料。用十六進製制表示，32位位址空間就是從0x00000000 到0xffffffff。

記憶體提供的儲存空間，除了能滿足核心的執行需求，還通常能支援執行中的程序。即使程序所需空間超過記憶體空間，記憶體空間也可以通過少量拓展來彌補。換句話說，記憶體的儲存能力，和計算機執行狀態的資料總量相當。記憶體的缺點是不能持久地儲存資料。一旦斷電，記憶體中的資料就會消失。因此，計算機即使有了記憶體這樣乙個主儲存器，還是需要硬碟這樣的外部儲存器來提供持久的儲存空間。

記憶體的一項主要任務，就是儲存程序的相關資料。我們之前已經看到過程序空間的程式段、全域性資料、棧和堆，以及這些這些儲存結構在程序執行中所起到的關鍵作用。有趣的是，儘管程序和記憶體的關係如此緊密，但程序並不能直接訪問記憶體。在linux下，程序不能直接讀寫記憶體中位址為0x1位置的資料。程序中能訪問的位址，只能是虛擬記憶體位址（virtual memory address）。作業系統會把虛擬記憶體位址翻譯成真實的記憶體位址。這種記憶體管理方式，稱為虛擬記憶體（virtual memory）。

每個程序都有自己的一套虛擬記憶體位址，用來給自己的程序空間編號。程序空間的資料同樣以位元組為單位，依次增加。從功能上說，虛擬記憶體位址和物理記憶體位址類似，都是為資料提供位置索引。程序的虛擬記憶體位址相互獨立。因此，兩個程序空間可以有相同的虛擬記憶體位址，如0x10001000。虛擬記憶體位址和物理記憶體位址又有一定的對應關係，如圖1所示。對程序某個虛擬記憶體位址的操作，會被cpu翻譯成對某個具體記憶體位址的操作。

圖1 虛擬記憶體位址和物理記憶體位址的對應

int v = 0

;printf("%p
", (void*)&v);

另一方面，有了虛擬記憶體位址，記憶體共享也變得簡單。作業系統可以把同一物理記憶體區域對應到多個程序空間。這樣，不需要任何的資料複製，多個程序就可以看到相同的資料。核心和共享庫的對映，就是通過這種方式進行的。每個程序空間中，最初一部分的虛擬記憶體位址，都對應到物理記憶體中預留給核心的空間。這樣，所有的程序就可以共享同一套核心資料。共享庫的情況也是類似。對於任何乙個共享庫，計算機只需要往物理記憶體中載入一次，就可以通過操縱對應關係，來讓多個程序共同使用。ipo中的共享記憶體，也有賴於虛擬記憶體位址。

虛擬記憶體位址和物理記憶體位址的分離，給程序帶來便利性和安全性。但虛擬記憶體位址和物理記憶體位址的翻譯，又會額外耗費計算機資源。在多工的現代計算機中，虛擬記憶體位址已經成為必備的設計。那麼，作業系統必須要考慮清楚，如何能高效地翻譯虛擬記憶體位址。

記錄對應關係最簡單的辦法，就是把對應關係記錄在一張表中。為了讓翻譯速度足夠地快，這個表必須載入在記憶體中。不過，這種記錄方式驚人地浪費。如果樹莓派1gb物理記憶體的每個位元組都有乙個對應記錄的話，那麼光是對應關係就要遠遠超過記憶體的空間。由於對應關係的條目眾多，搜尋到乙個對應關係所需的時間也很長。這樣的話，會讓樹莓派陷入癱瘓。

因此，linux採用了分頁（paging）的方式來記錄對應關係。所謂的分頁，就是以更大尺寸的單位頁（page）來管理記憶體。在linux中，通常每頁大小為4kb。如果想要獲取當前樹莓派的記憶體頁大小，可以使用命令：

$getconf page_size

4096

記憶體分頁，可以極大地減少所要記錄的記憶體對應關係。我們已經看到，以位元組為單位的對應記錄實在太多。如果把物理記憶體和程序空間的位址都分成頁，核心只需要記錄頁的對應關係，相關的工作量就會大為減少。由於每頁的大小是每個位元組的4000倍。因此，記憶體中的總頁數只是總位元組數的四千分之一。對應關係也縮減為原始策略的四千分之一。分頁讓虛擬記憶體位址的設計有了實現的可能。

無論是虛擬頁，還是物理頁，一頁之內的位址都是連續的。這樣的話，乙個虛擬頁和乙個物理頁對應起來，頁內的資料就可以按順序一一對應。這意味著，虛擬記憶體位址和物理記憶體位址的末尾部分應該完全相同。大多數情況下，每一頁有4096個位元組。由於4096是2的12次方，所以位址最後12位的對應關係天然成立。我們把位址的這一部分稱為偏移量（offset）。偏移量實際上表達了該位元組在頁內的位置。位址的前一部分則是頁編號。作業系統只需要記錄頁編號的對應關係。

圖2 位址翻譯過程

記憶體分頁制度的關鍵，在於管理程序空間頁和物理頁的對應關係。作業系統把對應關係記錄在分頁表（page table）中。這種對應關係讓上層的抽象記憶體和下層的物理記憶體分離，從而讓linux能靈活地進行記憶體管理。由於每個程序會有一套虛擬記憶體位址，那麼每個程序都會有乙個分頁表。為了保證查詢速度，分頁表也會儲存在記憶體中。分頁表有很多種實現方式，最簡單的一種分頁表就是把所有的對應關係記錄到同乙個線性列表中，即如圖2中的「對應關係」部分所示。

這種單一的連續分頁表，需要給每乙個虛擬頁預留一條記錄的位置。但對於任何乙個應用程序，其程序空間真正用到的位址都相當有限。我們還記得，程序空間會有棧和堆。程序空間為棧和堆的增長預留了位址，但棧和堆很少會佔滿程序空間。這意味著，如果使用連續分頁表，很多條目都沒有真正用到。因此，linux中的分頁表，採用了多層的資料結構。多層的分頁表能夠減少所需的空間。

我們來看乙個簡化的分頁設計，用以說明linux的多層分頁表。我們把位址分為了頁編號和偏移量兩部分，用單層的分頁表記錄頁編號部分的對應關係。對於多層分頁表來說，會進一步分割頁編號為兩個或更多的部分，然後用兩層或更多層的分頁表來記錄其對應關係，如圖3所示。

圖3 多層分頁表

在圖3的例子中，頁編號分成了兩級。第一級對應了前8位頁編號，用2個十六進製制數字表示。第二級對應了後12位頁編號，用3個十六進製制編號。二級表記錄有對應的物理頁，即儲存了真正的分頁記錄。二級表有很多張，每個二級表分頁記錄對應的虛擬位址前8位都相同。比如二級表0x00，裡面記錄的前8位都是0x00。翻譯位址的過程要跨越兩級。我們先取位址的前8位，在一級表中找到對應記錄。該記錄會告訴我們，目標二級表在記憶體中的位置。我們再在二級表中，通過虛擬位址的後12位，找到分頁記錄，從而最終找到實體地址。

多層分頁表就好像把完整的**號碼分成區號。我們把同一地區的**號碼以及對應的人名記錄同通乙個小本子上。再用乙個上級本子記錄區號和各個小本子的對應關係。如果某個區號沒有使用，那麼我們只需要在上級本子上把該區號標記為空。同樣，一級分頁表中0x01記錄為空，說明了以0x01開頭的虛擬位址段沒有使用，相應的二級表就不需要存在。正是通過這一手段，多層分頁表佔據的空間要比單層分頁表少了很多。

多層分頁表還有另乙個優勢。單層分頁表必須存在於連續的記憶體空間。而多層分頁表的二級表，可以散步於記憶體的不同位置。這樣的話，作業系統就可以利用零碎空間來儲存分頁表。還需要注意的是，這裡簡化了多層分頁表的很多細節。最新linux系統中的分頁表多達3層，管理的記憶體位址也比本章介紹的長很多。不過，多層分頁表的基本原理都是相同。

綜上，我們了解了記憶體以頁為單位的管理方式。在分頁的基礎上，虛擬記憶體和物理記憶體實現了分離，從而讓核心深度參與和監督記憶體分配。應用程序的安全性和穩定性因此大為提高。

歡迎閱讀「騎著企鵝採樹莓」系列文章

從Linux分頁機制到Linux記憶體管理

要理解linux記憶體管理子系統，先要熟悉一些概念 頁框，頁幀 傳統上，把記憶體視為連續的位元組，即記憶體為位元組陣列，記憶體單元的編號 位址 可作為位元組陣列的索引。分頁管理時，將若干位元組視為一頁，比如4k bytes 此時，記憶體變成了連續的頁，即記憶體為頁陣列，每一頁物理記憶體叫頁幀，以頁為...

記憶體的管理和分頁機制

int p malloc 0 malloc分配了0個位元組嗎，如果是那麼p指向誰呢，是null嗎 free p 假如malloc分配了0個位元組，p指向了null，那麼free null 不會出現段錯誤嗎 2016年12月25日16 09 44 測試環境 redhat 6.4 測試int p mal...

linux記憶體管理（三） 分頁管理機制

前面已經說了，利用計算機的區域性性原理，將記憶體細粒化，分成乙個個4kb大小的頁，然後與虛擬位址進行對映，這樣可以每次先對映需要用到的和載入經常用到的內容。我們可以看到程序1和程序2的虛擬位址空間都被對映到了不連續的實體地址空間內 這個意義很大，如果有一天我們的連續實體地址空間不夠，但是不連續的位址...