說說IO(四) 檔案系統

2021-08-10 10:56:03 字數 3336 閱讀 4149

linux

cache

資料結構

檔案系統各有不同,其最主要的目標就是解決磁碟空間的管理問題,同時提供高效性、安全性。如果在分布式環境下,則有相應的分布式檔案系統。linux上有ext系列,windows上有fat和ntfs。如圖為乙個linux下檔案系統的結構。

其中vfs(virtual file system)是linux kernel檔案系統的乙個模組,簡單看就是乙個adapter,對下遮蔽了下層不同檔案系統之間的差異,對上為作業系統提供了統一的介面.

中間部分為各個不同檔案系統的實現。

再往下是buffer cache和driver。

檔案系統的結構

各種檔案系統實現方式不同,因此效能、管理性、可靠性等也有所不同。下面為linux ext2(ext3)的乙個大致檔案系統的結構。

boot block存放了引導程式。

super block存放了整個檔案系統的一些全域性引數,如:卷名、狀態、塊大小、塊總數。他在檔案系統被mount時讀入記憶體,在umount時被釋放。

上圖描述了ext2檔案系統中很重要的三個資料結構和他們之間的關係。

inode:inode是檔案系統中最重要的乙個結構。如圖,他裡面記錄了檔案相關的所有資訊,也就是我們常說的meta資訊。包括:檔案型別、許可權、所有者、大小、atime等。inode裡面也儲存了指向實際檔案內容資訊的索引。其中這種索引分幾類:

如圖:

directory代表了檔案系統中的目錄,包括了當前目錄中的所有inode資訊。其中每行只有兩個資訊,乙個是檔名,乙個是其對應的inode。需要注意,directory不是檔案系統中的乙個特殊結構,他實際上也是乙個檔案,有自己的inode,而它的檔案內容資訊裡面,包括了上面看到的那些檔名和inode的對應關係。如下圖:

data block即存放檔案的時間內容塊。data block大小必須為磁碟的資料塊大小的整數倍,磁碟一般為512位元組,因此data block一般為1k、2k、4k。

buffer cache

buffer & cache

雖然buffer和cache放在一起了,但是在實際過程中buffer和cache是完全不同了。buffer一般對於寫而言,也叫「緩衝區」,緩衝使得多個小的資料塊能夠合併成乙個大資料塊,一次性寫入;cache一般對於讀而且,也叫「快取」,避免頻繁的磁碟讀取。如圖為linux的free命令,其中也是把buffer和cache進行區分,這兩部分都算在了free的記憶體。

buffer cache中的快取,本質與所有的快取都是一樣,資料結構也是類似,下圖為vxsf的乙個buffer cache結構。

這個資料結構與memcached和oracle sga的buffer何等相似。左側的hash chain完成資料塊的定址,上方的的鍊錶記錄了資料塊的狀態。

buffer vs direct i/o

檔案系統的buffer和cache在某些情況下確實提高了速度,但是反之也會帶來一些負面影響。一方面檔案系統增加了乙個中間層,另外一方面,當cache使用不當、配置不好或者有些業務無法獲取cache帶來的好處時,cache則成為了一種負擔。

適合cache的業務:序列的大資料量業務,如:nfs、ftp。

不適合cache的業務:隨機io的業務。如:oracle,小檔案讀取。

塊裝置、字元裝置、裸裝置

這幾個東西看得很暈,找了一些資料也沒有找到很準確的說明。

從硬體裝置的角度來看,

從作業系統的角度看(對應作業系統的裝置檔案型別的b和c),

# ls -l /dev/*lv

brw-------   1 root     system       22,  2 may 15 2007  lv

crw-------   2 root     system       22,  2 may 15 2007  rlv

如上,相比之下,字元裝置在使用更為直接,而塊裝置更為靈活。檔案系統一般建立在塊裝置上,而為了追求高效能,使用字元裝置則是更好的選擇,如oracle的裸裝置使用。

裸裝置

裸裝置也叫裸分割槽,就是沒有經過格式化、沒有檔案系統的一塊儲存空間。可以寫入二進位制內容,但是內容的格式、其中資訊的組織等問題,需要使用它的人來完成。檔案系統就是建立在裸裝置之上,並完成裸裝置空間的管理。

cio

cio即並行io(concurrent io)。在檔案系統中,當某個檔案被多個程序同時訪問時,就出現了inode競爭的問題。一般地,讀操作使用的共享鎖,即:多個讀操作可以併發進行,而寫操作使用排他鎖。當鎖被寫程序占用時,其他所有操作均阻塞。因此,當這樣的情況出現時,整個應用的效能將會大大降低。如圖:

cio就是為了解決這個問題。而且cio帶來的效能提高直逼裸裝置。當檔案系統支援cio並開啟cio時,cio缺省會開啟檔案系統的direct io,即:讓io操作不經過buffer直接進行底層資料操作。由於不經過資料buffer,在檔案系統層面就無需考慮資料一致性的問題,因此,讀寫操作可以並行執行。

在最終進行資料儲存的時候,所有操作都會序列執行,cio把這個事情交個了底層的driver。

說說IO(四) 檔案系統

檔案系統各有不同,其最主要的目標就是解決磁碟空間的管理問題,同時提供高效性 安全性。如果在分布式環境下,則有相應的分布式檔案系統。linux上有ext系列,windows上有fat和ntfs。如圖為乙個linux下檔案系統的結構。其中vfs virtual file system 是linux ke...

說說IO(四) 檔案系統

檔案系統各有不同,其最主要的目標就是解決磁碟空間的管理問題,同時提供高效性 安全性。如果在分布式環境下,則有相應的分布式檔案系統。linux 上有 ext 系列,windows 上有 fat 和 ntfs 如圖為乙個 linux 下檔案系統的結構。其中 vfs virtual file system...

實驗四 檔案系統

實驗四 檔案系統 一 實驗目的 1 熟悉linux檔案系統的檔案和目錄結構,掌握linux檔案系統的基本特徵 2 模擬實現linux檔案系統的簡單i o流操作 備份檔案。二 實驗內容 1 瀏覽linux系統根目錄下的子目錄,熟悉每個目錄的檔案和功能 2 設計程式模擬實現linux檔案系統的簡單i o...