Ceph檔案系統入門學習

2021-06-28 14:16:47 字數 1518 閱讀 8350

這一系列文章對於想要初步了解ceph檔案系統的同學而言是相當不錯的入門資料。

開篇,章宇介紹ceph說:

ceph無疑是目前人氣最高的開源儲存專案之一。

ceph是乙個發展了七年的分布式儲存系統,特點是「統一的」和「分布式的」。

「統一的」意味著ceph可以一套儲存系統同時提供物件儲存、塊儲存和檔案系統儲存三種功能,以便在滿足不同應用需求的前提下簡化部署和運維。而「分布式的」在ceph系統中則意味著真正的無中心結構和沒有理論上限的系統規模可擴充套件性。

前三篇主要是背景介紹,從第四篇開始,章宇開始介紹ceph的結構。

ceph的核心是其最底層的基礎儲存系統rados,rados的上面提供了向本機上層提供api的基礎庫librados,面向web呼叫提供的rados gw restful api,以及上層的塊儲存裝置rbd和檔案系統ceph fs。文中介紹了為什麼ceph提供的東西要遠遠超出amazon s3、swift提供的東西:

swift(以及s3)提供的api所操作的「物件」只有三個:使用者賬戶、使用者儲存資料物件的容器、資料物件。並且,所有的操作均不涉及儲存系統 的底層硬體或系統資訊。……而librados api的設計思想則與此完全不同。一方面,librados中沒有賬戶、容器這樣的高層概念;另一方面,librados api向開發者開放了大量的rados狀態資訊與配置引數,允許開發者對rados系統以及其中儲存的物件的狀態進行觀察,並強有力地對系統儲存策略進行控制。換言之,通過呼叫librados api,應用不僅能夠實現對資料物件的操作,還能夠實現對rados系統的管理和配置。這對於s3和swift的restful api設計是不可想像的,也是沒有必要的。

librados事實上更適合對於系統有著深刻理解,同時對於功能定製擴充套件和效能深度優化有著強烈需求的高階使用者。

在接下來的第五篇中,章宇先介紹了rados中最為核心的、基於計算的物件定址機制,然後說明物件訪問的工作流程,之後介紹rados集群維護的工作過程,最後結合ceph的結構和原理對其技術優勢加以回顧和剖析。

第六篇介紹ceph在openstack社群中引起的反響,可以用一句話總結:

整體而言,ceph事實上是目前openstack生態系統中呼聲最高的開源儲存解決方案。這一點從筆者在openstack 2013 hongkong summit上的親身體驗可以得到印證。目前,以hp、dell、intel等為代表的企業it領導廠商,和以mirantis、enovance、unitedstack為代表的若干openstack社群新興廠商,都將ceph作為重要的乃至於首選的開源儲存解決方案。

第七篇是作者自己研究ceph的經驗分享:

開源的東西可以效能很好,當然坑也是很多,你能配好算你牛

太複雜的硬體可能不適合ceph

在ceph上,儲存型別、儲存策略都是可以非常靈活的配置的

rados很強大,拿來做計算任務也是可以的

ceph還是不成熟,但當大家都忍不住開始用的時候,成熟起來就很快了

CEPH 檔案系統簡介

ceph 檔案系統或cephfs是乙個符合 posix 的檔案系統,構建在 ceph 的分布式物件儲存rados之上。cephfs 致力於為各種應用程式 包括共享主目錄 hpc 暫存空間和分布式工作流共享儲存等傳統用例 提供最先進的 多用途 高可用性和高效能檔案儲存。cephfs 通過使用一些新穎的...

Ceph 檔案系統共享

塊共享相當於直接提供磁碟,這個磁碟是沒有格式化過的。檔案系統共享相當於提供格式化過的磁碟。檔案系統主要由兩部分組成 1 inode 記錄檔案的描述資訊,128位元組 2 block 用於儲存資料,4k 目前乙個ceph集群只能提供乙個檔案系統的共享。開始配置 1 新增一台新的主機 ip 192.16...

ceph應用 檔案系統

cephfs shell 指定遠端檔案目錄 掛載目錄後,萬萬不可,直接刪除目錄 遠端主機掛載 cephfs cephfs 遵循 posix 標準的檔案系統。在 ceph 分布式物件儲存 之上構建。最先進,高用途,高可用,高效能。可以實現,應用程式,以及共享主機目錄等用例。塊儲存服務 物件儲存服務 c...