amazon ****** storage service (amazon s3) 是一種物件儲存，它具有簡單的 web 服務介面，可用於在 web 上的任何位置儲存和檢索任意數量的資料。它能夠提供 99.999999999% 的永續性，並且可以在全球大規模傳遞數萬億物件。
s3的資料儲存結構非常簡單，就是乙個扁平化的兩層結構：一層是儲存桶（bucket，又稱儲存段），另一層是儲存物件（object，又稱資料元）。儲存桶是s3中用來歸類資料的乙個方式，它是資料儲存的容器。每乙個儲存物件都需要儲存在某乙個儲存桶中。儲存桶是s3命名空間的最高層，它會成為使用者訪問資料的網域名稱的一部分，因此儲存桶的名字必須是唯一的，而且需要保持dns相容，比如採用小寫、不能用特殊字元等。例如，你建立了乙個名為：zhangsan的儲存桶，那麼對應的網域名稱就是zhangsan.s3.amazonaws.com，以後你可以通過來訪問其中儲存的資料。由於資料儲存的地理位置有時對使用者來說挺重要，因此在建立儲存桶的時候s3會提示選擇區域（region）資訊。儲存物件就是使用者實際要儲存的內容，其構成就是物件資料內容再加上一些元資料資訊。這裡的物件資料通常是乙個檔案，而元資料就是描述物件資料的資訊，比如資料修改的時間等。如果你在zhangsan的儲存桶中存放了乙個檔案picture.jpg，那麼你可以通過picture.jpg這個url來訪問這個檔案。從這個url訪問我們可以看到，儲存桶名稱需要全球唯一，而儲存物件的命名則需要在儲存桶中唯一。只有這樣你才能通過乙個全球唯一的url訪問到你指定的資料。s3的資料儲存結構如下圖所示：
s3儲存物件中的資料大小可以從1個位元組到5tb。在預設情況下每個aws賬號最多能建立100個儲存桶。不過使用者可以在乙個儲存桶中存放任意多儲存物件。理論上儲存桶中的物件數是沒有限制的，因為s3完全是按照分布式儲存方式設計。除了在容量上s3具有很到的擴充套件性，s3的效能上也具有高度擴充套件性，允許多個客戶端和應用執行緒併發訪問資料。
可能有人會把s3的儲存結構與一般的檔案系統進行比較，要注意的是s3在架構上只有兩層結構，並不支援多層次的樹形目錄結構。不過你可以通過設計帶「/」的儲存物件名稱來模擬出乙個樹形結構來。例如有些s3工具就提供了乙個操作選項是「建立資料夾」，其實際上就是通過控制儲存物件的名稱來實現的。
作為雲儲存的典型代表，amazon s3在擴充套件性、永續性和效能等幾個方面有自己明顯的特點。
耐久性和可用性, 彈性和可擴充套件性, 良好的效能, 介面簡單
s3儲存桶 s3可擴充套件的雲儲存
s3系統構架在dynamo之上，採取的並不是傳統的關聯式資料庫儲存方式，原因 s3基本概念 1.物件 s3的基本儲存單元 資料 元資料 資料型別任意 系統預設元資料 2 鍵 物件的唯一標示符 3 桶 儲存物件的容器 不能巢狀 在s3中名稱唯一 每個使用者最多建立100個桶 4 基本操作 根據amaz...
hive操作s3資料
1 hive配置s3訪問許可權 2 建立表 例如create external table table create time bigint comment 獲取時的時間 event name string comment 事件名 timestamp bigint comment 事件發生時間 is...
AWS CLI 中使用S3儲存
登入 通過控制面板,在s3管理器中建立乙個新的bucket 所有aws服務 安全 身份 iam 組,建立乙個新的組,例如 s3 user 策略中新增 amazons3fullaccess iam 使用者,建立乙個新使用者,例如叫 s3 001 讓同時生成access key id和secret ac...