大資料學習筆記七(雲資料庫)

2021-09-24 20:18:21 字數 1788 閱讀 5416

在了解雲資料庫之前,先明確一下雲計算的概念:

通過整合、管理、調配分布在網路各處的計算資源,通過網際網路以統一介面,同時向大量的使用者提供服務

雲資料庫是部署和虛擬化在雲計算環境中的資料庫。雲資料庫是在雲計算的大背景下發展起來的一種新興的共享基礎架構的方法,它極大地增強了資料庫的儲存能力,消除了人員、硬體、軟體的重複配置,讓軟、硬體公升級變得更加容易。雲資料庫具有高可擴充套件性、高可用性、採用多租形式和支援資源有效分發等特點。

(1)動態可擴充套件

(2)高可用性

(3)較低的使用代價

(4)易用性

(5)高效能

(6)免維護

(7)安全

首先,雲資料庫可以滿足大企業的海量資料儲存需求

其次,雲資料庫可以滿足中小企業的低成本資料儲存需求

另外,雲資料庫可以滿足企業動態變化的資料儲存需求

雲資料庫並沒有專屬於自己的資料模型,雲資料庫所採用的資料模型可以是關聯式資料庫所使用的關係模型(微軟的sql azure雲資料庫、阿里雲rds都採用了關係模型),也可以是nosql資料庫所使用的非關係模型(amazon dynamo雲資料庫採用的是「鍵/值」儲存)

1 亞馬遜雲資料庫

amazon是雲資料庫市場的先行者。amazon除了提供著名的s3儲存服務和ec2計算服務以外,還提供基於雲的資料庫服務:

amazon rds:雲中的關聯式資料庫

amazon ******db:雲中的鍵值資料庫

amazon dynamodb:雲中的nosql資料庫

amazon redshift:雲中的資料倉儲

amazon elasticache:雲中的分布式記憶體快取

2 微軟雲資料庫

sql azure具有以下特性:

屬於關係型資料庫:支援使用tsql(transact structured query language)來管理、建立和操作雲資料庫

支援儲存過程:它的資料型別、儲存過程和傳統的sql server具有很大的相似性,因此,應用可以在本地進行開發,然後部署到雲平台上

支援大量資料型別:包含了幾乎所有典型的sql server 2008的資料型別

支援雲中的事務:支援區域性事務,但是不支援分布式事務

ump系統是低成本和高效能的mysql雲資料庫方案

總的來說,ump系統架構設計遵循了以下原則:

保持單一的系統對外入口,並且為系統內部維護單一的資源池

消除單點故障,保證服務的高可用性

保證系統具有良好的可伸縮,能夠動態地增加、刪減計算與儲存節點

保證分配給使用者的資源也是彈性可伸縮的,資源之間相互隔離,確保應用和資料安全

zookeeper介紹:

zookeeper是高效和可靠的協同工作系統,提供分布式鎖之類的基本服務(比如統一命名服務、狀態同步服務、集群管理、分布式應用配置項的管理等),用於構建分布式應用,減輕分布式應用程式所承擔的協調任務

在ump系統中,zookeeper主要發揮三個作用:

作為全域性的配置伺服器

提供分布式鎖(選出乙個集群的「總管」)

監控所有mysql例項

ump系統是構建在乙個大的集群之上的,通過多個元件的協同作業,整個系統實現了對使用者透明的各種功能:

容災讀寫分離

分庫分表

資源管理

資源排程

資源隔離

資料安全

資料庫學習筆記(七)

e r資料模型與關聯式資料庫對應 實體對應乙個表 實體的屬性對應表的列,並未每一列定義資料型別 實體的識別符號對應表的主鍵 表按照資料模型建立之後,需要進行規範化,根據需要建立其他的表,如交集表。弱實體通過表來表示,id依賴實體,必須包含它依賴的表的鍵列和它自身的識別符號。非id依賴實體必須把它的存...

寒假大資料學習筆記七

今天由於某些私人原因,學習時間比較少,學習內容為基礎的urllib error。1 異常處理 一般常用的異常有兩個 httperror和urlerror。urlerror一般出現的情況是沒有網路連線 伺服器連線失敗 找不到指定的伺服器。例子如下 1 try 2 url 3 response requ...

django學習筆記 (七)模型(資料庫)

django模型與資料庫相關,與資料庫相關的 一般寫在models.py中。django支援sqlite3,mysql,postgresql等資料庫,只需要在settings.py中配置即可,不用修改models.py的 將people models.py改為 from django.db impo...