資料庫系統概論07 大資料管理

2021-08-31 10:00:03 字數 1040 閱讀 5606

超大規模資料庫:(very large database)管理的資料集有數百萬條記錄

大資料:無法在可容忍的時間內用現有的it技術和軟硬體工具對其進行感知、獲取、管理、處理和服務的資料集合。

pb(1000tb)或eb(10^6tb)或更高的數量級資料,包括結構化、半結構化、非結構化的資料

巨量(volume)、多樣(variety)、快變(velocity)、價值(value)

非關聯式資料庫(non-relational),為了提高儲存能力忽然併發讀寫能力採用簡單的資料模型,複雜操作留給應用層實現

包括key-value模型、bigtable模型、文字(document)模型、圖模型

key-value模型:按照key值來儲存和獲取value值,value值可以是無結構的二進位制嗎或純字串。需要應用層來解析相應的結構。

bigtable模型:columns oriented,支援結構化資料,包括列、列簇、時間戳、版本控制等元資料的儲存。按列儲存。

文字(document)模型:支援複雜的結構定義,轉換為json或類似格式的結構化文件。

圖模型:記為g(v,e),v為節點的集合,e為邊的集合。支援圖結構的各種演算法。

操作方式

一致性、併發控制

擴充套件性資料量

成本代表系統

關聯式資料庫sql

易用sql

acid強一致性

<1000結點tb高

oracle、db2

nosql系統

get/put等存放原語

弱一致性

最終一致性

>10000結點pb低

bigtable、pnuts、clouders、redis

newsql系統

sqlacid

>10000結點pb低

voltdb、spanner。。。。nbm.l.l

資料庫系統概論 緒論 資料庫系統概論(一)

1.1 資料庫系統概論 1.1.1 資料庫系統概論 1.資料 描述事物的符號記錄稱為是資料 資料的解釋叫做語義,他與資料時密不可分的 記錄是計算機中表示和儲存資料的一種格式或者乙個方法 2.資料庫 把資料以一定的格式存放在計算機儲存裝置上的倉庫就是資料庫 共享性 有組織 永久儲存是資料庫的三大特徵 ...

資料庫系統概論

資料庫系統概論 1 現實世界的資料化過程 現實世界是由實際存在的事物組成的。每種事物都有無窮的特性,事物之間有著錯綜複雜的聯絡。資訊世界是現實世界在人腦中的反映。現實世界中的事物和事物特性在資訊世界中分別反映為實體和實體的屬性。資訊世界是由實體組成的,每種實體都有自己有限的屬性。本質上說,實體是由有...

《資料庫系統概論》

一 概述 1.關係模型的組成 資料結構 二維表 關係 資料庫中全部資料以及資料間的聯絡都以關係來表示。資料操作 增 刪 改 查 資料的約束條件 實體完整性,參照完整性,使用者自定義的完整性。2.關係的資料結構 域 是一組既有相同資料類的值的集合,又稱值域。域中所包含值的個數稱為域的基數。笛卡爾積 所...