構建和維護sstables:
如何避免資料庫崩潰時,在記憶體中的記憶體表資料丟失?
lsm儲存引擎(log-structured merge-tree):基於合併和壓縮進序檔案原理的儲存引擎
lsm補充
lucene中,從詞條到posting list的對映關係儲存在類sstable的排序檔案中,這些檔案在後台合併
效能優化方法:
可靠性:
優化b樹:
lsm樹的缺點
聚集索引和非聚集索引
多列索引
全文搜尋和模糊索引
記憶體資料庫
olap產品:teradata、sap haha等,基於hadoop的sql專案如hive,spark sql、facebook presto、apache tajo和apache drill等
星型與雪花型olap模式
資料倉儲表通常非常寬
、壓縮和排序有助於加速讀取,但導致寫入困難
DDIA讀書筆記 第五章 資料同步
通常主節點負責寫入,從節點負責讀取,主節點的資訊需要同步給從節點。主從同步按照同步方式可以分為同步同步,非同步同步,半同步同步。同步同步需要等待從節點返回確認資訊,才可以進行下一次同步,非同步同步則不需要。半同步同步則是部分節點同步同步,部分節點非同步同步,在吞吐量和一致性方面做了乙個折中。基於語句...
(DDIA)資料儲存與檢索(一)
乙個資料庫最基本的要具有兩個功能 當你給它一些資料的時候它可以幫你儲存資料,之後當你需要這些資料時,他可以返回給你所需要的資料。你 應用程式開發人員 向資料庫提供固定格式的資料,稍後你就可以再次請求獲取這些資料。在本章中,我們將從資料庫的角度討論以下問題 資料庫如何儲存我們所給出的資料,以及當我們需...
讀書筆記3
1.資料治理的本質 資料治理的本質是組織對資料的可用性 完整性和安全性的整體管理。可用性指資料可用 可信且有質量保證,不會因為分析結果的準確性造成偏差,從業者可以放心地根據資料結果做業務決策 完整性分為兩個方面,一方面指資料需覆蓋各類資料應用的需要,另一方面指不會因為資料治理沒有到位而造成資料資產的...