海量高效能列式資料庫HiStore介紹

2021-09-23 17:39:33 字數 1665 閱讀 6981

histore是阿里中介軟體技術團隊研發的資料庫產品,是一款基於獨特的知識網格技術的列式資料庫,定位於海量資料高壓縮比列式儲存,是低儲存成本,低維護成本,海量資料olap儲存引擎;有效的解決了海量資料儲存的成本問題,以及在百億資料場景下支援實時高效的多維度自由組合的檢索。

• 節約設計開銷,沒有複雜的資料倉儲模型設計要求(比如星狀模型、雪花模型),無需要物化檢視、資料分割槽、索引建立;

• 節省儲存資源,高壓縮比率通常是10:1,某些應用可能達到40:1;

• 整合利用廣泛,和眾多的bi套件相容,比如pentaho的,cognos公司,jaspersof;

• 降低運維成本,隨著資料庫的逐漸增大,查詢和裝載效能持續保持穩定,實施和管理簡單,需要極少的管理;

• 分庫分表支援,結合tddl/drds,可實現無縫的橫向擴充套件功能和處理能力的線性提公升;

histore的核心技術之一,histore在執行查詢的時候會根據知識網路(知識網格)把dn分成三類:

• 相關的dn(相關節點),滿足查詢條件限制的dn

• 不相關的dn(無關節點),不滿足查詢條件限制的dn

• 可疑的dn(可疑節點),dn裡面的資料部分滿足查詢條件的限制

select

count(feed_id)

from feed_item_subscribe

where seller_id = 12345

and (gmt_modify between

str_to_date('start', '%y%m%d%h') and

str_to_date('end', '%y%m%d%h')) -- [start, end)

limit

start+1, num

-- 分頁

no.column

type

desc

1seller_id

bigint

賣家id

2feed_id

bigint

主評id

3feedback

varchar(4000)

主評內容

4gmt_modify

datetime

修改時間

企業級網際網路架構aliware,讓您的業務能力雲化:

Redis高效能資料庫

redis高效能資料庫 redis 本質上是乙個非關係型資料庫,採用鍵值的方式記錄資料,由於其獨特的執行模式和資料儲存模式,在作用上通常可以用來當做關係型資料庫的快取來使用,從而提高資料查詢效率 redis最大特點 執行速度很快 原因 1 redis使用c語言開發,和作業系統的相容性更強,執行效率更...

列式資料庫

列式資料庫是以列相關儲存架構進行資料儲存的資料庫,主要適合於批量資料處理和即席查詢。相對應的是行式資料庫,資料以行相關的儲存體系架構進行空間分配,主要適合於小批量的資料處理,常用於聯機事務型資料處理。資料庫以行 列的二維表的形式儲存資料,但是卻以一維字串的方式儲存,例如以下的乙個表 empid la...

Druid 高效能資料庫元件

druid是什麼?druid是乙個jdbc元件,它包括四個部分 druiddriver,是乙個proxyjdbcdriver,它提供了filter chain模式的擴充套件機制,使得在jdbc擴充套件程式設計特別方便。druid提供了一些內建的擴充套件機制,包括stat log trace ha等擴...