大資料分析druid(大資料實時統計分析資料儲存)

2021-09-13 12:22:09 字數 546 閱讀 6202

與某連線池同名,但完全是兩個東西。druid(俗名德魯伊)是乙個為在大資料集之上做實時統計分析而設計的開源資料儲存。這個系統集合了乙個面向列儲存的層,乙個分布式、shared-nothing(共享)的架構,和乙個高階的索引結構,來達成在秒級以內對十億行級別的表進行任意的探索分析。下文都以德魯伊代表druid

在最近幾年,網際網路技術的快速增長已經產生了大量由機器產生的資料。單獨來看,這些資料報含很少的有用資訊,價值都是很低的。雖然有基礎設施可以處理,但是**極高

隨後出現了的hadoop擅長的是儲存和獲取大規模資料,但是它並不提供任何效能上的保證它能多快獲取到資料。而且不能保證存入的資料立即可見

metamarkets的產品開發在嘗試了關係型資料庫管理系統和nosql架構後。得到乙個結論,就是在開源的世界裡,並沒有可以充分滿足我們需求的系統。最後我們建立了druid

基於時間範圍查詢的型別

基於單維度的排名查詢

基於多維度的分組查詢

具體如何使用詳見官方文件

簡單地說就是拼接符合要求的json。通過http請求訪問資料庫

快速了解Druid 實時大資料分析軟體

druid 單詞 於西方古羅馬的神話人物,中文常常翻譯成德魯伊。本問介紹的druid 是乙個分布式的支援實時分析的資料儲存系統 data store 美國廣告技術公司metamarkets 於2011 年建立了druid 專案,並且於2012 年晚期開源了druid 專案。druid 設計之初的想法...

快速了解Druid 實時大資料分析軟體

引言 druid作為一款開源的實時大資料分析軟體,最近幾年快速風靡全球網際網路公司,特別是對於海量資料和實時性要求高的場景。如果你對druid還很陌生,那趕緊跟著本文快速了解一下吧。相關圖書 druid實時大資料分析原理與實踐 druid 單詞 於西方古羅馬的神話人物,中文常常翻譯成德魯伊。本問介紹...

快速了解Druid 實時大資料分析軟體

druid 單詞 於西方古羅馬的神話人物,中文常常翻譯成德魯伊。本問介紹的druid 是乙個分布式的支援實時分析的資料儲存系統 data store 美國廣告技術公司metamarkets 於2011 年建立了druid 專案,並且於2012 年晚期開源了druid 專案。druid 設計之初的想法...