Infobright 資料倉儲

2021-09-06 10:06:16 字數 1847 閱讀 4222

據倉庫引擎,採用他們自己的knowledge grid架構(一直沒有明白這兩個單詞),該引擎採取內部管理自身優化查詢的方式,給使用者帶來更為輕鬆的體驗。我們所要做的就是寫出「漂亮」的sql,後面我會關於sql語句說點有趣的東西。

infobright像很多優秀的開源軟體一樣,也都具有兩個版本,社群版(ice)和企業版(iee),多數情況下,如果免費的能滿足我們的實際需求,領導更願意採用社群版;企業版需要付費,那麼自然就會給使用者提供更加完善的功能、保證執行的穩定性以及良好的後期服務。下面具體介紹一下infobright在我的實際環境中的應用。

系統環境:centos 5.4 64位、 infobright-3.3.1-x86_64-ice、4g記憶體、8核cpu

infobright安裝:

infobright目錄結構:

解壓後,你會發現這不就是乙個mysql嗎,infobright-3.3.1是整合於mysql-5.1.40,很自然的就會把infobright理解成mysql的乙個特殊引擎,這又進一步體現出mysql具有可插拔引擎介面的特點。

cache目錄:readme裡面說是臨時檔案生成和存放地,但是我一直沒有看到裡面有檔案按出現。

data目錄:

bh.err  ——  錯誤日誌這個和mysq記錄啟動關閉資訊以及一些錯誤和警告提示,但在infobright中它還有乙個特殊的任務就是記錄執行計畫,因為 infobright沒有explain/profile這樣的工具。

brighthouse.ini   ——    infobright的配置檔案,裡面有使用記憶體大小的分配規則、選擇是否開啟執行計畫記錄功能等。

brighthouse.log  ——    這個日誌中記錄了infobright引擎啟動和關閉操作,已經我們在匯入資料是遇到的錯誤。

brighthouse.seq ——    這個檔案中記錄的數字我也不是很理解;查了下,說是被使用的最大的表的號碼。我的那個檔案裡面是708,在bh_rsi_repository中,可以找到這樣的數字,但是我沒有看到708,最大的那個數字就是707。

general_query.log ——  這個和mysql中的那個什麼都能記錄下來的日誌一樣。

slow_query.log  ——   慢查詢日誌,裡面有那個使用者在什麼時間那條語句的執行時間和鎖消耗的時間。

bh_rsi_repository子目錄:裡面都是rsi檔案,似乎和knowledge grid相關,一類是hist開頭的,一類是cmap開頭的。

相關資料庫子目錄:裡面分別是對應各個表的frm檔案,和bht目錄。

infobright實際應用:

我們之所以使用資料倉儲,是因為目前mysql資料庫中的資料增長很快,定期會對一些歷史記錄表進行清除,但後期的統計分析還會用到這些歷史資料,隨著資料量的增大,查詢也越來越慢,而資料庫倉庫特有的儲存格式能夠減小磁碟空間內的占用,同時列式的特點使得查詢速度大為改觀。於是,我們就將資料倉儲作為儲存歷史資料的地方。很多資料庫倉庫軟體,基於資料的壓縮比和查詢速度考慮,我看上了其中兩個infobright和infinidb,infobright的壓縮比最高(我測試的結果是25:1),但是查詢速度慢於infinidb,infinidb是所有比較的開源資料倉儲中查詢速度最優的,但是壓縮比遠不及infobright。最後選擇infobright是因為它鎖支援的資料型別更多些,更接近於mysql,更節省磁碟空間,畢竟主要的統計查詢還不是在資料倉儲上,偶爾的查詢一下速度倒不是要求最優,但是ice最大的不變用了後你是不能做dm操作的,這點我深有體會,每次如果插入資料有些不合適的地方,需要刪除,你只能drop table,然後從新建表和匯入資料,麻煩呀。而infinidb在這方便就讓你很開心。

摘抄:

mysql資料倉儲infobright的使用說明

infobright的查詢速度是相當快的,有些稍複雜的查詢在mysql裡需要2分鐘的,它只需要2秒。基於windows版本 infobright 4.0.7 0 win 64 ice 1 安裝後,在cmd或執行中執行services.msc,可以找到infobright這個服務 2 infobrig...

Infobright 資料倉儲心得總結

infobright介紹 在這裡,我將結合我自己的使用以及對開源資料倉儲的了解,infobright 做下簡單的介紹。infobright 產品分為社群版 ice和企業版 iee。相信大家對 ice都有很多的了解。ice具備了 infobright 大部分的功能,我列舉如下 1.超高的壓縮比例。普通...

Infobright 資料倉儲心得總結

infobright介紹 在這裡,我將結合我自己的使用以及對開源資料倉儲的了解,infobright 做下簡單的介紹。infobright 產品分為社群版 ice和企業版 iee。相信大家對 ice都有很多的了解。ice具備了 infobright 大部分的功能,我列舉如下 1.超高的壓縮比例。普通...