dremio的學習點滴

2022-08-30 18:12:08 字數 868 閱讀 1917

在連線資料來源後,進行資料來源反射的建立,dremio會在本地建立乙個類似於副本的檔案,具體目錄未知,當下次去執行sql時,則會啟動加速器進行查詢速度的優化。

反射策略:

full update:資料來源全更新,每次更新所有源資料的反射

incremental update:增量資料更新,根據特定的字段進行資料更新,即使是null值,反射資料也會更新,一般依賴主鍵進行新資料的判斷

更新類別統計如下

1.刪除資料:反射不更新

2.點選refresh now:立即執行更新,更新規則與定時更新一致

3.新增資料行(包含標識字段):反射會更新

4.新增資料行(未包含標識字段,null):反射會更新

5.更新資料行(不更新標識字段):反射不更新

備註:若新增的資料行的標識的值,在原先的記錄中已經存在,則並不會更新反射資料集

更新策略:

以小時、天、週為單位進行選擇,也可以選擇永不更新

過期策略:

同理當執行sql時,確保單機的是run而不是preview

普通加速的反射:

聚合加速的反射:

可以在同乙個物理源資料集上,進行多種資料反射,比如建立以下資料反射

1.全欄位資料反射

2.只選擇部分字段進行反射,並排序、分割槽

3.進行聚合反射

以上反射資料來源都是建立在乙個資料集上,不同查詢條件,dremio會自動選擇最合適的反射資料集進行資料加速

django 學習點滴

django連線資料庫要安裝第三方包,比如mysql的就是 python mysqldb,用apt cache search python mysql 搜尋一下。django的project可以放在任意的目錄下,安裝完版本1.6之後,django admin.py已經放到了系統路徑裡去了,如果不能直...

點滴學習Linux

linux centos 下使用總結 1 php的開發使用 xampp 搭建的環境 2 xampp安裝方法 sudo tar xzvf xampp.1.7.1.tar.gz c opt 在 opt lampp目錄即可看到lampp 以後使用就用 sudo opt lampp lampp start ...

學習ROR的點滴1

insert into user host,user,password values localhost shagua bin mysql u root mysql grant 許可權1,許可權2,許可權n on 資料庫名稱.表名稱 to 使用者名稱 使用者位址 identified by 連線口令...