Splunk 索引器 資料儲存機制

2022-06-14 20:42:08 字數 911 閱讀 3159

splunk的索引器通過內部事件化處理機制,將傳入的資料轉換為事件,然後將其儲存在索引內部的資料桶中。

索引器是用於建立和管理索引的元件,是splunk資料儲存的核心。

索引器的主要功能是:

1.為傳入的資料建立索引。

2.搜尋索引資料。

splunk會對傳入的資料進行事件化處理,將原始資料以各種不同的方式進行增強處理後,轉換為事件存入索引中。

具體處理方式包括:

1.將資料流分為單個可搜尋事件。

2.建立或標識時間戳。

3.提取字段,如主機、資料**和**型別。

4.對傳⼊資料執⾏⽤戶定義的操作,如標識⾃定義字段、以掩碼顯⽰敏感資料、編寫新鍵或修改的鍵、

--對多⾏事件應⽤換⾏規則、篩選出不需要的事件以及將事件路由到指定索引或伺服器。

索引器為您的資料建立索引時,會建立許多⽂件:

1.壓縮形式的原始資料(原始資料⽇志)

2.指向原始資料的索引(tsidx⽂件)

3.其他⼀些元資料⽂件

索引中的目錄被稱為資料桶,資料在進入索引後,會經歷 熱->溫->冷->凍結 資料桶的型別轉換過程,

其中:熱資料桶:為正在寫入資訊的資料桶,可以搜尋,不能備份。

溫資料桶:從熱資料桶滾動來的資料,索引不會主動寫入資料,可以搜尋,可以備份。

冷資料桶:從温資料桶滾動來的資料,可以搜尋,可以備份。

凍結資料桶:從冷資料桶滾動來的資料,不能搜尋,預設刪除,但可以通過修改配置來改為歸檔,隨後通過解凍操作來重新讀取其資料。

Splunk 索引自動清理歷史資料

定位配置檔案,在splunk安裝目錄下搜尋檔案 indexes.conf 在要自動清理的索引配置下新增 frozentimeperiodinsecs 64000000 其中 64000000 為從當前往前推的秒數,時間超過此節點的資料轉換為凍結狀態,預設直接刪除。示例 索引windows的本地配置 ...

Web Storage 瀏覽器端資料儲存機制

這個api的作用是,使得網頁可以在瀏覽器端儲存資料。它分成兩類 sessionstorage和localstorage。sessionstorage儲存的資料用於瀏覽器的一次會話,當會話結束 通常是該視窗關閉 資料被清空 localstorage儲存的資料長期存在,下一次訪問該 的時候,網頁可以直接...

資料儲存 索引結構

b樹是為磁碟儲存而專門設計的一類平衡搜尋樹,b樹的高度僅隨著它所包含的節點數按對數增長,不過因為單個節點可以包含多個關鍵字,所以對數的底數可以比較大,實際應用中一般是50 2000,給個直觀的數字,一棵分支因子為1001 高度為2 不包含根節點 的b樹,可以儲存超過10億個關鍵字!計算機的機械磁碟,...