splunk的索引器通過內部事件化處理機制,將傳入的資料轉換為事件,然後將其儲存在索引內部的資料桶中。
索引器是用於建立和管理索引的元件,是splunk資料儲存的核心。
索引器的主要功能是:
1.為傳入的資料建立索引。
2.搜尋索引資料。
splunk會對傳入的資料進行事件化處理,將原始資料以各種不同的方式進行增強處理後,轉換為事件存入索引中。
具體處理方式包括:
1.將資料流分為單個可搜尋事件。
2.建立或標識時間戳。
3.提取字段,如主機、資料**和**型別。
4.對傳⼊資料執⾏⽤戶定義的操作,如標識⾃定義字段、以掩碼顯⽰敏感資料、編寫新鍵或修改的鍵、
--對多⾏事件應⽤換⾏規則、篩選出不需要的事件以及將事件路由到指定索引或伺服器。
索引器為您的資料建立索引時,會建立許多⽂件:
1.壓縮形式的原始資料(原始資料⽇志)
2.指向原始資料的索引(tsidx⽂件)
3.其他⼀些元資料⽂件
索引中的目錄被稱為資料桶,資料在進入索引後,會經歷 熱->溫->冷->凍結 資料桶的型別轉換過程,
其中:熱資料桶:為正在寫入資訊的資料桶,可以搜尋,不能備份。
溫資料桶:從熱資料桶滾動來的資料,索引不會主動寫入資料,可以搜尋,可以備份。
冷資料桶:從温資料桶滾動來的資料,可以搜尋,可以備份。
凍結資料桶:從冷資料桶滾動來的資料,不能搜尋,預設刪除,但可以通過修改配置來改為歸檔,隨後通過解凍操作來重新讀取其資料。
Splunk 索引自動清理歷史資料
定位配置檔案,在splunk安裝目錄下搜尋檔案 indexes.conf 在要自動清理的索引配置下新增 frozentimeperiodinsecs 64000000 其中 64000000 為從當前往前推的秒數,時間超過此節點的資料轉換為凍結狀態,預設直接刪除。示例 索引windows的本地配置 ...
Web Storage 瀏覽器端資料儲存機制
這個api的作用是,使得網頁可以在瀏覽器端儲存資料。它分成兩類 sessionstorage和localstorage。sessionstorage儲存的資料用於瀏覽器的一次會話,當會話結束 通常是該視窗關閉 資料被清空 localstorage儲存的資料長期存在,下一次訪問該 的時候,網頁可以直接...
資料儲存 索引結構
b樹是為磁碟儲存而專門設計的一類平衡搜尋樹,b樹的高度僅隨著它所包含的節點數按對數增長,不過因為單個節點可以包含多個關鍵字,所以對數的底數可以比較大,實際應用中一般是50 2000,給個直觀的數字,一棵分支因子為1001 高度為2 不包含根節點 的b樹,可以儲存超過10億個關鍵字!計算機的機械磁碟,...