flume ng配置檔案詳解(四)

2021-07-24 20:09:22 字數 666 閱讀 4340

1  高可用

對於乙個系統而言,高可用指在乙個固定時間內,系統無故障執行的時間。

1.1  source高可用

agent例項用來作為source源收集資料的時候,當agent程序死掉時候,這時候會降低系統的高可用。

agent在supervise下啟動,如果agent程序死掉,會自動啟動。

對agent程序進行監控,死掉之後進行報警。

1.2 sink高可用

agent例項用來作為sink儲存資料的時候

當agent程序死掉時候,這時候可以利用flume提供的failover或者loadbalance實現sink的高可用。

2  高可靠

可靠性就是flume中event事件流確保傳入下乙個agent或者儲存到儲存介質中

flume為了確保高可靠,當agent的channel中資料傳入到下乙個agent或者最終儲存介質中,才會刪除channel中資料

3 高可擴充套件

source理論上可以無限水平擴充套件

source到sink採取loadbalance,sink層也可以無限擴充套件

Flume ng禁用自動載入配置檔案功能

預設情況下,flume agent的配置檔案,如果監聽到配置檔案變化了,flume user 過往記憶 date 2015 08 19 time 23 59 bolg 過往記憶部落格,專注於hadoop hive spark shark flume的技術部落格,大量的乾貨 override publ...

配置檔案詳解

config目錄下有2個配置檔案 es的配置檔案 elasticsearch.yml 和日誌配置檔案 logging.yml cluster.name elasticsearch 配置es的集群名稱,預設是elasticsearch,es會自動發現在同一網段下的es,如果在同一網段下有多個集群,就可...

OpenSSH 配置檔案詳解

第1章 openssh 安全網路通訊 本章要點 關於openssh openssh客戶端 起步 使用ssh和scp openssh伺服器sshd 起步 啟動sshd守護程序 授權金鑰 自動化登入 故障診斷 隧道技術與埠 openssh是一套安全網路連線工具,用來取代telnet rcp rsh rs...