flume是cloudera提供的乙個高可用的,高可靠的,分布式的海量日誌採集、聚合和傳輸的系統,flume支援在日誌系統中定製各類資料傳送方,用於收集資料;同時,flume提供對資料進行簡單處理,並寫到各種資料接受方(可定製)的能力。對於怎樣去讀原始碼,仁者見仁,智者見智,下面僅僅陳述一下我的方法:
這裡分為兩種情況:
對於自己不熟悉的框架,比如這次的flume,首先看一下user guide 了解一下這個框架是幹什麼用的,大概會是怎麼去使用, 然後去自己嘗試一下怎麼使用
flume的整體是有3個大的元件構成:
1. source: 完成資料的收集,將散落在各個業務系統中資料傳送到channel中
2. channel: 類似乙個queue的作用,對source過來的資料進行暫時的快取, 也提供了乙個事務容器
3. sink :對資料進行處理,將其放入到hdfs或hbase或者還可以再放入source中
flume的**結構相對來說還是比較清晰的,各個功能模組都分布在不同的package中:
下面簡單介紹一下各個包的作用:
Eureka原始碼總體介紹
在 在 spring cloud netflix構建起來很簡單,執行 mvn clean package,耐心等待即可。二 eureka 官方原始碼 結構 1 eureka模組結構 2 eureka core模組 eureka core 模組包含了功能的核心實現 com.netflix.eureka...
《原始碼閱讀》原始碼閱讀技巧,原始碼閱讀工具
檢視某個類的完整繼承關係 選中類的名稱,然後按f4 quick type hierarchy quick type hierarchy可以顯示出類的繼承結構,包括它的父類和子類 supertype hierarchy supertype hierarchy可以顯示出類的繼承和實現結構,包括它的父類和...
原始碼閱讀 Glide原始碼閱讀之with方法(一)
前言 本篇基於4.8.0版本 原始碼閱讀 glide原始碼閱讀之with方法 一 原始碼閱讀 glide原始碼閱讀之load方法 二 原始碼閱讀 glide原始碼閱讀之into方法 三 大多數情況下,我們使用glide 就一句 但是這一句 裡面蘊含著成噸的 with方法有以下幾個過載方法 publi...