因為flume是面對各種場景的,所以當我們面對具體場景的時候,我們需要提供一套配置檔案。
告訴他source用哪一種,channel用哪一種,sink用哪一種。我們知道source用哪一種之後還要告訴他檔案在**。
sink也是,比如我們要往hdfs中存,我們要告訴他實現類用hdfs,接著hdfs的實現類需要引數。
配置檔案解析:
1.我們首先需要給flume起乙個名字,我們這裡為agent1.
2.定義三大元件的名稱:
agent1.sources = source1
agent1.sinks = sink1
agent1.channels = channel1
3.配置source元件用來讀乙個目錄下的東西,
spooldir是一種實現類,這是flume內建的一種實現類,只要目錄下有新的東西就會被讀走。
而這種實現類它自己也需要引數,不然它不知道去哪讀,所以spooldir就是需要讀的目錄。
fileheader為是否要加檔案頭,我們暫時用不到。
agent1.sources.source1.type = spooldir
agent1.sources.source1.spooldir = /root/logs/
agent1.sources.source1.fileheader = false
4.配置***,這個source可以帶***,sink也可以帶***,***可以不配,我們先別管這個
agent1.sources.source1.interceptors =
大資料學習之路
大資料的學習之路,一直在到處學習零零閃閃的東西,但是從來麼有對自己學習的東西進行整理,以及後續做過的東西,一直找不到對應的東西,接下來會對自己的學習記錄下來,以及同類問題遇見的得以解決 4v特徵 volume 資料量大,pb級別 velocity 輸入和處理速度快 流式資料 value 價值密度低 ...
大資料學習之路 1
大資料的特點 1.資料 廣 資料格式多樣化 結構化資料 非結構化資料 excel檔案 文字檔案 資料量大 最少是tb級別的,甚至可能是pb級別的 資料增長速度快等 針對以上特點,要考慮的問題 1.資料 廣,如何採集彙總?sqoop,cammel,datax等工具 2.資料採集後,如何儲存?對應出現了...
我的大資料學習之路
2020年是艱難的一年,公司效益不好,每個月到手的工資變少了,從那一刻開始有了危機意識,我的這份工作是傳統行業,在畢業選職業的時候沒有認真對待,一步錯步步錯,現在我開始是從新規劃自己的職業路線,這樣付出了時間和金錢的代價。2021年我的願望是跳到網際網路公司,做大資料相關的工作 同時自己的生活也開始...