摘要
說明 一種資料傳輸定製系統和方法
技術領域
[0001] 本發明涉及一種日誌資料的傳輸領域，特別是涉及一種基於flume日誌收集系統的資料傳輸定製系統和方法。
背景技術
[0002] 隨著大資料日誌收集技術的快速發展，基於大資料雲平台的日誌收集分析系統越來越多，但在日誌資料的傳輸上，一直缺少通用性的設計。目前，使用比較多的日誌收集系統是flume日誌收集系統。
[0003] flume是cloudera提供的日誌收集系統，具有分布式、高可靠、高可用性等特點，對海量日誌採集、聚合和傳輸，flume支援在日誌系統中定製各類資料傳送方，同時，flume提供對資料進行簡單處理，並寫到各種資料接受方的能力。傳統的flume架構如圖1所示，其執行的核心是**(agent)，**是乙個完整的資料收集工具，含有三個核心元件，分別是資料**(source)、資料傳輸(channel)和資料去向(sink)。通過這些元件，日誌(event)可以從乙個地方流向另乙個地方。
[0004] 資料**可以接收遠端伺服器(web server)傳送過來的資料。不同的資料**，可以接受不同的資料格式。比如有目錄池(spooling directory)的資料來源，可以監控指定資料夾中的新檔案變化，如果目錄中有檔案產生，就會立刻讀取其內容。資料傳輸用於傳輸日誌。資料去向用於將日誌傳送至下一端。其中，資料**有很多種可以選擇，資料傳輸有很多種可以選擇，資料去向同樣也有多種可以選擇，並且資料**、資料傳輸和資料去向還都支援自定義，非常靈活。
發明內容
[0006] 鑑於以上所述現有技術的缺點，本發明的目的在於提供一種資料傳輸定製系統和方法，用於解決現有技術中flume日誌收集系統缺少通用性的設計的問題。
[0012] 可選地，所述步驟slo中，所述遠端伺服器將日誌檔案壓縮後儲存在所述ftp服務端。
[0014] 可選地，所述步驟slo中，所述遠端伺服器將日誌檔案進行加密處理後再儲存在所述ftp服務端。
[0016] 如上所述，本發明的一種資料傳輸定製系統和方法，用於flume日誌收集系統，在flume日誌收集系統的技術架構下，設計ftp客戶端和服務端，根據server ip和clientip、flume的主機ip和flume的核心元件source的目錄池，以及實現檔案解壓、解密等功能，使得日誌資料在傳輸上實現可定製。本發明的資料傳輸定製系統和方法結合了 flume日誌收集系統的技術架構，完成了對日誌傳輸的通用性設計和開發，使得日誌收集分析系統更加的靈活，適用的日誌收集場景也更加的廣泛；解決了 flume日誌收集系統的前端的資料傳輸的可定製性，提高flume日誌收集系統開發的效率和應用的簡潔性；並且，通過本發明還大幅提高了日誌收集和傳輸的效率。
附圖說明
[0017] 圖1顯示為flume日誌收集系統的**的結構示意圖。
[0018]圖2顯示為本發明實施例公開的一種資料傳輸定製系統的結構示意圖。
[0019] 圖3顯示為本發明實施例公開的一種資料傳輸定製方法的結構示意圖。
[0020] 元件標號說明
[0021] 100 flume日誌收集系統的**
[0022] 110 資料**
[0023] 120 資料傳輸
[0024] 130 資料去向
[0025] 200 遠端伺服器
[0026] 300 hdfs
[0027] 400 資料傳輸定製系統
[0028] 410 ftp 客戶端
[0029] 411 日誌解壓模組
[0030] 412 日誌解密模組
[0031] 413 日誌傳輸控制模組
[0032] 420 ftp 服務端
[0033] 430 ip位址輸入模組
[0034] slo 〜s40 步驟
具體實施方式
[0035] 以下通過特定的具體例項說明本發明的實施方式，本領域技術人員可由本說明書所揭露的內容輕易地了解本發明的其他優點與功效。本發明還可以通過另外不同的具體實施方式加以實施或應用，本說明書中的各項細節也可以基於不同觀點與應用，在沒有背離本發明的精神下進行各種修飾或改變。需說明的是，在不衝突的情況下，以下實施例及實施例中的特徵可以相互組合。
[0036] 請參閱附圖。需要說明的是，以下實施例中所提供的圖示僅以示意方式說明本發明的基本構想，遂圖式中僅顯示與本發明中有關的元件而非按照實際實施時的元件數目、形狀及尺寸繪製，其實際實施時各元件的型態、數量及比例可為一種隨意的改變，且其元件布局型態也可能更為複雜。
[0037] 實施例1
[0038] 本實施例公開了一種用於flume日誌收集系統的資料傳輸定製系統，其結合了flume日誌收集系統的技術架構，對日誌傳輸進行了一些通用性的設計和開發。其中，如圖1所示，flume日誌收集系統的核心是**(agent) 100，包括資料**(source) 110、資料傳輸120(channel)和資料去向(sink) 130。flume日誌收集系統用於收集遠端伺服器200的日誌檔案。
[0039] 如圖2所示，本實施例的資料傳輸定製系統400包括:ftp客戶端410、ftp服務端420和ip位址輸入模組430。
[0040] 其中，ftp服務端420位於遠端伺服器200，其用於儲存遠端伺服器200的日誌檔案。
[0042] ftp客戶端410位於遠端伺服器200和flume日誌收集系統的資料**110之間。ftp客戶端410主要用於完成以下功能:
[0045] 3)根據ip位址輸入模組430輸入的flume日誌收集系統的資料**110的目錄池的ip位址，向flume日誌收集系統的資料**110的目錄池上傳遠端伺服器200的日誌檔案。
[0046] 通常情況下，遠端伺服器200的日誌檔案的資料量是非常大的，因此，考慮到傳輸方便和傳輸時間，往往在遠端伺服器200處對日誌檔案進行資料壓縮，然後再進行傳輸。因此，在本實施例中，在ftp客戶端410中增加了日誌解壓模組411，用於對壓縮的日誌檔案進行解壓處理。對於資料的壓縮和解壓縮處理，目前已經是非常成熟的現有技術，在此就不再予以贅述。
[0047] 進一步地，為了安全起見，遠端伺服器200還會對其日誌檔案進行加密處理。因此，相對應地，在ftp客戶端410中增加了日誌解密模組412，用於對遠端伺服器200加密的曰志檔案進行解密處理。其中，對於資料進行加密和解密處理的方法有很多種，並且加密和解密的技術也已被廣泛應用，這裡就不再贅述。
[0049] 本實施例的資料傳輸定製系統，結合了 flume日誌收集系統的技術架構，採用了傳統的ftp技術，通過配置相應地ip位址，完成了對日誌檔案的資料傳輸定製。
[0050] 需要說明的是，為了突出本發明的創新部分，本實施例中並沒有將與解決本發明所提出的技術問題關係不太密切的模組引入，但這並不表明本實施例中不存在其它的模組。
[0051] 實施例2
[0052] 本實施例公開了一種用於flume日誌收集系統的資料傳輸定製方法，如圖3所述，包括:
[0053] 步驟s10，將遠端伺服器的日誌檔案儲存在ftp服務端:
[0054] —般情況下，遠端伺服器直接將日誌檔案儲存在ftp服務端。
[0055] 進一步地，從資料傳輸的角度進行考量，遠端伺服器將日誌檔案進行壓縮後，再儲存在ftp服務端。
[0056] 並且，為了資料安全，遠端伺服器還對日誌檔案進行加密處理，然後再將加密處理過的日誌檔案儲存在ftp服務端。
[0058]由於本實施例的資料傳輸定製方法採用的是ftp技術，所以，其資料傳輸的前提就是必須要知道客戶端和服務端的ip位址；即，需要獲取遠端伺服器的ip位址、ftp客戶端的ip位址、以及flume日誌收集系統的資料**的目錄池的ip位址。
[0062] 步驟s40，所述ftp客戶端向所述資料**的目錄池上傳所述日誌檔案:
[0065] 上面方法的步驟劃分，只是為了描述清楚，實現時可以合併為乙個步驟或者對某些步驟進行拆分，分解為多個步驟，只要包含相同的邏輯關係，都在本專利的保護範圍內；對演算法中或者流程中新增無關緊要的修改或者引入無關緊要的設計，但不改變其演算法和流程的核心設計都在該專利的保護範圍內。
[0066] 不難發現，本實施例為與第一實施例相對應的方法實施例，本實施例可與第一實施例互相配合實施。第一實施例中提到的相關技術細節在本實施例中依然有效，為了減少重複，這裡不再贅述。相應地，本實施例中提到的相關技術細節也可應用在第一實施例中。
[0067] 綜上所述，本發明的一種資料傳輸定製系統和方法，用於flume日誌收集系統，在flume日誌收集系統的技術架構下，設計ftp客戶端和服務端，根據server ip和clientip、flume的主機ip和flume的核心元件source的目錄池，以及實現檔案解壓、解密等功能，使得日誌資料在傳輸上實現可定製。本發明的資料傳輸定製系統和方法結合了 flume日誌收集系統的技術架構，完成了對日誌傳輸的通用性設計和開發，使得日誌收集分析系統更加的靈活，適用的日誌收集場景也更加的廣泛；解決了 flume日誌收集系統的前端的資料傳輸的可定製性，提高flume日誌收集系統開發的效率和應用的簡潔性；並且，通過本發明還大幅提高了日誌收集和傳輸的效率。所以，本發明有效克服了現有技術中的種種缺點而具高度產業利用價值。
[0068] 上述實施例僅例示性說明本發明的原理及其功效，而非用於限制本發明。任何熟悉此技術的人士皆可在不違背本發明的精神及範疇下，對上述實施例進行修飾或改變。因此，舉凡所屬技術領域中具有通常知識者在未脫離本發明所揭示的精神與技術思想下所完成的一切等效修飾或改變，仍應由本發明的權利要求所涵蓋。
php ajax資料傳輸和響應方法
整理在php後端與前端資料傳輸過程中一些細節。前端頁面1.html的js ajax 程式設計客棧,傳輸的資料 type post 資料傳送的方式get post data json 資料傳輸的格式是json success function response error function respo...
一種網路資料傳輸加密演算法的設想
核心思想 對每個使用者設定不同的秘鑰。對某一網路由於賬號的id 或使用者名稱 是不能重複的，所以如果對id 或使用者名稱 進行處理作為資訊加密的秘鑰，可基本保證每個使用者的加密秘鑰都不相同。資料從客戶端傳到伺服器，可用客戶端的使用者秘鑰進行加密，伺服器進行解密後得到原始資料 伺服器向客戶端傳送資料時...
一種基於http協議的敏感資料傳輸方案
最近公司需要通過公網與其它平台完成介面對接，但是基於開發時間和其它因素的考慮，本次對接無法採用https協議實現。既然不能用https協議，那就退而求其次採用http協議吧！1 敏感資訊的不可見性使用http協議傳輸資料很容易被抓包監聽傳輸內容，如果這些資料中存在敏感資訊的話，風險太大了。因此我們需...