通過LogShipper對接資料倉儲

2021-09-23 18:54:24 字數 1011 閱讀 8805

日誌服務logshipper功能可以便捷地將日誌資料投遞到oss、tablestore、maxcompute等儲存類服務,配合e-mapreduce(spark、hive)、maxcompute進行離線計算。

資料倉儲+離線計算是實時計算的補充,兩者針對目標不同:

模式優勢

劣勢使用領域

實時計算

快速計算較為簡單

增量為主,監控、實時分析

離線計算(資料倉儲)

精準、計算能力強

較慢全量為主,bi、資料統計、比較

目前對於資料分析類需求,同乙份資料會同時做實時計算+資料倉儲(離線計算)。例如對訪問日誌:

網際網路領域有兩種經典的模式討論:

日誌服務提供模式比較偏向lamdba architecture。

在建立logstore後,可以在控制台配置logshipper支援資料倉儲對接,當前支援如下:

tablestore(nosql資料儲存服務):

maxcompute(大資料計算服務):

logshipper提供如下功能:

準實時:分鐘級進入資料倉儲

資料量大:無需擔心併發量

自動重試:遇到故障自動重試、也可以通過api手動重試

任務api:通過api可以獲得時間段日誌投遞狀態

自動壓縮:支援資料壓縮、節省儲存頻寬

小a維護了乙個論壇,需要對論壇所有訪問日誌進行審計和離線分析

小a使用日誌服務(log)收集伺服器上日誌資料,並且開啟了日誌投遞(logshipper)功能,日誌服務就會自動完成日誌收集、投遞、以及壓縮。有審查需要時,可以將該時間段日誌授權給第三方。需要離線分析時,利用e-mapreduce跑乙個30分鐘離線任務,用最少的成本辦了兩件事情。

小b是乙個開源軟體愛好者,喜歡利用spark進行資料分析,他的需求如下:

通過今天log+oss+emr+ram組合,可輕鬆應對這類需求。

通過 ResultSet 獲取行記錄數

resultset沒有方法直接得到記錄數,只有另想方法,下面我介紹一下我取記錄數方法 如果只要得到記錄數,可以直接用sql語句的select count 得出來,但結果我既想得到記錄數,同時也需要用到記錄集的資料呢?那就要用到下面這種方法了。resultset rs rs.last 移到最後一行 i...

MFC通過ADO連線SQL SERVER資料庫

以乙個mfc的dialog應用程式為例。1.首先是引入msado15.dll。在stdafx.h中加入 import c program files common files system ado msado15.dll no namespace rename eof adoeof 2.初始化com...

通過nodejs插入刪除MongoDB資料

通過nodejs插入刪除mongodb資料 首先確保你已經啟動了mongodb資料庫服務 mongodb預設的埠號是 27017 nodejs端,插入資料 var mongoclient require mongodb mongoclient mongoclient.connect mongodb ...