本頁目錄
日誌服務（log service），簡稱log，原sls。是針對實時資料的一站式服務，在阿里巴巴集團經歷大量大資料場景錘煉而成。無需開發就能快捷完成資料採集、消費、投遞以及查詢分析等功能，幫助提公升運維、運營效率，建立dt時代海量日誌處理能力。
日誌服務本身是流資料儲存，實時計算 flink能將其作為流式資料輸入。對於日誌服務而言，資料格式類似json，示例如下。
對於實時計算而言，我們需要定義的ddl如下(sls即log service)。
create
table sls_stream
(
a
int,
b
int,
c varchar
)
with
(
type
='sls'
,
endpoint
='',
accessid
='0i******xas'
,
accesskey
='yf60e******xpj2zhcfhu'
,
starttime
='2017-07-05 00:00:00'
,
project
='ali-***xx-streamtest'
,
logstore
='str***test'
,
consumergroup
='cons***xrouptest1'
);
目前預設支援三個屬性欄位的獲取，也支援其他自定義寫入的字段。
欄位名注釋說明
__source__訊息源
__topic__訊息主題
__timestamp__日誌時間
通過header關鍵字獲取屬性字段。
測試資料
__topic__
:ens_altar_flow
:
測試**
create
table sls_log
(
__topic__ varchar header
,
result varchar
)
with
(
type
='sls'
);
create
table sls_out
(
name varchar
,
msgid
varchar
,
version
varchar
)
with
(
type
='rds'
);
insert
into sls_out
select
__topic__
,
json_value
(result
,'$.msgid'
),
json_value
(result
,'$.version'
)
from
sls_log
測試結果
name(varchat)
msgid(varchat)
version(varchat)
ens_altar_flow
ems0a
0.0.1
引數注釋說明
備註endpoint
消費端點資訊
日誌服務的endpoint位址
accessid
sls讀取的accesskey
n/aaccesskey
sls讀取的金鑰
n/aproject
讀取的sls專案
n/alogstore
project下的具體的logstore
n/aconsumergroup
消費組名
使用者可以自定義消費組名(沒有固定格式)
starttime
消費日誌開始的時間點
n/aheartbeatintervalmills
可選，消費客戶端心跳間隔時間
預設為10s
maxretrytimes
讀取最大嘗試次數
可選，預設為5
batchgetsize
單次讀取loggroup條數
可選，預設為10
lengthcheck
單行字段條數檢查策略
可選，預設為skip,其它可選值為exception、pad。skip：字段數目不符合時跳過 。exception:字段數目不符合時丟擲異常。pad:按順序填充，不存在的置為null。
columnerrordebug
是否開啟除錯開關，如果開啟，會把解析異常的log列印出來
可選，預設為false
注意：日誌服務和實時計算字段型別對應關係，建議您使用該對應關係進行ddl宣告:
日誌服務字段型別
流計算字段型別
string
varchar
本文**實時計算——
建立日誌服務（log service）源表
cisco 建立簡單日誌伺服器
作為網路的維護者，日誌是我們工作中比不可少的一部分，他可以幫助我們分析裝置是否正常，網路是否健康，所以任何裝置或系統都應該建立完整的日誌系統，這樣我們就可以面對任何問題並及時解決問題了。本文將為大家介紹簡單日誌 伺服器的建立，通過這個日誌 伺服器我們就可以掌握資料通過 路由器的基本情況了。遇到突發事...
MySQL日誌服務 一 服務日誌
mysql中包含了許多日誌服務，這些日誌分別記錄了使用者對資料庫的不同的操作，以及mysql的各種狀態和異常，熟悉這些日誌，在自己的資料庫出現問題的時候檢視相關的日誌可以幫助你準確的定位問題，及時解決。我們先來看一下，mysql都有哪一些日誌 server層日誌 由mysql自身實現 錯誤日誌 er...
建立操作日誌
如表已存在,先刪除 if exists select 1 from sysobjects where name s log and xtype u drop table s log go 建新表和主鍵 create table s log p id int identity not null,id ...