不錯的入門書learning elk stack
第三章：
logstash外掛程式型別分為四類：
input
filter
output
codec
logstash input類的file外掛程式維護了乙個sincedb檔案追蹤監控操作檔案的當前位置。預設寫入$home/.sincedb*,游標及讀取頻率可以通過配置修改。
file的兩個配置屬性：sincedb_path,sincedb_write_interval（預設15秒讀取一次檔案）
這裡還涉及另乙個配置 start_position => "beginning" 或"end"(預設)，使用beginning,如果移除了.sincedb，將重新讀取歷史資料，造成資料重複。
lumberjack和logstash forwarder（輕量化的logstash）使用lumberjack協議打包日誌
redis經常做為logstash forwarder 與logstash的中間人角色，在高負載系統上提供獲取日誌的服務。
logstash outpu型別外掛程式：
重點是elasticsearch,email,kafka,lumberjack,redis,
logstash filter型別外掛程式：
date,drop,grok解析非結構化的日誌轉換成結構化，mutate重新命名，移除，替換，修改字段，轉換字段型別，合併欄位等
logstash codec型別外掛程式：編碼解碼日誌
json,mutliline
第五章節：
pattern=>"logstash-%"(預設index)
shard:index的物理儲存位置，支援primary shard and replica shard, 預設每個document使用5個shard
replica shard分布在各個節點上，可以failover與平均負載
cluster > nodes :三種角色
檢視指定index的document
thinkt@linux-pw37:~> curl -xget '' ,
"hits" :
} ] }
}檢視所有index
thinkt@linux-pw37:~> curl -xget ''
health status index pri rep docs.count docs.deleted store.size pri.store.size
yellow open logstash-2016.03.18 5 1 1 0 7.9kb 7.9kb
yellow open logstash-2016.03.17 5 1 1 0 7.9kb 7.9kb
yellow open logstash-2016.03.16 5 1 1 0 7.9kb 7.9kb
yellow open logstash-2016.03.15 5 1 1 0 7.9kb 7.9kb
yellow open logstash-2016.06.07 5 1 1 0 7.9kb 7.9kb
yellow open logstash-2016.06.08 5 1 1 0 7.9kb 7.9kb
yellow open logstash-2016.06.09 5 1 1 0 7.9kb 7.9kb
yellow open logstash-2016.08.31 5 1 1 0 8kb 8kb
yellow open logstash-2016.09.01 5 1 1 0 7.9kb 7.9kb
yellow open logstash-2016.08.30 5 1 1 0 8kb 8kb
yellow open logstash-2016.03.21 5 1 1 0 7.9kb 7.9kb
yellow open logstash-2016.06.14 5 1 1 0 7.9kb 7.9kb
yellow open logstash-2016.09.08 5 1 1 0 8kb 8kb
yellow open logstash-2016.06.15 5 1 1 0 7.9kb 7.9kb
yellow open logstash-2016.09.09 5 1 1 0 7.9kb 7.9kb
yellow open logstash-2016.06.16 5 1 1 0 7.9kb 7.9kb
yellow open logstash-2016.09.06 5 1 1 0 7.9kb 7.9kb
檢視集群中所有nodes
thinkt@linux-pw37:~> curl -xget ''
host ip heap.percent ram.percent load node.role master name
10.0.2.15 10.0.2.15 13 56 0.00 d * node-1
logstash 的elasticsearch 外掛程式會自動建立index
kibana4特性:
搜尋關鍵字高亮
聚合型別：桶，度量
可指令碼化的字段
動態展示
kibana的主項：
discover,visualize,dashboard,settings
discover的search box搜尋記錄預設最多顯示500條index documents
time filter支援quick,absolute,relative三種時間過濾方式，並支援定義自動重新整理間隔，也可以使用histogram直方圖拖動選擇時間。
查詢語法使用lucene語法
lucene
n. lucene是乙個非常優秀的開源的全文搜尋引擎; 我們可以在它的上面開發出各種全文搜尋的應用來。lucene在國外有很高的知名度; 現在已經是apache的頂級專案; 在國內;
搜尋方式：search box 文字查詢，field查詢
visualize,dashboard
阻止資料丟失
logs > borker(redis,rabbit mq,amqp,zeromq) > logstash > elasticsearch > kibana > nginx
加固資料訪問
elasticsearch,kibana使用ssl認證訪問elasticsearch
browser-(ssl_key_file,ssl_cert_file)->kibana->elasticsearch
elasticsearch shield(收費）
search guard(free)
系統伸縮性
horizontally scalable
fast,quick,realtime
inexpensive便宜的
flexable彈性靈活的
使用者量及支援力度
開源的資料保留策略
elasticsearch curator管理indeices
C Primer Chapter One學習筆記
筆記 1.流 從io裝置上讀入或寫出的字串行，用來說明字元隨時間順序生成或消耗。2.輸入輸出符可連用原因 operator 或operator 返回stream物件。3.要測試程式那個語句出錯，使用cout 4.新建乙個內建型別，如int i 0 最好先初始化，不然用到的時候沒初始化會產生奇怪的錯誤...
BroadcastReceiver學習筆記
需要注意 的是,不要在 onreceive 方法中新增過多的邏輯或者進行任何的耗時操作,因為在廣播接收 器中是不允許開啟執行緒的,當 onreceive 方法執行了較長時間而沒有結束時,程式就會報錯。有序broadcast，sendorderedbroadcast intent,null abort...
CDISC SDTM SE domain 學習筆記
整理翻譯自 sdtm ig 3.2 www.cdisc.org sdtm se subject elements 鞏固每個subject的epochs和elements的起止時間點.se對於有多個 時期的試驗有著重要的用處 如crossover試驗 se包含乙個subject從乙個element進入...