切換到kafka後台安裝目錄
檢視所有topic
./kafka-topics.sh --list --zookeeper xx.xx.xx.xx:2181
檢視所有groupid
./kafka-consumer-groups.sh --new-consumer --bootstrap-server xx.xx.xx.xx:9092 --list
顯示某個消費組的消費詳情（支援0.9版本+）這個當前消費的offset是unknown，好像是因為日誌過期了，沒查到怎麼恢復
0.8版本的消費程式用 從zk取
./kafka-consumer-offset-checker.sh --zookeeper xx.xx.xx.xx:2181 --topic *** --group ***x --broker-info
查出來的offset為 最新offset logsize為消費到的offset lag為消費積壓
./kafka-consumer-groups.sh --new-consumer --bootstrap-server xx.xx.xx.xx:9092 --describe --group cis_test 查詢結果如下圖 從broker取
檢視topic最小offset
./kafka-run-class.sh kafka.tools.getoffsetshell --broker-list xx.xx.xx.xx:9092 -topic *** --time -2
檢視topic最大offset
./kafka-run-class.sh kafka.tools.getoffsetshell --broker-list xx.xx.xx.xx:9092 -topic *** --time -1
按時間戳查offset
./kafka-run-class.sh kafka.tools.getoffsetshell --broker-list xx.xx.xx.xx:9092 -topic *** --time 1595492638000
Flink 實時計算 維表 Join 解讀
flink 1.9 版本可以說是乙個具有里程碑意義的版本，其內部合入了很多 blink table sql 方面的功能，同時也開始增強 flink 在批處理方面的能力，真的是向批流統一的終極方向開始前進。flink 1.9 版本在 8.22 號也終於發布了。本文主要介紹學習 flink sql 維表...
Spark Streaming實時計算框架介紹
隨著大資料的發展，人們對大資料的處理要求也越來越高，原有的批處理框架mapreduce適合離線計算，卻無法滿足實時性要求較高的業務，如實時推薦 使用者行為分析等。spark streaming是建立在spark上的實時計算框架，通過它提供的豐富的api 基於記憶體的高速執行引擎，使用者可以結合流式 ...
Spark Streaming實時計算框架介紹
隨著大資料的發展，人們對大資料的處理要求也越來越高，原有的批處理框架mapreduce適合離線計算，卻無法滿足實時性要求較高的業務，如實時推薦 使用者行為分析等。spark streaming是建立在spark上的實時計算框架，通過它提供的豐富的api 基於記憶體的高速執行引擎，使用者可以結合流式 ...