1. 一旦對kafka啟用sentry授權以後，kafka使用者就是管理員，一切管理員操作都需要使用kafka使用者來操作，這個與我們在hive/impala中使用sentry時，hive使用者是管理員原理是一樣的
2. 如果只是測試系統，建議將sentry許可權的cache重新整理間隔調低，這次測試由預設的30s改為了1ms，如果使用預設，將需要等待30s才能讓新的許可權生效。
3. 在給topic賦權read或者write許可權時，務必同時帶上describe許可權，否則許可權不生效。當然你也可以將許可權設定為all。
1.all，代表資源的所有操作
2.read
3.write
4.create
5.delete
6.alter
7.describe
8.clusteraction
#kafka服務的超級管理員為kafka
kinit kafka/admin
#列出sentry中的角色
kafka-sentry -lr
#建立角色
kafka-sentry -cr -r xiet
#將角色賦予給使用者組
kafka-sentry -arg -r xiet -g xiet
#給角色賦權可以給testtopic寫入許可權
kafka-sentry -gpr -r xiet -p "topic=testtopic->action=write"
#給角色賦權可以給testtopic的describe許可權
kafka-sentry -gpr -r xiet -p "topic=testtopic->action=describe"
#給角色賦權可以給testtopic的read許可權
kafka-sentry -gpr -r xiet -p "topic=xt_test_flume2hdfs->action=read"
#給消費組讀許可權
kafka-sentry -gpr -r xiet -p "consumergroup=testgroup->action=read"
#給消費組讀許可權
kafka-sentry -gpr -r xiet -p "consumergroup=testgroup->action=describe"
#檢視topic消費資訊
kafka-run-class kafka.tools.consumeroffsetchecker --zookeeper beta2:2181 --group test --topic kafka_kudu_topic_offset_3
hive整合sentry的sql使用語法
sentry許可權控制通過beeline hiveserver2 sql 命令列介面 輸入grant 和 revoke語句來配置。語法跟現在的一些主流的關聯式資料庫很相似。需要注意的是 當sentry服務啟用後，我們必須使用beeline介面來執行hive查詢，hive cli並不支援sentry。...
kafka整合sparkStreaming問題
direct 在spark1.3之後，引入了direct方式。不同於receiver的方式，direct方式沒有receiver這一層，其會週期性的獲取kafka中每個topic的每個partition中的最新offsets，之後根據設定的maxrateperpartition來處理每個batch。...
Kafka與flume的整合
為我們的source channel sink起名 a1.sources r1 a1.channels c1 a1.sinks k1 指定我們的source收集到的資料傳送到哪個管道 a1.sources r1.channels c1 指定我們的source資料收集策略 a1.sources r1....