direct:在spark1.3之後，引入了direct方式。不同於receiver的方式，direct方式沒有receiver這一層，其會週期性的獲取kafka中每個topic的每個partition中的最新offsets，之後根據設定的maxrateperpartition來處理每個batch。（設定spark.streaming.kafka.maxrateperpartition=10000。限制每秒鐘從topic的每個partition最多消費的訊息條數）。
(2) 對比這2中方式的優缺點：
2、高效能
3、一次且僅一次的事務機制
cdh完美整合kafka
具體實現的簡要步驟可參照cloudera官網提供的文件 下面就是我根據這個文件的整合過程。csd包 關閉集群，關閉cm服務 假如不關閉cm服務，會出現在新增kafka服務時找不到相關的服務描述 將csd包放到cm安裝節點下的 opt cloudera csd目錄下，如圖 將parcel包放到cm安裝...
SpringBoot整合kafka集群
本文整合基於springboot2.0 kafka版本kafka 2.12 2.3.0，使用org.springframework.kafka來做的整合 專案目錄結構 pom.xml依賴 本配置檔案是才用的併發批量消費方式，bootstrap servers是我們集群的機器位址 生產者control...
CDH集群整合kafka
1.cdh環境已經搭建成功，在cdh上搭建kafka，要求用cdh上zookeeper管理kafka而不用kafka自帶的zookeeper 2.kafka 2.11 0.8.2.1.tgz已經上傳到kafka集群環境中 修改hosts 10.10.0.11 s1 1 10.10.0.12 s1 2...