前期準備：
一.kafka原始碼構建
二.配置kafka
在kafka服務端使用log4j輸出日誌，啟動前需要把config目錄下的log4j.properties配置檔案放置到src/mai/scala路徑下，然後執行程式，才能正確輸出日誌資訊。
config目錄下的server.porperties是kafka的主要配置檔案，我們需要修改log.dirs用於儲存log檔案
log.dirs=d:\\kafka-0.10.0.1-src\\kafka-logs第一次啟動kafka時，idea會編譯整個專案，得到如下日誌資訊
三.驗證
開啟zookeeper和並啟動kafka伺服器
啟動生產者producer
啟動消費者consumer
在producer中輸入你好，我們就可以在看到 這條訊息出現在consumer，則表明搭建成功
spark streaming讀取kafka示例
spark streaming讀取kafka示例，其中 spark streaming優雅的關閉策略優化部分參考 如何管理spark streaming消費kafka的偏移量部分參考 spark向kafka中寫入資料部分參考 object demo 建立streamingcontext return...
SparkStreaming 整合kafka例項
核心概念 下面介紹kafka相關概念,以便執行下面例項的同時，更好地理解kafka.接下來在ubuntu系統環境下測試簡單的例項。按順序執行如下命令 進入kafka所在的目錄 命令執行後不會返回shell命令輸入狀態,zookeeper就會按照預設的配置檔案啟動服務,請千萬不要關閉當前終端.啟動新的...
SparkStreaming讀取KafKa資料
import org.apache.kafka.common.serialization.stringdeserializer import org.apache.spark.sparkconf import org.apache.spark.streaming.kafka010.kafkautil...