0、集群環境介紹
10.20.201.51 namenode resourcemanager hmaster spark
10.20.201.52 namenode resourcemanager hmaster spark
10.20.201.53 datanode nodemanager hregionserver spark zookeeper kafka kafkaconnect
10.20.201.54 datanode nodemanager hregionserver spark zookeeper kafka kafkaconnect
10.20.201.55 datanode nodemanager hregionserver spark zookeeper kafka kafkaconnect
10.20.201.56 mysql hive
192.168.112.201 flume kafkaconnect
1.zookeeper集群
啟動 zkserver.sh start
停止 zkserver.sh stop
察看狀態 zkserver.sh status
2.kafka集群
啟動 53 54 55三颱執行同樣的命令
停止 53 54 55三颱執行同樣的命令
topic操作
3.資料採集(kafka生產端 192.168.112.201)
3.1 flume jdbc 外掛程式採集mysql資料
flume啟動命令
3.2 kafka connect jdbc採集mysql資料
nohup ./bin/connect-standalone ./etc/kafka/connect-standalone.properties ./etc/kafka-connect-jdbc/connect-mysql-source.properties > connect.out 2>&1
4.資料消費
4.1 kafka connect集群
啟動 53 54 55三颱執行同樣的命令
connect操作示例
curl localhost:8083/connectors | jq
curl localhost:8083/connector-plugins | jq
curl localhost:8083/connectors/test-mysql-sink | jq
curl localhost:8083/connectors/test-mysql-sink/config | jq
curl localhost:8083/connectors/test-mysql-sink/status | jq
curl localhost:8083/connectors/local-file-sink/tasks | jq
curl localhost:8083/connectors/test-mysql-sink/tasks/0/status | jq
curl -x post localhost:8083/connectors/test-mysql-sink/restart
curl -x post localhost:8083/connectors/test-mysql-sink/tasks/0/restart
curl -x put localhost:8083/connectors/local-file-sink/pause
curl -x put localhost:8083/connectors/local-file-sink/resume
curl -x delete localhost:8083/connectors/local-file-sink
4.2 spark streaming
Hadoop Flume實時日誌採集元件整合搭建
flume的安裝非常簡單 這就算安裝成功了。開始使用flume 根據資料採集需求配置採集方案，描述在配置檔案中 檔名可任意自定義 指定採集方案配置檔案，在相應的節點上啟動flume agent 先在flume的conf目錄下新建乙個檔案 vim 安裝路徑 apache flume 1.6.0 cdh...
實時資料採集傳輸軟體LDM執行
安裝 配置完成之後，下面來執行它。我們把ldm安裝在了 home ldm。1 cd home ldm ls lh 檢視軟鏈結。如果軟鏈結不能用rm runtime ln s ldm 6.11.6 runtime。2 bin ldmadmin mkqueue f 快速建立佇列 3 bin ldmadm...
Android 實時採集聲音的頻率和大小
注 筆者本不是專業人士,通過查了幾篇資料和請教軟體部門的同學搭的demo 如有不正確之處,請及時指出 1.原理 聲音大小省略,網上可以很好搜到 使用audiorecord類採集聲音資訊,通過傅利葉轉換,獲取聲音的頻率 2.audiorecord類說明 param audiosource 採集聲音源 ...