python3 連線kafka生產測試資料

log：

pip3 install kafka

pip3 install kafka-python

1.通過指令碼實現讓kafka生產測試資料，測試下游業務服務效能

2.可以增加執行緒池，讓多執行緒併發執行，效果更好

# !/usr/bin/env python

# -*- encoding: utf-8 -*-
# @author : yyq
import datetime
import json
import random
import time
from itertools import islice
from kafka import kafkaproducer
time1 = time.time()
#生產的機器
producer = kafkaproducer(bootstrap_servers='192.168.xx.xx:9092,192.168.xx.xx:9092')
# 訊息體
data = 
#獲取檔案資料
a = open("id.txt", "r")
for i in range(3):
#更新json資料
data["currentgradeid"] = random.randint(335501, 335506)
data["occurrence_ts"] = int(time.time()*1000)
data["detection_ts"] = int(time.time()*1000)
data["key"] = "event" + str(i)
#傳入檔案變數
for k in islice(a, 0, i):
#移除讀取到的回車符
line = k.strip('\n')
data["memberid"] = str(line)
#格式為字元型別
msg = json.dumps(data).encode()
#寫入訊息
future = producer.send('topic', msg)
record_metadata = future.get(timeout=10)
#print(record_metadata, datetime.datetime.now().strftime('%y-%m-%d %h:%m:%s'))
time2 = time.time()
print("總耗時：", time2-time1)

Python3 連線資料庫

author runfas description 利用tkinter建立乙個登入資料庫的視窗 time 2018 2 8 weichat srf80556635 15992667848 一 本文介紹python3 連線資料庫的操作 winodw平台下，其他平台暫時沒試過 1.pymysql介紹 p...

python3連線MySQL資料庫

在學習head first python 第7掌的時候，學習到用flask寫乙個web頁面，並把查詢到資料儲存在資料庫中 其中一段 def log request req flask request res str none import pymysql 書中介紹的是import mysql.con...

Python3連線MySQL並執行語句

完整流程 import pymysql test pymysql.connect localhost root root test1225 curs test.cursor curs.execute drop table if exists xixi sql create table xixi na...