python之websocket資料爬取

2021-09-24 14:54:12 字數 2336 閱讀 5844

首先我爬取的是 貨幣網的

爬取商家的購買和**的資料

下面是我利用websocket庫進行爬取的**

不廢話,直接上碼.

import json, time

from websocket import create_connection

class otc:

#number 是區分購買和**

number = 0

#這個 url 是websocket 長連線的url

url = 'wss:'

#定義好請求的資料

exc_symbol =

exc_symbol_2 =

def get_web_socket(self):

while 1:

if self.number == 0:

try:

# 鏈結伺服器

ws = create_connection(self.url)

except exception as e:

print('retry to connect...')

continue

# 傳送訊息,把請求的資料類似於post表單的資料傳送給伺服器獲取想要的資料

ws.send(json.dumps(self.exc_symbol))

# 接收訊息,然後把資料處理一下列印!

data = ws.recv()

result = json.loads(data)

tradelist = result['datas']['tradelist']

spiderdata =

for trade in tradelist:

info_data = {}

info_data['商家'] = (trade['username']) # 商家資訊

info_data['訂單量'] = (trade['lastordercount']) # 訂單量

number = trade['amount'][0:6]

info_data['數量'] = number # 數量

fixedprice = trade['fixedprice'][0:6]

info_data['單價'] = fixedprice # 單價

print(spiderdata)

print("-" * 200)

self.number += 1

# 資料監測間隔

time.sleep(1)

# 這裡是爬取**的資料

if self.number == 1:

try:

ws = create_connection(self.url)

except exception as e:

print('retry to connect...')

continue

# 傳送訊息

ws.send(json.dumps(self.exc_symbol_2))

# 接收訊息

data = ws.recv()

result = json.loads(data)

tradelist = result['datas']['tradelist']

spiderdata =

for trade in tradelist:

info_data = {}

info_data['商家'] = (trade['username']) # 商家資訊

info_data['訂單量'] = (trade['lastordercount']) # 訂單量

number = trade['amount'][0:6]

info_data['數量'] = number # 數量

fixedprice = trade['fixedprice'][0:6]

info_data['單價'] = fixedprice # 單價

print(spiderdata)

print("-" * 200)

self.number += 1

# 資料監測間隔

這是我爬取的結果

謝謝!

spring boot整合websocket模組

size medium color red b 1.什麼是websocket b color size 首先,color blue b websocket是乙個持久化的協議,相對於http這種非持久的協議來說。b color 簡單的舉個例子吧,用目前應用比較廣泛的php生命週期來解釋。1 http的...

k8s ingress配置websocket支援

問題分析 表現形式 websocket鏈結 報錯 200 1copywebsocket connection to ws faile error during websocket handshake unexpected response code 200 猜測引起原因以及應對方式 解決方案 由於k...

k8s ingress配置websocket支援

具體來說,使用的ingress controller不一樣,有關的設定也不太一樣 參考 在 nginx ingress controller 中預設已經支援websocket訪問,官方文件中說明websocket不需要特別的配置,但需要在註解中配置以下三項 網上看到的另一種寫法配置 沒實踐過,若是配...