python獲取xueqiu資料並儲存mysql

2021-08-23 14:42:43 字數 1509 閱讀 4916

from urllib import request

import json

import pymysql

headers =

# 定義初始id

html_id = -1

# 定義初始count

count = 10

# 獲取三次ajax資料

for i in range(3):

# url**

url = ''.format(html_id,count)

# 傳送請求

req = request.request(url, headers=headers)

# 接受資料

response = request.urlopen(req)

# 轉換成str格式

html = response.read().decode('utf-8')

# 裝換成dict格式 字典

html_list = json.loads(html)

# 獲取新的id 建立下次的url

html_id = html_list['next_max_id']

# 定義新的count 建立下次的url

count = 15

# print(html_list)

# 迴圈拿出每條資料

for i in html_list['list']:

# 轉換成字典,並拿出資料

data_sr = json.loads(i['data'])

# 獲取所需要的資料

uid = data_sr['id']

title = data_sr['title']

description = data_sr['description']

target = data_sr['target']

# 列印預覽

print(uid,title,description,target)

# 每次資料的分割線

print('--'*50)

# 連線mysql

db = pymysql.connect(host='127.0.0.1', user='root', password='123456', port=3306, database='python')

# 建立游標

cursor = db.cursor()

# 準備sql語句

sql = '''insert into xueqiu(uid,title,description,target) values ("{}","{}",'{}',"{}")'''.format(uid,title,description,target)

# 游標執行sql語句

cursor.execute(sql)

# 提交sql語句 預設沒有自動提交

db.commit()

# 關閉游標

cursor.close()

# 關閉連線

db.close()

python 獲取帶權重的隨機數

usr bin env python coding utf 8 import random def random weight weight data total sum weight data.values 權重求和 ra random.uniform 0,total 在0與權重和之前獲取乙個隨機...

獲取隨機數

c 中提供了隨機數函式rand 但是這個函式其實提供的數字是有限的,大概是0 32767,所以這就導致了兩個問題 1 獲取的的數字並不是隨機的,比如要取0 99的隨機數,那麼一般就是rand 100,由於32767 100 67,所以0 67的數字獲得到的次數會比68 99多一次。2 無法獲取到比3...

python 獲取日期 python 獲取日期

python 獲取日期我們需要用到time模組,比如time.strftime方法 time.strftime y m d time.localtime time.time 最後用time.strftime 方法,把剛才的一大串資訊格式化成我們想要的東西,現在的結果是 2013 03 31 time...