Python登入抓取JSON資料

2021-08-21 03:31:27 字數 1417 閱讀 3814

#python登入抓取json資料

#from http.comkie import cookiejar 上面那句和這句等同

loginurl=''登入提交

imgurl=""#驗證碼位址

cookie = http.cookiejar.cookiejar() # 宣告乙個cookiejar物件例項來儲存cookie

handler = urllib.request.httpcookieprocessor(cookie) # 利用urllib2庫的httpcookieprocessor物件來建立cookie處理器

opener = urllib.request.build_opener(handler)## 通過handler來構建opener

#response = opener.open(pinurl) # 此處的open方法同urllib2的urlopen方法,也可以傳入request

#for item in cookie:

#print('name = ' + item.name)

#print('value = ' + item.value)#列印cooke數值

params={} #dict字典資料型別

params['username']='admin'

params['password']='123789ac'#這裡寫上已有的使用者名稱和密碼

imgb = opener.open(img)

local = open('v.jpg','wb')#儲存驗證碼到本地

local.write(imgb.read())

local.close()

params["captcha"] = vcode

print(urllib.parse.urlencode(params).encode('utf-8'))

response = opener.open(pinurl,urllib.parse.urlencode(params).encode('utf-8'))

#print(response.read().decode('utf-8'))

#html = opener.open('')

jhtml = opener.open('')

hjson = json.loads(jhtml.read())# json字串轉換為python字典物件

vlist=jsonpath.jsonpath(hjson,"$.data[*]") #python形式的列表

for v in vlist:

print(v['name'])

php curl模擬登入抓取頁面資訊

在本專案中,使用php抓取四川大學綜合教務 的成績資訊 課程資訊以及登入使用者的基本資料,解析資料並存入資料庫,以實現對所得資訊的進一步分析,並呈現給使用者。本文主要記錄了使用curl模擬登入,獲取cookie1並進行資料抓取的過程。初始化乙個curl控制代碼 resource curl init ...

Python抓取網頁

在python中,使用urllib2這個元件來抓取網頁。coding utf 8 urllib2是python的乙個獲取urls uniform resource locators 的元件。import urllib2 它以urlopen函式的形式提供了乙個非常簡單的介面 response urll...

Python抓取小說

這個指令碼命令mac在抓取 寫,使用python它有幾個碼。coding utf 8 import re import urllib2 import chardet import sys from bs4 import beautifulsoup import codecs class spider...