模擬登入後抓取成績，計算績點。
#-*- coding: utf-8 -*-
import
urllib
import
urllib2
import
cookielib
import
reimport
string #
績點運算
class
sdu:
#類的初始化
def__init__
(self):
#登入url
self.loginurl = '
'#成績url
self.gradeurl = '
'#cookiejar物件
self.cookies =cookielib.cookiejar()
#表單資料
self.postdata =urllib.urlencode()
#構建opener
#學分list
self.credit =
#成績list
self.grades =
defgetpage(self):
req =urllib2.request(
url =self.loginurl,
data =self.postdata)
result =self.opener.open(req)
result =self.opener.open(self.gradeurl)
#返回本學期成績頁面
return result.read().decode('
gbk')
defgetgrades(self):
#獲得本學期成績頁面
page =self.getpage()
#正則匹配
myitems = re.findall('
.*?(.*?)
.*?(.*?)
.*?'
,page,re.s)
for item in
myitems:
'gbk'))
gbk'
)) self.getgrade()
defgetgrade(self):
#計算總績點
sum = 0.0weight = 0.0
for i in
range(len(self.credit)):
if(self.grades[i].isdigit()):
sum += string.atof(self.credit[i])*string.atof(self.grades[i])
weight +=string.atof(self.credit[i])
print u"
本學期績點為:
",sum/weight
sdu =sdu()
sdu.getgrades()
使用python爬取免費IP並驗證
人生苦短，我用python 1全部 import requests import re 目標位址 get請求到的資料 response requests.get url,headers headers 獲取源 html response.text re.s換行的干擾 正則匹配到源 中的ip和埠 ip...
python動態爬取知乎 python爬取微博動態
在初學爬蟲的過程中，我們會發現很多 都使用ajax技術動態載入資料，和常規的 不一樣，資料是動態載入的，如果我們使用常規的方法爬取網頁，得到的只是一堆html 沒有任何的資料。比如微博就是如此，我們可以通過下滑來獲取更多的動態。對於這樣的網頁該如何抓取呢？我們以微博使用者動態為例，抓取某名使用者的文...
爬蟲4 cookie登陸並爬取學習成績
最近專案太忙了，都沒空繼續學習爬蟲，前幾天實驗了各種姿勢帶cookie去登陸，都沒有成功，不明覺厲 依然沒有放棄，今天用同樣的辦法登陸以前大學的 居然成功了，我真是一臉懵逼 又看了一遍以前的學習成績，真是恨不得給自己兩耳屎，青春都讓狗吃了 哦，對了，以前還有一段學selenium的學習筆記，空了整理...