學python爬蟲第三天

這個就需要手動去**裡面找cookie

然後複製到**裡，超長cookie

import requests

# 定義請求的url
url =
''# 定義請求頭資訊
headers =
# 發起get請求
res = requests.get(url=url,headers=headers)
# 獲取相應狀態碼
code = res.status_code
print
(code)
# 響應成功後把響應內容寫到檔案中
if code ==
200:
with
open
('./test.html'
,'w'
,encoding=
'utf-8'
)as fp:
fp.write(res.text)

import requests

# 需要請求的目標位址
url =
''# 登入請求的位址
loginurl =
''# 請求頭
headers =
# 如果希望爬蟲程式主動記錄cookie並且攜帶cookie，那麼在使用requests之前先使用session方法
# 並且使用session方法返回的物件傳送請求即可
rep = requests.session(
)# 登入請求的資料
data =
# 傳送登入請求
res = rep.post(url=loginurl,headers=headers,data=data)
# 判斷狀態
code = res.status_code
print
('code:'
,code)
if code ==
200:
# 傳送新的請求，去獲取目標資料
res = rep.get(url=url,headers=headers)
with
open
('rr.html'
,'w'
,encoding=
'utf-8'
)as fp:
fp.write(res.text)

small tips:

with open('rr.html','w',encoding='utf-8') as fp: fp.write(res.text)

這個write()函式讀入的必須是str型別，所open()函式中，需要有encoding=『utf-8』

請求的data資料的話，就前端可以get的

學python的第三天

一 while迴圈 二 使用while迴圈實現 0 100相加 i 1 sum 0 while i 100 num sum i sum i i 1 print sum print 第一次迴圈 i 1，sum 0，sum sum i 0 1 1，sum 1，i 2 第二次迴圈 sum 1，i 2，su...

爬蟲小試第三天

coding utf 8 import sys import urllib2 import datetime import random from bs4 import beautifulsoup reload sys sys.setdefaultencoding utf8 links 鏈結 nam...

爬蟲的第三天

聚焦爬蟲 爬取頁面中指定的頁面內容 正則解析爬取專案實戰 import requests import re import os if name main if not os.path.exists qiutulibs os.mkdir qiutulibs 設定乙個通用的url模板 url head...