python爬蟲 2 requests使用

基本用法-獲取內容

import requests

headers = {'accept-encoding': 'gzip, deflate',
'accept-language': 'zh-cn,zh;q=0.8',
'connection': 'keep-alive',
'user-agent': 'mozilla/5.0 (x11; ubuntu; linux x86_64; rv:22.0) gecko/20100101 firefox/22.0',
url = ''
r = requests.get(url=url, headers=headers)
r.encoding='utf-8'
# byte型別內容
# print(str(r.content))
# unicode內容
# print(r.text)
# 響應頭
print(r.headers)
# cookies
print(r.cookies)
# 狀態碼
print(r.status_code)

#構建乙個有cookie內容的請求

headers_had_jseid = {'accept-encoding':'gzip, deflate','accept-language':'zh-cn,zh;q=0.8','connection':'keep-alive',
#get模擬請求
source_xj=requests.get(url_xj,headers=headers_had_jseid)

每次get相當於重新用個瀏覽器訪問新**，session相當於在**內瀏覽不同頁面，可以維持之前的記錄

# 會話維持

s=requests.session()
r=s.get(url=url)
print(r.text)

Python爬蟲 HTTP協議 Requests庫

http協議 http hypertext transfer protocol 即超文字傳輸協議。url是通過http協議訪問資源的internet路徑，乙個url對應乙個資料資源。http協議對資源的操作 requests庫提供了http所有的基本請求方式。官方介紹 requests庫的6個主要方...

python 爬蟲系列02 認識 requests

本系列所有文章基於 python3.5.2 requests 是基於 urllib 的三方模組,相比於 uillib,操作更簡潔,功能更強大,而且支援 python3 getimport requests r requests.get url print r.status code print r....

python小白學習記錄 爬蟲requests篇

一 引用庫 import requests 二 請求訪問url，網頁相應 res requests.get 網頁位址 三 表明返回內容 目前返回的response物件有四種屬性 status code 檢查請求是否成功 content 將資料轉換為二進位制資料 text 將資料轉換為字串型資料 en...