python爬蟲之requests模組

python中原生的一款基於網路請求的模組，功能非常強大，簡單便捷，效率極高，

作用是模擬瀏覽器發請求。

指定url

傳送請求

獲取相應資料

持久化儲存

pip install requests

import requests

# 一、指定url
url = ''
# 二、傳送請求
# 三、用get請求返回乙個響應物件
response = requests.get(url=url)
# 獲取響應資料
page_text = response.text
# 四、持久化儲存
分析請求方式為：get方式
請求url為：web
響應頭返回的 content-type 型別為:text/html
攜帶的引數：其中query為我們搜尋的內容
# ua偽裝:將對應的 user-agent 封裝到乙個字典（請求頭）中
headers = 
url = 'web'
# 處理url攜帶的引數:封裝到字典中
param = 
# 對指定的url發起的請求對應的url是攜帶引數的，並且請求過程中處理了引數
response = requests.get(url=url, params=param, headers=headers)
page_text = response.text
filename = kw+'.html'
# 持久化儲存
分析請求方式為：post方式
請求url為：
攜帶的引數：其中kw為我們搜尋的單詞
# ua偽裝:將對應的 user-agent 封裝到乙個字典中
headers = 
url = ''
kw = input('翻譯輸入:\n')
data = 
response = requests.post(url=url, data=data, headers=headers)
result = response.json()
# 輸出翻譯結果
print('翻譯結果:')
for word in result['data']:
print(word['k'], word['v'])
# 持久化儲存
分析請求方式為：get方式
請求url為：
攜帶的引數：
type：分類對應的編號
start: 開始的排名（排名從0開始）
limit: 排名的個數
**
import json

from unittest import result
import requests
url = ''
# ua偽裝:將對應的 user-agent 封裝到乙個字典中
headers = 
param = 
response = requests.get(url=url, params=param, headers=headers)
result = response.json()
# 輸出結果
for moive in result:
print('排名:,電影名:'.format(moive['rank'], moive['title']))
# 持久化儲存
fp = open('douban.json', 'w', encoding='utf-8')
json.dump(result, fp=fp, ensure_ascii=false)
json格式化工具

需求：在肯德基餐廳資訊查詢**爬取餐廳資訊
輸入：城市
**：
import json

import requests
from fake_useragent import useragent
url = ''
keyword = input('請輸入要查詢的城市:')
# 請求攜帶引數
data = 
# 隨機ua偽裝
headers = 
# 獲取響應資料
response = requests.post(url=url, headers=headers, data=data)
reture_data = response.text
# 持久化儲存
fp1 = open('肯德基餐廳資訊.json', 'w', encoding='utf-8')
json.dump(obj=reture_data, fp=fp1, ensure_ascii=false)
fp1.close()
# 資料視覺化
result = json.loads(reture_data)
fp2 = open('肯德基餐廳表.csv', 'w', encoding='utf-8')
fp2.write('編號,餐廳名稱,餐廳位址\n')
for pos in result['table1']:
fp2.write(',,\n'.format(
pos['rownum'], pos['storename'], pos['addressdetail']))
fp2.close()
print('總共有個結果,資料儲存成功'.format(result['table'][0]['rowcount']))
				
Python爬蟲 HTTP協議 Requests庫
http協議 http hypertext transfer protocol 即超文字傳輸協議。url是通過http協議訪問資源的internet路徑，乙個url對應乙個資料資源。http協議對資源的操作 requests庫提供了http所有的基本請求方式。官方介紹 requests庫的6個主要方...
				
python 爬蟲系列02 認識 requests
本系列所有文章基於 python3.5.2 requests 是基於 urllib 的三方模組,相比於 uillib,操作更簡潔,功能更強大,而且支援 python3 getimport requests r requests.get url print r.status code print r....
				
python小白學習記錄  爬蟲requests篇
一 引用庫 import requests 二 請求訪問url，網頁相應 res requests.get 網頁位址 三 表明返回內容 目前返回的response物件有四種屬性 status code 檢查請求是否成功 content 將資料轉換為二進位制資料 text 將資料轉換為字串型資料 en...