python爬蟲基礎教程 requests庫(二)

2021-09-17 08:39:23 字數 1575 閱讀 4640

簡單使用

import requests

''''''

response = requests.get("")

#text返回的是unicode的字串,可能會出現亂碼情況

# print(response.text)

#content返回的是位元組,需要解碼

print(response.content.decode('utf-8'))

# print(response.url) #

# print(response.status_code) #200

# print(response.encoding) #iso-8859-1

新增headers和params

import requests

params =

headers =

response = requests.get("s",params=params,headers=headers)

#content返回的是位元組,需要解碼

f.write(response.content.decode('utf-8'))

爬去拉鉤網職位資訊

import requests

url = ""

data =

headers =

response = requests.post(url,data=data,headers=headers)

# print(response.text)

print(type(response.text)) #print(type(response.json())) #print(response.json()) #獲取為字典的形式

import requests

proxy =

response = requests.get("",proxies=proxy)

print(response.content.decode('utf-8'))

# _*_ coding:utf-8 _*_

import requests

# 1. 建立session物件,可以儲存cookie值

ssion = requests.session()

# 2. 處理 headers

# 3. 需要登入的使用者名稱和密碼

data =

# 4. 傳送附帶使用者名稱和密碼的請求,並獲取登入後的cookie值,儲存在ssion裡

ssion.post("", data = data)

# 5. ssion包含使用者登入後的cookie值,可以直接訪問那些登入後才可以訪問的頁面

response = ssion.get("")

# 6. 列印響應內容

print(response.text)

python爬蟲基礎教程 urllib庫(一)

encoding utf 8 from urllib import request res request.urlopen print res.readlines urlopen的引數 def urlopen url,data none,timeout socket.global default t...

python基礎教程

乙個簡單的客戶機 import socket s socket.socket host socket.gethostname port 1234 s.bind host,port s.listen 5 while true c,addr s.accept print got connection f...

Python基礎教程

本教程不包括python的安裝,ide採用spyder pytho2.7 1.print pow 2,3 8 print 2 3 8這裡pow函式表示乘方,與 功能相同。2.abs 10 10abs函式用來求乙個數的絕對值。3.round 0.6 1.0 round 0.4 0.0round函式將浮...