python爬蟲基礎封裝函式

2021-08-22 19:39:23 字數 1930 閱讀 8412

# 匯入包，模組


#儲存cookie


#對於有登入是  所將使用者記錄下來 ，  


class session(object):


def __init__(self):


cookie_object = cookiejar.cookiejar()


#handler  對應著乙個操作


#呼叫handler內部的乙個函式，儲存到cookie  object


self.opener = request.build_opener(handler)


# get請求時


def get(self, url, headers=none):


return get(url, headers, self.opener)


#post請求時


def post(self, url, from, headers=none):


return post(url, form, headers, self.opener)


# 定義函式


# get方法


def get(url, headers=none):


return urlrequests(url, headers=headers)


# post方法


def post(url, form, headers=none):


return urlrequests(url,form, headers = headers)


# 進行封裝函式


# 1.傳入url


# 2.user_agent


# 3.headers


# 4.定義request


# 5.urlopen


# 6.返回byte陣列


def urlrequests(url, form =none, headers=none):


if headers == none:


headers = 


html_bytes = b''


try:


if form:


# post  轉換成str


from_str = parse.urlencode(


form)


# 轉換成bytes


# #post訪問


# html_bytes = post(url, form=form)


# print(html_bytes)


url = ''


# get訪問


html_byte = get(url)


print(html_byte)

基礎爬蟲函式封裝

匯入模組 import json 封裝get 請求 defget url,headers none return urlrequests url,headers headers 封裝post 請求 defpost url,form,headers none return urlrequests ur...

爬蟲基礎 函式封裝 更新一

匯入包，模組 儲存cookie 對於有登入是 所將使用者記錄下來 class session object def init self cookie object cookiejar.cookiejar handler 對應著乙個操作 呼叫handler內部的乙個函式，儲存到cookie objec...

封裝函式爬蟲

分析貼吧的url規律。第1頁 pn 0 第2頁 pn 50 第3頁 pn 100 pn是控制頁碼的。著重關注 封裝的思路。from urllib import request,parse import osimport ssl 解決ssl證書問題 處理url，返回request def handle...