使用python標準庫urllib2訪問網頁

2021-09-06 15:45:09 字數 1083 閱讀 5608

#訪問不需要登入的網頁

######訪問需要登入的網頁

#步驟1. 建立乙個帶有cookie的opener

#步驟2. 提供使用者/密碼, 用這個opener訪問登入action url.

#         因為觸發了login_action, web 伺服器端就會為這個使用者初始化session

#步驟3. 還是使用這個opener訪問目標網頁.

上面是使用urllib2的示例, 初步看了一下requests包, session(對於客戶端來講, 即cookie)可使用上下文方式來寫, 更直觀一些.

Python標準庫之資料抓取模組urllib

urllib是python內建的http請求庫,它包含四個子模組 request模組,它是最基本的 http 請求模組,我們可以用它來模擬傳送一請求,就像在瀏覽器裡輸入 然後敲擊回車一樣,只需要給庫方法傳入 url 還有額外的引數,就可以模擬實現這個過程了。error模組即異常處理模組,如果出現請求...

使用 Python 標準庫進行效能測試

在 python 標準庫裡面有兩個模組可以用來做效能測試。1.乙個是 profile,它是乙個純 python 的實現,所以會慢一些,如果你需要對模組進行拓展,那麼這個模組比較合適。2.第二個是 cprofile,從名字就可以看出這是乙個 c 語言的實現版,官方推薦在大多數情況下使用。這兩者的介面和...

Python標準庫shutil模組使用方法解析

shutil.rmtee 刪除目錄及以內的所有檔案。import shutil shutil.rmtree r d python 222 包括222在內的所有檔案全部刪除。shutil.move 重新命名檔案或資料夾 impwww.cppcns.comort shutil shutil.move 源...