Python urllib2使用總結

2021-08-03 08:51:31 字數 1183 閱讀 7763

import urllib2


response=urllib2.urlopen('')


html=response.read()
這個過程就是基於簡單的請求-響應的模型：

response=urllib2.urlopen('')
實際上可以看作兩個步驟：

1、我們向指定網域名稱傳送請求：

request=urllib2.request('')
接著伺服器響應客戶端傳送的請求：

response=urllib2.urlopen(request)
二、有的時候我們在重新整理網頁的時候，還會涉及到向網頁提交資料的行為，這時urllib2的使用是這樣的：

import urllib


import urllib2


url =


''info = 


data


= urllib.urlencode(info)  


req = urllib2.request(url, data)


response = urllib2.urlopen(req)


the_page = response.read()
三、但是咱們有的時候也會遇到，自己的程式請求也對，但是伺服器還是會拒絕訪問。在這個問題當中就涉及到請求當中的頭資訊的問題（header）。有的伺服器設計了標頭檔案來防止程式去訪問它。這時候就需要咱們偽裝成瀏覽器來傳送請求。而這個請求的方式包含在header中。以下就是訪問的**：

import urllib


import urllib2


url = ''


user_agent = 'mozilla/4.0 (compatible; msie 5.5; windows nt)'


# 將user_agent寫入頭資訊


values = 


headers = 


data = urllib.urlencode(values)


req = urllib2.request(url, data, headers)


response = urllib2.urlopen(req)


the_page = response.read()

python urllib2使用心得

python urllib2使用心得 1 http get請求 過程 獲取返回結果，關閉連線，列印結果 f urllib2.urlopen req,timeout 10 the page f.read f.close print the page 2 http get請求 包頭 paras toke...

python urllib2查詢資料

最近為了更好的查詢老王python的外鏈，所以準備寫乙個python urllib2 查詢指令碼來查詢，一般查詢外鏈比較準確的工具還是yahoo的外鏈工具，但是有點不方便的就是，yahoo查出的外鏈要一頁一頁的翻，好累而且不好方便統計，我是想把 的外鏈全部讀取到檔案裡，這樣比較好在本地來進行統計。廢...

Python urllib2產生殭屍程序

最近發現，python 會產生很多殭屍程序，之前未發現，自從使用urllib2模組發http請求之後，便產生了大量殭屍程序，確定是由於urllib2產生，原始 如下 req urllib2.request url urllib2.urlopen req 最開始，想當然的任務，http請求不是長連線，...