安裝非標準python庫
python標準庫中,用於網頁資料採集的有urllib庫,同樣,有很多優秀的開源庫,像beautifulsoup庫、requests庫等。
接下來就介紹一些開源庫的安裝方法。
下面檢查
python
是否安裝成功,開啟命令列視窗(或者快捷鍵:windows 徽標鍵+r),後輸入
python
進行查詢,如顯示下圖的資訊則表示成功了。
urllib和urllib2
python2.x裡urllib2庫,在python3.x裡,urllib2改名為urllib,被分成一些子模組:urllib.request, urllib.parse和urllib.error。儘管函式名稱大多數和原來一樣,但是在用新的urllib庫時需要注意哪些函式被移動到子模組裡了。
urllib是python的標準庫,包含了從網路請求資料,處理cookie,甚至改變像請求頭和使用者**這些元資料的函式。
urlopen用來開啟並讀取乙個從網路獲取的遠端物件。它可以輕鬆讀取html檔案、影象檔案或其他任何檔案流。
1、首先輸入python,如下圖顯示python安裝成功。2、在輸入pip install beautifulsoup4安裝bs4,安裝成功後輸入from bs4 import beautifulsoup,如果沒有顯示任何內容,表示安裝成功。3、在輸入from urllib.request import urlopen,如果沒有顯示任何內容,表示安裝成功。
注意:以下安裝就在window系統中。
urllib是python3.x中提供的一系列操作url的庫,他可以輕鬆模擬使用者使用瀏覽器訪問網頁
1、使用步驟(1)匯入urllib庫的request模組from urllib import
request
(2)請求url resp = request.urlopen('')
(3)使用響應物件輸出資料 print(resp.read().decode("utf-8"))
又因為瀏覽器訪問伺服器時會攜帶user-agent資訊:使用瀏覽器的型別,作業系統型別,瀏覽器版本等,目的是告訴伺服器這是乙個真正的瀏覽器,而不是乙個爬蟲。
有一些**,根據是否攜帶user-agent資訊判斷是否是爬蟲,如果檢查出將報錯。
from urllib import request
req = request.request("")
resp = request.urlopen(req)
print(resp.read().decode("utf-8"))
2、使用post請求:在提交表單資料時。匯入urllib庫下面的parse:from urllib import parse
使用urlencode生成post資料:postdata = parse.urlencode([(key1,val1),(key2,val2),(keyn,valn)])
使用request.urlopen(req,data=postdata.encode('utf-8'))
得到請求狀態resp.status
得到伺服器的型別:resp.reason
from urllib.request import urlopen
from urllib.request import request
from urllib import parse
req = request("")
postdata = parse.urlencode([
("startstation", "2f940836-cedc-41ef-8e28-c2336ac8fe68"),
("endstation", "977abb69-413a-4ccf-a109-0272c24fd490"),
("searchdate", "2018/03/27"),
("searchtime", "22:00"),
("searchway", "arrivalinmandarin")])
resp = urlopen(req, data=postdata.encode("utf-8"))
print(resp.read().decode("utf-8"))
手機python庫安裝 python庫安裝
標籤 這幾天開始想學習python進行大資料處理,但是要對其中庫檔案要進行擴充套件出現了一下問題,在此直接展示一下 2 在這裡我用的是python2.7版本,本來python2.6之下的版本要安裝第三方的庫檔案的時候,要自己安裝pip和setuptool這兩個安裝庫檔案,在python2.7之後版本...
Python的Requests庫詳解
方法 說明requests.request 構造乙個請求,用來支撐以下基礎方法 requests.get 獲取html網頁的主要方法,對應於http的get requests.head 獲取html網頁頭資訊的方法,對應於http的head requests.post 向html網頁提交post請求...
Python安裝目錄詳解
最常用到的就是圖中標出的python參考文件與python的標準庫。具體 dlls python的動態鏈結庫,跟編譯器有關,和python 程式設計關係不大 doc python的參考書,有很多例項 lnclude python編譯器的c語言原始碼 lib 這個庫很重要,是python的標準庫,你擴...