Python基礎學習 爬蟲小試2

import urllib.parse

import urllib.request
data =urllib.parse.urlencode()
url=""
request=urllib.request.request(url+'?'+data)
response=urllib.request.urlopen(request)
th_page=response.read().decode('utf8')
f=open('learnpy\\out.html','w',encoding='utf-8')
f.write(th_page)
f.close()
print("done")

上頭**是get方式，g

et方式是直接以鏈結形式訪問，鏈結中包含了所有的引數，當然如果包含了密碼的話是一種不安全的選擇，不過你可以直觀地看到自己提交了什麼內容。post則不會在**上顯示所有的引數。post參考下段**：

import urllib

import urllib2
values = 
data = urllib.urlencode(values) 
url = ""
request = urllib2.request(url,data)
response = urllib2.urlopen(request)
print response.read()

該段**適用於2.x版本

卡住的地方是文字的encode和decode

另：文字儲存要注意路徑設定！

經人介紹，安裝了第三方庫：requests

修改如下：

import requests

data =
url=""
request=requests.get(url, params=data)
f=open('out.html','w',encoding='utf-8')
f.write(request.text)
f.close()
print("done")

Python爬蟲入門（2） 爬蟲基礎了解

爬蟲，即網路爬蟲，大家可以理解為在網路上爬行的一直蜘蛛，網際網路就比作一張大網，而爬蟲便是在這張網上爬來爬去的蜘蛛咯，如果它遇到資源，那麼它就會抓取下來。想抓取什麼？這個由你來控制它咯。比如它在抓取乙個網頁，在這個網中他發現了一條道路，其實就是指向網頁的超連結，那麼它就可以爬到另一張網上來獲取資料。...

Python學習之爬蟲基礎

第0步 獲取資料 通過requests庫來獲取資料 requests.get 用法 import requests 引入requests庫 res requests.get url requests.get是在呼叫requests庫中的get 方法，它向伺服器傳送了乙個請求，括號裡的引數是你需要的資...

Python爬蟲基礎學習案例

以下案例僅為個人學習，無侵權意識 爬取搜狗指定詞條對應的搜尋結果頁面 簡易網頁採集器 usr bin env python encoding utf 8 file 獲取搜狗首頁.py time 2020 2 17 9 14 import requests if name main step1.指定u...