感謝csdn 博主： 請叫我汪海
1.url的格式由三部分組成：
①第一部分是協議(或稱為服務方式)。
②第二部分是存有該資源的主機ip位址(有時也包括埠號)。
③第三部分是主機資源的具體位址，如目錄和檔名等。
第一部分和第二部分用「://」符號隔開，
第二部分和第三部分用「/」符號隔開。
第一部分和第二部分是不可缺少的，第三部分有時可以省略。
爬蟲最主要的處理物件就是url，它根據url位址取得所需要的檔案內容，然後對它 進行進一步的處理。
因此，準確地理解url對理解網路爬蟲至關重要。
2.最簡單的爬蟲程式：
import urllib2
response=urllib2.urlopen('')
html=response.read()
print html
或者 import urllib2
req = urllib2.request('')
response = urllib2.urlopen(req)
the_page = response.read()
print the_page
3.urllib2的常用方法：
.request() 傳送請求
.urlope你()開啟網頁
.read() 讀取網頁
python 爬蟲學習一
爬取目標 為aspx 使用到了 viewstate eventvalidation cookie來驗證。使用beautifulsoup來解析網頁內容。encoding utf 8 from bs4 import beautifulsoup import urllib import urllib2 d...
python爬蟲學習（一）
簡單例子 抓取網頁全部內容後，根據正規表示式，獲取符合條件的字串列表 from urllib import request 正規表示式 import re url 讀取並解碼,針對中文 編碼是encode response request.urlopen url read decode print ...
記一次手寫python爬蟲的經歷
前幾日，一位朋友在用python寫爬蟲的時候遇到問題，向我諮詢。然而我python幾乎連門都沒有入，水平就停留在這篇文章的程度上。但是受人所託，並且看起來問題也不難，於是不得已為之，花了大半個晚上才解決。畢竟我菜 問題是這樣的，想要獲取這個 的虛擬貨幣型別，成交額，漲幅等資料，按理是很簡單的。但是據...