爬蟲第一天（1）

import urllib2  # 發請求的模組

base_url = ''
#定義url
#執行urlopen方法，傳入乙個url，返回乙個response物件
response = urllib2.urlopen(base_url,timeout=60)  #data：有資料傳送是post請求，沒有則是get；timeout：請求超時設定
html = response.read() #response物件的read方法，可以返回獲取到的網頁內容。
print html
print response.info() #獲取響應頭
print response.getcode() #獲取響應狀態碼
print response.geturl() # 最終響應html的url

爬蟲小試第一天

第乙個遇到的問題時編碼的問題 data u5468 u6069 u5e73 print data.encode utf 8 print data.decode utf 8 print data.decode unicode escape print u u5468 u6069 u5e73 輸出的結果...

jsoup爬蟲 第一天

org.jsoup jsoup 1.9.2 document doc jsoup.connect url header accept header accept encoding gzip,deflate header accept language zh cn,zh q 0.8,en us q 0...

python爬蟲（第一天）

網易雲課堂的 丘祐瑋綜述 如何爬網頁資料 使用chorme，右鍵 檢查 pip 安裝 requests pip 安裝 beautifulsoup4 pip 安裝 jupyter 執行jupyter notebook import requests res requests.get res.encod...