# 第一次獲取cookies
headers =
url = ''
response = requests.get(url)
cookies = response.cookies.get_dict()
print(cookies)
# 第二次獲取cookies
#跳過ssl驗證證書
import ssl
#設定忽略ssl驗證
#宣告乙個cookiejar物件例項來儲存cookie
cookie = cookiejar.cookiejar()
#利用urllib.request庫的httpcookieprocessor物件來建立cookie處理器,也就cookiehandler
#通過cookiehandler建立opener
opener = request.build_opener(handler)
#此處的open方法開啟網頁
response = opener.open('')
#列印cookie資訊
for item in cookie:
print('name = %s' % item.name)
print('value = %s' % item.value)
def getcookie():
url = ""
hostreferer =
#urllib或requests在開啟https站點是會驗證證書。 簡單的處理辦法是在get方法中加入verify引數，並設為false
html = requests.get(url, headers=hostreferer,verify=false)
#獲取cookie:dzsw_wsyyt_sessionid
if html.status_code == 200:
print(html.cookies)
for cookie in html.cookies:
print(cookie)
python3爬蟲實戰（3）
今天心血來潮去爬取了一下招聘 的實時招聘資訊。是 選的條件是北京，實習生，計算機軟體。分析 之後發現還是很容易的，不過過程中出了不少小問題，在這裡分享一下。想要爬取的是類似的表單內容。是在ul的li裡。用beautifulsoup解析之後，tem ul bsoj.find ul 存下整個ul元素。對...
python3 爬蟲入門
這裡爬取貓眼電影 top100 榜的資訊，作為學習的第乙個demo。今天開始接觸的python,從爬蟲開始。語言相對來說比較簡單，環境配置到是花了不少時間。有個要注意的點是在引入beautifursoup庫的時候會報錯，因為3.x的庫需要引入的是beautifursoup4.到這一步環境配置基本上o...
python3爬蟲入門
pip install requests2 匯入requests import requests 3 requests方法 requests.get 獲取html網頁的主要方法，對應http的get4 獲取流程 url 使用get方法獲取資料，返回包含網頁資料的response響應,超時時間測試 r...