進行分析：從資料中尋找一些規律
pycharm
chrome瀏覽器
瀏覽器請求url位址
爬蟲請求url位址
elements的內容和爬蟲獲取到的url位址的響應不同，爬蟲中需要以當前url位址對應的響應為準提取資料
當前url位址對應的響應在**
https:http + ssl(安全套接字層)
get請求和post請求的區別
http協議之請求
cookie：用來儲存使用者資訊的，每次請求會被攜帶上傳送給對方的瀏覽器
3.請求體
http協議之響應
2.響應體
json.loads
json.dumps
豆瓣電視爬蟲案例
xpath語法
//:能夠從任意節點開始選擇
@符號的用途
a/@href:選擇a的href的值
獲取文字:
點前 lxml
字典推導式
幫助我們快速的生成包含一堆資料的字典
#"
.format
(i):
10for i in
range(3
)}#
a =
10if
4>
3else
20# a = 10
a =10if4
<
3else
20# a =20
2.傳送請求,獲取響應
3.提取資料
4.儲存
response.content.decode()
resposne.request.url #傳送請求的url位址
response.url #response響應的url位址
resposne.request.headers #請求頭
resposne.headers #響應請求
headers =
response = requests.get(url,headers=headers)
from retrying import retry
@retry(stop_max_attempt_number=3)
deffun1()
:print
("this is func1"
)raise valueerror(
"this is test error"
)
先傳送post請求，獲取cookie，帶上cookie請求登入後的頁面
商城專案 2 0版本 專案目錄
1.3 第三階段 商品的詳情頁 day06 day08 1.4 第四階段 搜尋欄 day09 day11 1.5 第五階段 購物車 day12 1.6 第六階段 使用者登入 day14 day15 1.7 第七階段 支付 day16 day17 1.8 第八階段 分布式部署 day18 day19 ...
Phylab2 0 Beta版本專案展示
快取使用者前一次的輸入，使使用者無需重複輸入，提高使用者體驗。更多特性請參見beta版本發布說明 計畫工作 alpha beta 伺服器結構遷變更移 已完成已完成 分離與研讀 已完成已完成 原始 重現 已完成已完成 基礎模組化重構 已完成已完成 ui變更 已完成已完成 實驗指令碼修復 已完成已完成 ...
Android老版本專案匯入到新版SDK提示錯誤
使用過去android 1.1或1.5版sdk開發的專案匯入到使用新版adt外掛程式的1.6或2.0.1專案中可能會發現報錯，其實谷歌給我們提供了乙個工具可以解決這個問題，在package explorer中選擇專案，單擊滑鼠右鍵在彈出的下拉列表中選擇 android tools fix proje...