python原生基於網路請求的模組
作用：模擬瀏覽器傳送請求。功能強大，簡單，效率極高。
使用流程:
指定url
傳送請求（get瀏覽器）
獲取響應資料
持久化儲存
pip install requests
ide :用的是pycharm
演示上述步驟
import requests
# 指定url
url =
"www.***.com"
# 傳送請求（此處暫時不考慮ua偽裝）
response = requests.get(url=url)
# text返回字串的響應資料（html原始碼資料）
page_text = response.text
with
open
('./***.html'
,'w'
,encoding=
'utf-8'
)as fp:
fp.write(page_text)
爬蟲學習筆記2
在爬取網頁資訊時有時會遇到有賬號資訊輸入的網頁，需要填入賬號密碼後跳轉才能進行爬取資訊，但我們常用的http協議是無狀態協議，它的問題在於即便在登陸面板登陸狀態成功，在你訪問個人主頁時是不會跳轉的因為伺服器預設你是新的請求而沒有登入狀態。將html頁面中使用審查元素將本頁面的資料報解析後，在head...
python爬蟲上手 筆記 2
通過各種了解，這種非同步重新整理的網頁似乎只能用瀏覽器加上模擬操作來實現重新整理。因為js需要乙個瀏覽器核心來解析。所以python phantomjs selenium看樣子是不錯的做法。這裡phantomjs號稱無頭 headless 瀏覽器。顧名思義，就是不需要header啦。於是很快找到樣例...
python學習筆記（2） 初識爬蟲
資料抓取，從網際網路抓取想要的資料 資料爬蟲 網路蜘蛛。例如 1 https 協議 2 www.baidu.com 網域名稱 4 ie utf 8 wd e5 b0 8f e5 85 94 e5 ad 90 引數 明確需求 根據需求，尋找對應的web url 用python程式模擬瀏覽器去訪問對應的...