學python爬蟲第一天

win10系統 小白一枚 第一次學習寫部落格

1.get是預設的http請求方法

2.post方法主要是提交表單

3.get引數暴露在url中

4.get相對post不安全

可以用下面的語句show一下，確定是否安裝完全

# 定義請求的url

url =

''# 發起get請求

res = requests.get(url=url)

# 獲取相應結果

print

(res)

# print

(res.content)

# b'....'二進位制文字流

# print(res.content.decode('utf-8')) # 把二進位制文字流按照utf-8轉換為普通字串

print

(res.text)

# 獲取響應的內容 同上相同

print

(res.headers)

# 響應頭資訊

print

(res.status_code)

# 請求狀態碼

print

(res.url)

# 請求的url位址

print

(res.request.headers)

# 請求的頭資訊

import  requests

# 定義請求的url
# url = ''
url =
''# 定義請求頭資訊  偽裝成別人的亞子進去訪問
headers =
# 發起get請求
res = requests.get(url=url,headers=headers)
# 獲取相應狀態碼
code = res.status_code
print
(code)
# 響應成功後把響應內容寫到檔案中
if code ==
200:
with
open
('./test.html'
,'w'
,encoding=
'utf-8'
)as fp:
fp.write(res.text)

慢慢來唄

禿頭少女在努力！

python爬蟲（第一天）

網易雲課堂的 丘祐瑋綜述 如何爬網頁資料 使用chorme，右鍵 檢查 pip 安裝 requests pip 安裝 beautifulsoup4 pip 安裝 jupyter 執行jupyter notebook import requests res requests.get res.encod...

python 爬蟲第一天

1.爬蟲框架安裝 如果直接用requests selenium 等庫寫爬蟲，爬取量不是太大，速度要求不高是可以的 我們可以用爬蟲框架 pyspider 和scrapy pyspider 是國人binux編寫的強大網路爬蟲框架，帶有強大的webui 指令碼編輯器 任務 專案管理器及結果處理器，結果支援...

python爬蟲學習第一天

今天開始學習python網路爬蟲，寫個部落格作為筆記以及自己的學習過程以監督自己。今天學習了urllib這個python包的一部分內容，主要是urllib.request 內容簡記 urllib.request.urlopen 詳解 利用以上最基本的urlopen 方法，我們可以完成最基本的簡單網頁...