一起學爬蟲(Python) 03

2021-10-10 22:17:40 字數 1147 閱讀 4820

一起學爬蟲(python) — 19 年輕人,進來學自動化

總結

header=

這裡呢,我們要把找到的身份標識以字典的形式記錄下來,不要問為什麼,聽話!

差點忘了…第一步要引用模組。

import requests
然後再按照昨天的步驟…

這麼想你就輸了!

為什麼呢?

扒衣服是一件很簡單的事,不用思考那麼多對吧,但是搶劫是一門藝術活,你得先想好那個小子會把錢藏到那裡,這個過程就叫做分析!

莽夫不可怕,有腦子的莽夫才可怕。

第一步,指定url:

wd =

input

('請輸入你要搜尋的內容:'

)url =

''+wdresponse = requests.get(url=url,headers=header)

突然出現的這些**,大家應該是都能理解的,多了乙個沒見過的headers,這個就是我們展示給這個**看的身份辨識,header在上面已經用字典封裝好啦,要記住,爬蟲是模擬我們上網,模擬模擬模擬!

然後返回乙個響應資料,我們儲存到response中。

#把爬取下來的資料text化

page_text = response.text

#起名, .html是字尾名,你也可以起.txt,.html可以直接以網頁的方式開啟

filename = wd +

'.html'

with

open

(filename,

'w',encoding=

'utf-8'

)as fp:

fp.write(page_text)

print

(filename+

'儲存成功!'

)

我不裝了!攤牌了,敲到這裡就已經把我們要搜尋的那個**給儲存下來了,其實跟昨天的內容相比就多了乙個分析url。

今天本來想把引數給大家說一下的,結果敲著敲著就用土方法完成了…就當做是鞏固一下昨天的內容吧!

一起學爬蟲(Python) 01

一起學爬蟲 python 19 年輕人,進來學自動化 2.為什麼要學爬蟲 3.爬蟲違法嗎?爬蟲的分類 爬與反爬 robots.txt協議 http協議和https協議 加密方式 大致知道就好 結尾這個理由很充分吧,錢錢錢錢錢,沒有錢可是萬萬不能的!在日常生活中,有些人可以為了錢殺人放火,搶劫綁架,拐...

一起學爬蟲(一)入門須知

可憐的博主終於熬過了考試周 半條命都沒了 跪求下學期開學,別再上網課了,真管不住自己 手動狗頭 考試周期間有很多 悔不當初 不再一一枚舉,但其中有一條就是這學期的python課真的太水了,學了一學期啥也不會 所以,打算暑假啃一本 python網路爬蟲從入門到實踐 這一系列部落格的內容呢將是我在學習過...

一起學Python 元組

python的元組與列表類似,不同之處在於元組的元素不能修改。元組使用小括號,列表使用方括號。atuple et 77,99.9 atuple et 77,99.9 1 訪問元組 2 修改元組 說明 python中不允許修改元組的資料,包括不能刪除其中的元素。3 元組的內建函式count,index...