一起學爬蟲(python) — 19 年輕人,進來學自動化
總結
header=
這裡呢,我們要把找到的身份標識以字典的形式記錄下來,不要問為什麼,聽話!
差點忘了…第一步要引用模組。
import requests
然後再按照昨天的步驟…
這麼想你就輸了!
為什麼呢?
扒衣服是一件很簡單的事,不用思考那麼多對吧,但是搶劫是一門藝術活,你得先想好那個小子會把錢藏到那裡,這個過程就叫做分析!
莽夫不可怕,有腦子的莽夫才可怕。
第一步,指定url:
wd =
input
('請輸入你要搜尋的內容:'
)url =
''+wdresponse = requests.get(url=url,headers=header)
突然出現的這些**,大家應該是都能理解的,多了乙個沒見過的headers,這個就是我們展示給這個**看的身份辨識,header在上面已經用字典封裝好啦,要記住,爬蟲是模擬我們上網,模擬模擬模擬!
然後返回乙個響應資料,我們儲存到response中。
#把爬取下來的資料text化
page_text = response.text
#起名, .html是字尾名,你也可以起.txt,.html可以直接以網頁的方式開啟
filename = wd +
'.html'
with
open
(filename,
'w',encoding=
'utf-8'
)as fp:
fp.write(page_text)
print
(filename+
'儲存成功!'
)
我不裝了!攤牌了,敲到這裡就已經把我們要搜尋的那個**給儲存下來了,其實跟昨天的內容相比就多了乙個分析url。
今天本來想把引數給大家說一下的,結果敲著敲著就用土方法完成了…就當做是鞏固一下昨天的內容吧!
一起學爬蟲(Python) 01
一起學爬蟲 python 19 年輕人,進來學自動化 2.為什麼要學爬蟲 3.爬蟲違法嗎?爬蟲的分類 爬與反爬 robots.txt協議 http協議和https協議 加密方式 大致知道就好 結尾這個理由很充分吧,錢錢錢錢錢,沒有錢可是萬萬不能的!在日常生活中,有些人可以為了錢殺人放火,搶劫綁架,拐...
一起學爬蟲(一)入門須知
可憐的博主終於熬過了考試周 半條命都沒了 跪求下學期開學,別再上網課了,真管不住自己 手動狗頭 考試周期間有很多 悔不當初 不再一一枚舉,但其中有一條就是這學期的python課真的太水了,學了一學期啥也不會 所以,打算暑假啃一本 python網路爬蟲從入門到實踐 這一系列部落格的內容呢將是我在學習過...
一起學Python 元組
python的元組與列表類似,不同之處在於元組的元素不能修改。元組使用小括號,列表使用方括號。atuple et 77,99.9 atuple et 77,99.9 1 訪問元組 2 修改元組 說明 python中不允許修改元組的資料,包括不能刪除其中的元素。3 元組的內建函式count,index...