爬蟲網課學習第一節

2021-10-18 17:18:19 字數 2216 閱讀 6679

簡單的爬取乙個網頁頁面資訊然後儲存。

if __name__ ==

'__main__'

: url=

""response=requests.get(url=url)

page_text=response.text

print

(page_text)

with

open

('./sogou.html'

,'w'

,encoding=

'utf-8'

)as fp:

fp.write(page_text)

print

("pachu"

)request模組:功能強大、簡單便捷、效率極高

如何使用,模仿瀏覽器發起請求

—指定url

—發起請求

—獲取相應資料

—持久化儲存資料

在pycharm端輸入資訊:實現動態訪問資訊。在此同時偽裝user—agent資訊

並儲存資訊

import requests

if __name__ ==

'__main__'

: headers=

url =

'web?'

kw=input

('enter a word:'

) param =

response = requests.get(url=url,params=param,headers=headers)

page_text = response.text

filename = kw+

'.html'

with

open

(filename,

'w',encoding=

'utf-8'

)as fp:

fp.write(page_text)

print

(filename,

'儲存成功!!!'

)

爬蟲,爬取翻譯

import requests

import json

if __name__ ==

'__main__'

:#1.指定url

post_url=

''#2.進行ua偽裝

headers=

#3.post請求引數處理(同get請求一致)

word=

input

('杜金明的中英文轉換器:'

) data=

#4.請求傳送

response =requests.post(url=post_url,data=data,headers=headers)

#5.獲取響應資料:json()方法返回的是obji(如果確認相應資料是json型別才可以返回json型別)

dic_obj=response.json(

)print

(dic_obj)

#6.進行持久化儲存

filename=word+

'.json'

fp=open

(filename,

'w',encoding=

'utf-'

) json.dump(dic_obj,fp=fp,ensure_ascii=

false

)print

("over!!!"

)

import requests

import json

if __name__ ==

'__main__'

: url=

''params=

headers=

response=requests.get(url=url,params=params,headers=headers)

list_data=response.json(

) fp=

open

('./douban.json'

,'w'

,encoding=

'utf-8'

) json.dump(list_data,fp=fp,ensure_ascii=

false

)print

('over!!!'

)

第一節課作業

1.c語言程式的基本語句能完成功能的體會 雖說c語言的基本語句不多,但通過複雜的組合能有非常強大的處理能力,在科技高度發展的今天,計算機在人們之中的作用越來越突出。而c語言作為一種計算機的語言,我們 學習它,有助於我們更好的了解計算機,與計算機進行交流,因此,c語言的學習對我們尤其重要。學習c程式語...

Android 第一節課

android 第一節課 android 第一節課 view與wiewgroup view和viewgroup介紹 view類似於swing中的jpanel,代表乙個空白的矩形區域,android應用中的絕大部分ui元件都繼承於view或其子類 view還乙個重要的子類viewgroup,它通常作為...

Python第一節課

python第一節課 單行注釋 多行注釋 或者 整數型別 int 無上限 浮點型別 float 無上限 字串型別 str 你好 布林型別 true false 首字母大寫 列表元組 字典複數 識別符號 1 由字母數字下劃線組成 2 不能以數字開頭 3 不能是關鍵字 import keyword pr...