記錄乙個爬蟲小作業1

2021-10-21 04:09:08 字數 1321 閱讀 9995

#老師又布置了乙個爬蟲作業,雖然很簡單,但是值得記錄一下,爬取豆瓣電影top250頁面電影標題,對爬取到的標題記錄在txt中,再通過wordcloud做出。**如下。

import requests

from bs4 import beautifulsoup

from wordcloud import wordcloud

url =

''# 爬取目標**

# 請求頭

headers =

r = requests.get(url, headers=headers)

# 請求**

soup = beautifulsoup(r.text,

"lxml"

)# 選擇lxml作為解析器

b = soup.findall(

"div",)

# 找內容

for title in b:

# 遍歷內容

title = title.span.text

file

=open

('record.txt'

,"a"

, encoding=

'utf-8'

)# 建立record文字文件

file

.write(title+

'\n'

)# 換行記錄爬取內容

file

.close(

)# 生成詞云

f =open

('record.txt'

,'r'

, encoding=

'utf-8'

)# 設定字型、長寬高等

)# 輸出到

值得注意的是c盤字型資料夾下字型檔案一定得有哦。

執行截圖如下。

乙個小爬蟲

usr bin env python coding utf 8 sina小爬蟲 site http 不能少哦 reptile sina reptitle site print getting the urls.n reptile sina.get urls site reptile sina.sto...

爬天氣的乙個小爬蟲

使用bs,requests寫的 coding utf 8 import requests import re import argparse from bs4 import beautifulsoup parser argparse.argumentparser parser.add argumen...

記錄乙個美麗的小縣城

錦屏縣,貴州省黔東南苗族侗族自治州轄縣。位於黔東南州東南邊隅,依黔面楚,東界湖南省靖州縣,南鄰黎平縣,西毗劍河縣,北抵天柱縣。地跨東經108 48 37 109 24 35 北緯26 23 29 26 46 49 土地總面積1596平方公里。距黔東南自治州首府凱里239公里,距貴州省會貴陽434公里...