requests與beautifulsoup爬取一些**的經驗
這是第一次寫的爬取**的程式,寫得不夠簡潔有些地方都寫的不是很規範,希望在以後能夠不斷勉勵寫出更好的 **。也做作為自己以後學習的乙個參考
import requests
from bs4 import beautifulsoup
import warnings
import os
import lxml
warnings.
filterwarnings
('ignore'
)os.
makedirs
('./abcd'
,exist_ok=
'true'
)url=
''def get_img
(page)
: head=
response=requests.
get(
'page/'
+f''
,headers=head)
response.encoding=
'utf-8'
soup=
beautifulsoup
(response.text,
'lxml'
,fromencoding=
'gb2312'
)print
(soup.
select
('a'))
img=soup.
find_all
('img'
)for imgu in img:
gg=imgu.
get(
'data-original'
)if gg is none:
continue
r=requests.
get(gg,headers=head)
imgname=
str(gg)
.split
('/')[
-1]print
(imgname)
with
open
(f'./abcd/'
,'wb'
)as fd:
for rr in r.
iter_content
(256):
fd.write
(rr)
for page in
range
(129
,150):
get_img
(page)
小白python學習筆記
1.cmd命令列下怎麼切換目錄 2.python對縮排有嚴格要求,要頂格寫,單引號 雙引號 可互換使用。3.如何在python中讓兩個print 函式輸出列印在同一行內 4.在windows下裝lightgbm包 具體是哪個教程能裝好,要自己嘗試了,費了很大功夫,最後也不知道是怎麼搞好的,反正不報錯...
nginx小白學習筆記
windows7,vmware12,centos7 ssh ssh secure shell client 因為我安裝的是centos7最小化版本,加上nginx是c語言編寫的,需要安裝一下相關依賴包。yum y install gcc automake autoconf libtool make ...
Python學習筆記 1 1 2 認識Python
一.課程目標 二.詳情解讀 1.初識pythonpython語言是一種高階程式語言,它於1991年由吉多.範羅蘇姆 guido van rossum 發明。目前主要應用於web開發 gui開發 網路爬蟲 資料科學 人工智慧等領域。python官方 python語言也是一種多正規化程式語言,即物件導向...