爬蟲專案實戰1 爬取天善課程

**參考自課程

專案內容：爬取天善智慧型學院課程的名稱、講師、**

專案工具：re，requests

專案**：

# @time : 2020/4/1 20:32 

# @author : w
# @file : 爬取天善課程.py 
# @software: pycharm
import re
import requests
#利用for迴圈實現相似網頁的連續爬取
for i in
range(0
,100):
urls=
""+str
(i+1
)    headers=
response=requests.get(urls,headers=headers)
#正規表示式來匹配 (.*?)括號裡是需要的，返回的部分
title_pa=
'(.*?)'
teacher_pa=
'class="lec-name">(.*?)<'
price_pa =
'm-price.*?(.*?)'
#用findall來查詢內容，if-else對內容做乙個判斷
title=re.
compile
(title_pa, re.s)
.findall(response.text)if(
len(title)
>0)
:print
(title)
else
:continue
teacher=re.
compile
(teacher_pa, re.s)
.findall(response.text)if(
len(teacher)
>0)
:print
(teacher)
else
:print
('lost'
)    price=re.
compile
(price_pa, re.s)
.findall(response.text)if(
len(price)
>0)
:print
(price)
else
:print
("free"
)print
("------------------------------"
)#**截至2020.4.1測試無誤

利用for迴圈來更換頁面

利用字串相加urls=""+str(i+1)來改變url

帶請求頭

Python實戰爬蟲 爬取段子

不管三七二十一我們先導入模組 段子所在的 import re import requests 如果沒這模組執行cmd pip install requests領域 web開發，爬蟲，資料分析，資料探勘，人工智慧 零基礎到專案實戰，7天學習上手做專案 獲取 的內容 段子所在的 import re im...

爬蟲專案實戰八 爬取天氣情況

根據天氣介面，爬取接下來一周的天氣情況。開啟這個網頁。請輸入城市名稱 cityname input host cityname url host response requests.get url content response.text soup beautifulsoup content,lx...

爬蟲實戰 爬取CPU天梯榜單

最近女票要買電腦，看了幾款，於是我就幫她看看這幾款的cpu咋樣，就找了乙個cpu天梯排行榜。一瞅發現，榜上有800 個cpu，乙個乙個找，得累死。剛好最近了解了python爬蟲，於是乎，就寫了乙個爬蟲指令碼，把排名和cpu名字爬了並且儲存下來了。如下 import requests 匯入包 from...