獲取全部校園新聞

1.取出乙個新聞列表頁的全部新聞 包裝成函式。

2.獲取總的新聞篇數，算出新聞總頁數。

3.獲取全部新聞列表頁的全部新聞詳情。

4.找乙個自己感興趣的主題，進行資料爬取，並進行分詞分析。不能與其它同學雷同。

import

requests
from bs4 import
beautifulsoup
from datetime import
datetime
importre 
#獲取新聞列表頁的簡略資訊
defcrawlonepage(url):
res=requests.get(url)
res.encoding = '
utf-8
'soup = beautifulsoup(res.text, '
html.parser')
cont=soup.select('
.block')
for i in
cont:
print('
——'*10 + '---
' + '
——'*10)
print
()        
print('
新聞**： 
' + '
www.sustc.edu.cn
' + i.select('
a')[0]['
href'])
print('
' + i.select('
a')[0]['
title'])
a='' + i.select('
a')[0].attrs['
href']
print
(a)        getdetail(a)  
print() 
##獲取新聞具體資訊
defgetdetail(url):
res =requests.get(url)
res.encoding = '
utf-8
'soup = beautifulsoup(res.text, '
html.parser')
cont=soup.select('.d'
)[0].text
#將時間字串轉換成datetime格式
release_time=datetime.strptime(cont,'
%y-%m-%d ')
print
(release_time)
print('
新聞型別： 
' + soup.select('
.tag
')[0].text)
content=soup.select('
.txt
')[1].select('p'
)    
print(content[-1].text)
for i in content[:-2]:
print
(i.text) #
取得所有頁面的新聞
defgettotalpage(url):
res =requests.get(url)
res.encoding = '
utf-8
'soup = beautifulsoup(res.text, '
html.parser')
#print(res.text)
d = int(soup.select('
.page_span
')[0].text[:soup.select('
.page_span
')[0].text.index('
頁')].lstrip('共'
))    
for i in range(1,d):
page=str(i)
geturl='
/news_events_/p/
'+page
crawlonepage(geturl)  
gettotalpage(
'/news_events_/4722
')

獲取全部校園新聞

1.取出乙個新聞列表頁的全部新聞 包裝成函式。2.獲取總的新聞篇數，算出新聞總頁數。3.獲取全部新聞列表頁的全部新聞詳情。import requests from bs4 import beautifulsoup from datetime import datetime importre 獲得新聞...

獲取全部校園新聞

1.取出乙個新聞列表頁的全部新聞 包裝成函式。2.獲取總的新聞篇數，算出新聞總頁數。3.獲取全部新聞列表頁的全部新聞詳情。import requests from bs4 import beautifulsoup from datetime import datetime importre 獲取新聞...

獲取全部校園新聞

1.取出乙個新聞列表頁的全部新聞 包裝成函式。2.獲取總的新聞篇數，算出新聞總頁數。3.獲取全部新聞列表頁的全部新聞詳情。4.找乙個自己感興趣的主題，進行資料爬取，並進行分詞分析。不能與其它同學雷同。import requests from bs4 import beautifulsoup from...