爬蟲大作業

1.選乙個自己感興趣的主題或**。(所有同學不能雷同)

我選了附近松田學校的校園網來爬取

2.用python 編寫爬蟲程式，從網路上爬取相關主題的資料。

#

-*- coding: utf-8 -*-
import
requests
from bs4 import
beautifulsoup as bs
defgettext(url):
header =
html = requests.get(url, headers=header).content
soup = bs(html, '
html.parser')
info = soup.select('
div.newlist.black01 a')
a =for i in
info:
print
(i.text)
returnaif
__name__ == '
__main__':
url = "
"#html = getreq(url)
info =gettext(url)
print
(info)
for i in
info:
print
(i)        f = open('
i.txt
', '
a+',encoding='
utf-8')
f.write(i)
f.write('\n
')f.close()

')4.對文字分析結果進行解釋說明。

5.寫一篇完整的部落格，描述上述實現過程、遇到的問題及解決辦法、資料分析思想及結論。

一開始遇到的問題很多，做函式的時候發現自己的基本功非常的不紮實，甚至在導入庫方面的知識也很匱乏，好在在同學的幫助下，我還是順利的完成了任務。感覺做大資料爬取還是很有意思的，不過在爬其他**的時候經常爬不到東西，應該是被限制了訪問，這個問題以後再去深究吧。

6.最後提交爬取的全部資料、爬蟲及資料分析源**。

爬蟲大作業

1 選乙個自己感興趣的主題。2 用python 編寫爬蟲程式，從網路上爬取相關主題的資料。3 對爬了的資料進行文字分析，生成詞云。4 對文字分析結果進行解釋說明。5 寫一篇完整的部落格，描述上述實現過程 遇到的問題及解決辦法 資料分析思想及結論。6 最後提交爬取的全部資料 爬蟲及資料分析源 impo...

爬蟲大作業

1.選乙個自己感興趣的主題。2.用python 編寫爬蟲程式，從網路上爬取相關主題的資料。3.對爬了的資料進行文字分析，生成詞云。4.對文字分析結果進行解釋說明。5.寫一篇完整的部落格，描述上述實現過程 遇到的問題及解決辦法 資料分析思想及結論。6.最後提交爬取的全部資料 爬蟲及資料分析源 impo...

爬蟲大作業

1.選乙個自己感興趣的主題。2.用python 編寫爬蟲程式，從網路上爬取相關主題的資料。3.對爬了的資料進行文字分析，生成詞云。4.對文字分析結果進行解釋說明。5.寫一篇完整的部落格，描述上述實現過程 遇到的問題及解決辦法 資料分析思想及結論。6.最後提交爬取的全部資料 爬蟲及資料分析源 codi...