複習python爬蟲的體會

今天準備複習一下python爬蟲的知識，準備爬取虎撲nba的相關新聞。剛開始在用scrapy建立專案時就遇到無法建立的錯誤，後面查詢相關部落格才解決。

其次，在用python爬取資料時，沒有注意爬取的**的型別，本來是動態網頁，但是沒有提前思考，忙了大半天，都寫好完整**了才發現是動態網頁，本來應該很容易想到（新聞怎麼可能是靜態的，那不應該是給一段時間就更新嘛），可是好久沒有複習這方面的知識，看見問題就用解決靜態網頁的方法去做，結果是既浪費了時間又沒有做好任務。

雖然學習要不斷的向前看，但有時需要回頭看看，不然就是猴子掰玉公尺，掰乙個丟乙個。同時學過的知識和常見的問題一定要做好筆記，在之後的某一天可能就會用到，現在這個資訊**的社會，幾天不複習，知識就會遺忘得很快。比如：css和xpath的應用，知識點比較多；scrapy框架資料流的方向。