因為____的緣故，在家甚是無聊，想著可能會做乙個和資料分析相關的畢業設計，不如就提前準備一下資料。
眼光一掃，就是你了，豆瓣！說起來很有意思，我最開始寫爬蟲就是從豆瓣開始的，現在又回來了。
豆瓣，這世間所有的相逢都是久別重逢。
好了，不皮了，開始正題。
寫爬蟲之前，首先要明確乙個問題你需要什麼資料。先有目標，再有行動，這樣思路也會清晰起來。我想要的資料就是頁面中的電影的資訊，所以先看資料是怎麼載入的。f12，重新整理，往下拉發現資料是乙個get請求得到的，問題簡化了。我們模擬請求就可以獲得資料了，nice！這樣想是不是很清晰了。那我們怎麼模擬請求呢，請求最重要的引數，其次就是一些請求頭資訊等。
經過多次重新整理請求，知道每次請求都包含四個引數，分別是type_name、type、interval_id、action，每個引數都可以先猜再去驗證。第乙個就是類別名，比如上圖類別就是劇情片，id暫時不知道，第三個引數也可以大概的看出來就是最上面的按鈕那裡的好於100%-90%。所以現在要找的就是類別名和id的一一對應，觀察網頁由上面更多型別里有所有的類別，可以檢視網頁源**，可以看到id和name都在鏈結中，取出來即可。
好了，到現在，你應該知道要怎麼去寫這個爬蟲了。可以先把所有類別的id和name及這個類別的數量儲存下來，然後再根據這些資訊取構建請求，獲取電影資料即可。yes，就是這樣的，乙個小爬蟲就這樣被你想出來了。所以，開始編碼。
接下來就是構建資料請求了，我們讀取id和name，將其加入到請求頭中，獲得我們想要的資料，將其儲存再本地中。爬蟲完成了它的使命。
其實這個爬蟲我寫起來是很快的，因為豆瓣並沒有很強的反爬策略，並沒有登陸驗證這些(也有可能是我比較溫柔的爬)。只要你不是很過分的爬取，所以還是建議大家一定要放慢爬取速度！time.sleep多睡幾秒，不要對**的伺服器照成影響。畢竟這些資料也都公開，作為自己用的話，也不需要大量，也不急。一定一定放慢速度！其次就是資料不要商用，僅作為個人學習之用是完全可以的。
以上。
python爬取豆瓣影評
看的別人的 爬取某部影片的影評 沒有模擬登入只能爬6頁 encoding utf 8 import requests from bs4 import beautifulsoup import re import random import io import sys import time 使用se...
nodejs爬取豆瓣影評
爬取豆瓣心靈奇旅影評，包括使用者主頁頭像 let request require request let fs require fs const path require path var startnum 0 起始爬取位置 傳送請求 function reqdata url else 請求處理 a...
python爬蟲實戰 爬取豆瓣影評資料
爬取豆瓣影評資料步驟 1 獲取網頁請求 2 解析獲取的網頁 3 提速資料 4 儲存檔案 1 匯入需要的庫 import urllib.request from bs4 import beautifulsoup 隨機數的庫 import random 時間庫 import time 庫 import ...