本文使用的是requests+正則來匹配網頁內容，對於資料量較多的採用了多執行緒抓取的方法，共3個案例，分別是抓取貓眼電影top100榜單和淘票票正在熱映的電影資訊、以及美團的美食資料。這幾個案例採用的方法大同小異。
1、首先選擇想要爬取的**
2、確定要用的模組，requests,json,re三個模組，如果想加快爬取速度可以加乙個pool
3、 網頁請求，先得到整個頁面，需要加乙個headers來進行請求，否則會被**攔截
4、格式化整個頁面，通過patter的正則來匹配，找出我們需要的內容，
5、 獲取資料，findall，然後通過yield將資料返回，yield 是乙個類似 return 的關鍵字，迭代一次遇到yield時就返回yield後面(右邊)的值
6、遍歷獲取到的資料
7、儲存到相應的文件中
8、關閉文件，
9、提示資料儲存成功。
>>>閱讀全文
Python爬取貓眼電影
不多說，直接上 import requests import re import random import pymysql import time 連線資料庫 db pymysql.connect host localhost port 3306,user root passwd a db pyt...
python爬蟲 爬取貓眼電影資料
定義乙個函式獲取貓眼電影的資料 import requests def main url url html requests.get url text print html if name main main 利用正則匹配，獲得我們想要的資訊 dd i class board index board...
python3爬取電影資料
爬取電影票房資料，用於統計建模分析。目標 為電影票房資料庫 基本的爬取靜態 的技術，模擬登陸使用的是最簡單的cookies。這種模擬登陸的方式雖然簡單但有很大的侷限性，時效性比較短，也許兩三天後就失效了，或者網頁改版一點也會導致失效。最好的方式還是找到登陸頁面，獲取需要提交的資料和提交方式，模擬我們...