微博語料庫是乙個巨大且珍貴的中文語料資源，在輿情監控、商業分析、興趣挖掘等諸多領域都有廣泛的應用。而獲取微博語料庫的方法就是構建乙個穩定高效微博語料抓取系統。
本次 chat 首先會帶著大家分析微博 pc 端/移動端各個站點的實際情況，以及能夠抓取的資料維度，隨後會逐個分析微博每個站點的登陸方案，並基於此構建微博賬號池。最後介紹 scrapy 爬蟲框架，結合 redis 技術，構建分布式的微博資料抓取系統，實現單機每日 1kw+ 的語料抓取。
通過本場 chat 您將學習到：
selenium 自動化框架，並基於該框架自動實現**的登陸；
滑塊驗證碼、字母驗證碼的破解方案；
scrapy 框架的簡單入門；
通過 redis 構建分布式的爬蟲；
爬蟲專案中的各種奇技淫巧。
閱讀全文:
爬蟲之爬取微博
3忘記了包含yeild的函式生成器目的是可以作為乙個迭代物件 貼源 importrequests fromurllib.parseimporturlencode frompyqueryimportpyqueryaspq base url header defget page page,value p...
爬蟲專欄10 ajax爬微博
import requests from urllib.parse import urlencode from pyquery import pyquery as pq base url 這裡要換成對應ajax請求中的鏈結 headers 不同於簡單的requests,只需要傳入客戶端資訊就好了，但...
Python爬蟲之微博評論爬取
import requests 請求 import time 時間 from fake useragent import useragent 隨機請求頭 import re 正則模組 登入微博，f12開啟瀏覽器抓包功能 直接攜帶cookie 引數請求即可 這個方法很簡單，但是只能爬取50頁左右，如果...