知乎發現頁面抓取(只改User Agent爬蟲)

2021-08-20 02:19:11 字數 680 閱讀 4287

解釋:

1. 這裡設定的user-agent其實是乙個macbook上使用的版本。

2. 這裡被注釋掉的語句是我在書上看到的。捕捉到的內容不一樣而已~(大家也可以看看)

import requests

import re

headers =

r = requests.get('', headers=headers)

# pattern = re.compile('explore-feed.*?question_link.*?>(.*?)', re.s)

pattern = re.compile('collection.*?blank.*?>(.*?)', re.s)

titles = re.findall(pattern, r.text)

print(titles)

解釋:這裡,你的輸出很有可能會跟我的不一樣。不過不用擔心,因為知乎更新了這個頁面而已~

['願中國青年都擺脫冷氣,只是向上走', '破千讚控', '謊言和幻覺', '寒冬雞湯', '讓世界變清晰的知識集']

爬蟲 抓取百萬知乎使用者設計之實體設計

點選我前往github檢視源 一.實體的關係 實體是根據返回的json資料來設計的 教育經歷方面 使用者可以有很多教育經理,user和education是一對多的關係,乙個education對應乙個education 乙個使用者可以有多個工作,當然很多人可以從事同乙份工作,每份工作對應一家公司,對應...

爬取11088個知乎專欄,打破發現壁壘

去uc是不可能去uc的,這輩子都不可能去uc的。deserts x 上回我用gephi繪製了知乎374名10萬 關注的大v間相互關注情況,因為涉及25090條關注資料,最後成果圖不算理想,但也能簡單窺見大v生態圈的面貌,詳情見於 374名10萬 知乎大v 一 相互關注情況 論理這回應該繼續對374名...

半自動抓取知乎使用者的微博位址(python)(1)

最早的起因是有一次想看看乙個微博好友是否在知乎上,但知乎提供了通往微博的介面,而微博沒有反向的介面,所以無異 撈針,故而作罷。最近學習python,學了點爬蟲,忽然又想起這茬事兒,就想能否寫個程式把一些使用者的使用者名稱微博位址 如果有的話 記錄下來呢?那我到時候只要搜尋微博位址就行了。那我想先模擬...