這段時間忙於工作，主要針對新聞資訊內容的爬取
1，必須熟悉手機抓包軟體的配置，才可以有效的抓取到介面
2，從介面處尋找規律，
3，明確自己需要哪些內容，
4.寫爬蟲
我通過介面找到了所有的類目：
然後找到列表頁的介面
注意：category ={} 為所對應的類目
category 所對應的字段可以從類目的介面獲取
字段匹配的**如下：
res = requests.get(classify_url)
html = json.loads(res.text)
datas = html['data']['data']
print(len(datas))
for data in datas:
# 欄目
column = data['name']
print(column)
#類目category = data['category']
詳情頁的位址也只找的介面
這就簡單多了，有好幾種可行方案，我就在這裡說一種
我通過抓包軟體找到介面
注意：{}{}這個也是所需要匹配的可以從列表頁獲取，列表頁獲取的這個欄位有的時候有有的時候沒有，所以我用的異常處理
#獲取這個欄位的**如下：
res = requests.get(base_url, headers=self.headers)
html = json.loads(res.text)
print(res.status_code, '-------')
datas = html['data']
for data in datas:
try:
# 詳情頁的id
group_id = (json.loads(data["content"]))["group_id"]
except:
group_id = 0
if group_id != 0:
print(group_id)
在然後就是匹配獲取標題還有內容了在這裡就不多說了，沒有什麼技術含量：
想要原始碼》可以聯絡本主。。。希望你們自己通過抓包軟體，找到介面，然後按照我的思路去完成？？他的反爬主要是介面的訪問量，還有要換ua，還有ip。。後續會有其他新聞類的介紹，謝謝關注！！！！
今日頭條站長平台 頭條搜尋爬蟲spider介紹
頭條搜尋的爬蟲ua為 bytespider 首寫字母為大寫。例如 例如 mozilla 5.0 www.cppcns.com linux android 6.0 nexus 5 build mra58n applewebkit 537.36 khtml，like gecko chrome 41.0....
今日頭條的as cp破解
主要有三個字段需要破解 as cp signature 首先使用chrome瀏覽器，開啟除錯，在sources的 s3a.pstatp.com toutiao resource ntoutiao web page home whome 下找到js檔案home d09f00f.js，找到下面兩段 e....
爬蟲 爬取今日頭條街拍2
import re,json import requests from urllib import request import os defb url headers print url headers response requests.get url,headers headers print...