爬取部落格評論

2021-10-03 13:58:37 字數 1144 閱讀 7732

# 通過抓包獲取資料


# 還要找到真實的  url  位址


# 多數在 networt  --- xhr 中


import requests


import json


link = ''


headers = 


r = requests.get(link,headers=headers)


print(


'頁面狀態響應碼: '


,r.status_code)


#  此時已經拿到了 真實的 url  位址 請求 並響應成功


json_string = r.text   # 儲存資料


json_string = json_string[json_string.find(


'{'):-2]


#  僅僅提取字串中符合json格式的部分


json_data = json.loads(json_string)


# 轉化為 .json 資料格式


comment_list = json_data[


'results'][


'parents'


]# 鍵名  鍵名


for eachone in comment_list:


message = eachone[


'content'


]    names = eachone[


'name'


]    print(names)


,'a+'


)as f:


f.write


("*****=華麗分割線*****=\n"

				
爬取微博客戶端使用者評論
coding utf 8 filename weibo comment.py date 2018 12 5 13 01 author 風夏 hobby mi mi 貓 import requests import json import time import emoji pip install e...

				
python爬取網易評論
爬取的是 最近華北空氣汙染嚴重 的新聞 1 首先獲取json格式的檔案 我用的是360瀏覽器 貌似用谷歌比較好，但我谷歌出了點問題 最新跟帖 所以要同時爬取兩種 3 處理字串 用 json.loads 解碼字串轉換為python形式時格式很重要，在這裡轉換成字典 形式。將開頭和結尾去掉，只剩下乙個大...

				
python爬取京東評論
這不是我的第乙個爬蟲，但大多數都是像這樣簡單粗暴的，因為一開始對於定義函式，然後再進行相應的操作，是比較困難的，這能直接寫for迴圈語句。然後，我們便開始進行相應的爬蟲第一步 匯入必要的包 import requests import json header這個的作用在於偽裝成瀏覽器進行操作，有些網...