爬 CSDN 1024程式設計師節論壇作者內容點讚量

2021-07-24 16:23:00 字數 1660 閱讀 4215

今天剛剛爬了csdn論壇有關程式設計師節的內容,諾。。就他

習慣性開啟網頁源**,額,,,,果然,nothing 。乙個動態載入的網頁,或許是json載入的,,恩 ,沒錯fn+f12(在dell機上有快捷鍵設定,只好用fn+的方法),翻了一圈,我認識的小json呢,nothing too

不過好像也不是一無所獲,於是乎,發現了這個

簡直不要太快樂,上bs

翠花,上**,順路把結果也端上來

#coding:utf-8

import bs4

import urllib

import urllib2

import re

from bs4 import beautifulsoup

b = 0

f = open('csdn.txt', "a+")

for i in range(1,300):

url = ''+str(i)

user_agent = 'mozilla/5.0 (windows nt 10.0; wow64; rv:49.0) gecko/20100101 firefox/49.0'

headers =

response = urllib2.request(url, headers=headers)

try: # 判斷是否存在由url引起的問題輸出原因

urllib2.urlopen(response)

except urllib2.urlerror,e:

print e.reason

html = urllib2.urlopen(response).read()

soup = beautifulsoup(html,'html.parser')

l = soup.find_all('div', class_ = "grid")

lis =

for content in l:

zuozhe= content.find('div', class_ = "title_1").get_text(strip='true') # 用bs將標籤下作者取出

biaoti = content.find('p').get_text(strip='true')

dianzanshu = content. find_all('span')[-1].get_text()

for a in lis:

f.write(a.encode('utf-8')+'\n') # 寫入文字

就這樣愉快地結束了今天的任務(怎麼可能)

學姐表示,這麼一堆怎麼看啊。。。所以,還需要做點什麼把爬的的數量神馬的輸出

所以,預知後事如何,請聽明天分解

所以,晚安

1024程式設計師節

10.24!祝每一位程式設計師 節日快樂!遨遊在 的海洋裡,我們期待用技術讓這個世界變得更美好,希望用程式來幫助人們完成心中的目標,這種進化將打破時間和空間的限制,推動智慧型文明向前。而這一切的願景,都離不開每一位程式設計師貢獻的奇思妙想和你們寫出的每一行精彩的 程式設計是溝通人心和機器的精湛技藝,...

2023年1024程式設計師節,成為CSDN部落格專家

3.如何申請部落格專家 開啟在csdn的第一篇部落格 page fault in nonpaged area解決 時間回首到2015年,那時候的初入csdn的我可曾想到若干年後能成為部落格專家呢。五年的時光承載了太多的成長和回憶,但回想下這些年的程式設計師節,這個酷酷的榮譽是送給自己最好的節日禮物。...

1024程式設計師節獲獎通知

這只是昨天的乙個小活動,本來準備是從 的人中隨機抽乙個朋友的。後來想 做點新的嘗試 我只是喜歡收集各種行為的使用者反應資料 在打賞的人中,抽乙個 朋友送一本書。因為一本書也就幾十塊錢,所以注定打賞的人不會很多,我 也就5,6個人左右。截止到昨晚凌晨,文章閱讀數為630人,打賞11人,總額30元。我要...