Task01 豆瓣電影Top 250

2021-10-05 07:35:30 字數 684 閱讀 9586

網頁特點:

每頁25個,共10頁

**start=0數字部分按照每次累加25進行分頁

for site in range(0, 250, 25): 

url = '' + str(site) +'&filter=' 

#獲取電影名、鏈結資料

#定義資料分割提取函式

def extract(text):        #定義資料分割提取函式

text = text.split('"',3)    #使用雙引號分割資料,將資料分割為4塊

name = text[0]     #取第1塊資料,賦值name

image = text[2]    #取第3塊資料,賦值image

return name, image    #保留獲取資料

主函式如下(包含排名引數):

def main():

stars = 1  #設定排名引數初始值

for site in range(0, 250, 25):      #獲取豆瓣電影 top 250所有**,**引數部分0開始,每次累加25,最大達到225

url = '' + str(site) +'&filter=' 

for item in parse_html(url):    #加入排名引數,並設定隨陣列變動,排名引數值每次加1

stars += 1

Python小爬蟲 抓取豆瓣電影Top250資料

寫leetcode太累了,偶爾練習一下python,寫個小爬蟲玩一玩 比較簡單,抓取豆瓣電影top250資料,並儲存到txt 上傳到資料庫中。通過分析可以發現,不同頁面之間是有start的值在變化,其他為固定部分。以物件導向的編碼方式編寫這個程式,養成好的編碼習慣。基本資訊在 init 函式中初始化...

Python資料視覺化 豆瓣電影TOP250

豆瓣電影top250,對於眾多爬蟲愛好者,應該並不陌生。很多人都會以此作為第乙個練手的小專案。當然這也多虧了豆瓣的包容,沒有加以太多的反爬措施,對新手比較友好。本期通過scrapy框架,對豆瓣電影top250資訊進行爬取。同時對獲取的資料進行視覺化分析,給大家帶來乙個不一樣的top250。01 sc...

爬蟲教程 用Scrapy爬取豆瓣TOP250

文章首發於 guanngxu 的個人部落格 用scrapy爬取豆瓣top250 最好的學習方式就是輸入之後再輸出,分享乙個自己學習scrapy框架的小案例,方便快速的掌握使用scrapy的基本方法。本想從零開始寫乙個用scrapy爬取教程,但是官方已經有了樣例,一想已經有了,還是不寫了,盡量分享在網...