第一次的爬蟲經歷

2021-09-10 22:40:42 字數 1198 閱讀 1857

筆者大學寒假期間呆在家裡,無事可做,秉承這時間就是金錢的理念,於是便開始了爬蟲的學習。由於筆者就讀於一所專精於電子資訊科技的211大學,雖然之前沒有系統的學過python,但基本的語法還是能看懂的。廢話不多說,直接開始今天的正題。

利用爬蟲儲存,首先就要用到python中的requests庫。安裝requests庫的方法這裡不再贅述。

`url = ''`
建立乙個將儲存的目錄。將url最後的乙個』/'後的名稱作為檔名儲存

root = "d://pics//"

path = root + url.split('/')[-1] #擷取url最後的名字作為檔名儲存

然後利用get方法得到他的url。將get的返回值寫入乙個新建的檔案中,這樣就完成了儲存網上的操作。

r = requests.get(url)

with open(path, 'wb') as f:#建立乙個檔案

f.write(r.content)#將返回的檔案寫入上述檔案

f.close()

print("檔案儲存成功")

完整的**如下:

import requests

import os

url = ""

root = "d://pics//"

path = root + url.split('/')[-1]#擷取url最後的名字作為檔名儲存

try:

if not os.path.exists(root):#判斷根目錄是否存在,不存在建立根目錄

os.mkdir(root)

if not os.path.exists(path):

r = requests.get(url)

with open(path, 'wb') as f:#建立乙個檔案

f.write(r.content)#將返回的檔案寫入上述檔案

f.close()

print("檔案儲存成功")

else:

print("檔案已存在")

except:

print("爬取失敗")

這裡我們還需要os庫來判斷根目錄是否存在以及若不存在建立根目錄。

這是筆者第一次寫部落格,如有錯誤的地方請大家多多包涵,並向筆者提出意見。

爬蟲第一次

由於面試的需要,昨天看了下爬蟲,python的,原先一直以為很高階,但是才發現大體思路很清晰。1。連線到要抓取的某網 注意import urllib,比如這個樣子 def gethtml url page urllib.urlopen url html page.read return html 這...

第一次爬蟲

from bs4 import beautifulsoup import requests import time def get item info url 如何從詳情頁裡面要爬取的內容 url wb data requests.get url soup beautifulsoup wb data...

第一次筆試經歷

今天去參加了人生中第一次應聘的筆試,感受很深,也引起了我不少的反思。本人大三黨一枚,電腦科學與技術專業,說實話大學的前一年半真的是在玩遊戲中虛度了,大二的下學期才迷途知返。戒掉了遊戲,然後摸索了兩個月,最後又回到了遊戲這個方向,只不過從當年的玩遊戲,變成了寫遊戲,自己寫過幾個windows平台下小的...