爬蟲入門（二）

我們了解了requests庫所有的方法以及response物件的所有屬性，但是我們只嘗試了requests的get方法並且只新增了url這個引數，接下來我們舉幾個稍微複雜點的例子來看一下。

新增瀏覽器頭

import requests

try:
kv = 
r = requests.get(url,headers=kv)
r.raise_for_status()
print(r.text[1000:2000])
except:
print('爬取失敗')

import requests

keywords = 'nba直播'
url = ''
try:
kv = 
r = requests.get(url,params=kv)
print(r.request.url)
r.raise_for_status()
print(r.text[1000:2000])
except:
print('爬取失敗')

root = "d//pictures//"

path = root + url.split('/')[-1]

try:

if not os.path.exists(root):

os.mkdir(root)

if not os.path.exists(path):

r = requests.get(url)

with open(path ,'wb') as f:

f.write(r.content)

f.close()

print('檔案儲存成功')

else:

print('檔案存在')

except:

print("爬取失敗")

爬蟲二 Python爬蟲入門二

1.認識爬蟲 1.1 什麼是爬蟲 爬蟲 一段自動抓取網際網路資訊的程式，從網際網路上抓取對於我們有價值的資訊。1.2 python的爬蟲架構 網頁解析器 將乙個網頁字串進行解析，可以按照我們的要求來提取出我們有用的資訊，也可以根據dom樹的解析方式來解析。網頁解析器有正規表示式 直觀，將網頁轉成字串...

Python爬蟲入門 二

爬蟲，即網路爬蟲，大家可以理解為在網路上爬行的一直蜘蛛，網際網路就比作一張大網，而爬蟲便是在這張網上爬來爬去的蜘蛛咯，如果它遇到資源，那麼它就會抓取下來。想抓取什麼？這個由你來控制它咯。比如它在抓取乙個網頁，在這個網中他發現了一條道路，其實就是指向網頁的超連結，那麼它就可以爬到另一張網上來獲取資料。...

python網路爬蟲入門（二）

一 python爬取10頁250條資料中的所有 書單 模組案例方法一 encoding utf 8 import requests from bs4 import beautifulsoup i 25 while i 225 i i 25 c str i resp requests.get c so...