例項 Python爬取CSND課程名

》 爬取csdn人工智慧課程名

###1.匯入urllib&re模組

import urllib.request,re

###2.定義目標url變數

csdn_url=「

###3.探尋目標規律

》檢視網頁源**

》ctrl+f 搜尋關鍵字

》發現每個課程名都在span塊中

###4.匹配規則

pat = 』 ( .* ？) 』 //利用原字元將課程名提取出來

###5.獲取網頁二進位制字串，並解碼（返回網頁源**）

data1=urllib.request.urlopen(csdn_url).read().decode(「utf-8」)

###6.編譯正規表示式，並返回匹配的值

result=re.compile(pat).findall(data1)

print(result)

###每日一言

學而不思則罔，思而不學則殆

Python爬蟲例項，爬取小說

import pprint import requests from bs4 import beautifulsoup 獲取原始碼 defget source url r requests.get url if r.status code 200 print r.status code 錯誤 rai...

python爬蟲例項 爬取歌單

學習自 從零開始學python 爬取酷狗歌單，儲存入csv檔案 直接上源 含注釋 import requests 用於請求網頁獲取網頁資料 from bs4 import beautifulsoup 解析網頁資料 import time time庫中的sleep 方法可以讓程式暫停 import c...

python動態爬取知乎 python爬取微博動態

在初學爬蟲的過程中，我們會發現很多 都使用ajax技術動態載入資料，和常規的 不一樣，資料是動態載入的，如果我們使用常規的方法爬取網頁，得到的只是一堆html 沒有任何的資料。比如微博就是如此，我們可以通過下滑來獲取更多的動態。對於這樣的網頁該如何抓取呢？我們以微博使用者動態為例，抓取某名使用者的文...