使用 python 抓乙個網頁

2021-08-27 16:33:38 字數 879 閱讀 5055

要抓取乙個**,要解決下面幾個問題

beautiful soup 文件:

1.用python模擬useragent為android的瀏覽器:

#url編碼

urllib.quote(『abc edf')

2.beautiful soup

用的最多的一些方法

soup = beautifulsoup(html)

print soup.strong.string

print soup.find("div",class_='***').string

print soup.find("span",class_='pos').next_sibling.string

onediv.next_sibling.a.get("href")

獲取乙個div,並且class='***

' 的乙個div,.string 為獲取這個div裡的文字。

.next_sibling 下乙個同級節點。

3.正則提取文字中以http開頭和以html結尾的文字:

抓取就可以開始了,然後對應上出現的一場來解決問題就行。

python寫第乙個網頁

1 安裝django見別的部落格 2 執行開發伺服器 在命令提示符裡進入目錄mytest cd mytest 注 我的放在e盤根目錄下 輸入執行開發命令 python manage.py runserver 輸出結果 e mysite python manage.py runserver perfo...

寫乙個網頁

1 建立站點資料夾,站點資料夾的名字可以是中文 2 在站點資料夾下面建立子資料夾和子檔案 css js images html,前三個都是資料夾形式 子資料夾和子檔案的名字不能是中文 2.重置所有預設的樣式和設定一些全域性樣式,並將設定樣式的css檔案和對應的頁面關聯起來 3.劃分區域 如果的寬度大...

使用 Requests 實現乙個簡單網頁爬蟲

我們簡單介紹了爬蟲的基本原理,理解原理可以幫助我們更好的實現 python 提供了非常多工具去實現 http 請求,但第三方開源庫提供的功能更豐富,你無需從 socket 通訊開始寫,比如使用pyton內建模組 urllib 請求乙個 url 示例如下 import ssl from urllib....