python寫乙個簡單爬蟲程式

2021-10-05 12:00:33 字數 2466 閱讀 2419

python寫乙個簡單爬蟲程式

先看輸出結果:

d:\應用集合\python>1.py

**名稱:詭秘之主

**名稱:超神機械師

**名稱:九星毒奶

**名稱:第一序列

**名稱:明天下

**名稱:爛柯棋緣

**名稱:虧成首富從遊戲開始

**名稱:我師兄實在太穩健了

**名稱:輪迴樂園

**名稱:當醫生開了外掛程式

**名稱:學霸的黑科技系統

**名稱:我真沒想重生啊

**名稱:手術直播間

**名稱:聖墟

**名稱:滄元圖

**名稱:黎明之劍

**名稱:慶餘年

**名稱:伏天氏

**名稱:斗羅大陸iv終極斗羅

**名稱:小閣老

d:\應用集合\python>

:#獲取**

try:

r=requests.get(url)

r.raise_for_status(

) return r.text

except

:return

""def

getpic

(html)

: soup =beautifulsoup(html,

'html.parser'

) all_tag=soup.find(

'ul'

,class_=

'all-img-list cf'

).find_all(

'h4'

)for tag in all_tag:

src=tag.string

src.decode(

'utf-8'

)print

("**名稱:"

+ src)

defmain()

: url=

''html=

(gethtmlurl(url)

) getpic(html)

main(

)

.解壓到python安裝目錄下的根目錄中

c:\python27\beautifulsoup4-4.3.2

python要在全域性path中c:\python27\arcgisx6410.4

執行python setup.py install命令來進行安裝

c:\python27\beautifulsoup4-4.3.2>python setup.py install

```bash

c:\python27\beautifulsoup4-4.3.2>python setup.py install

running install

running build

running build_py

creating build

creating build\lib

creating build\lib\bs4

copying bs4\dammit.py -> build\lib\bs4

copying bs4\diagnose.py -> build\lib\bs4

copying bs4\element.py -> build\lib\bs4

copying bs4\testing.py -> build\lib\bs4

copying bs4\__init__.py -> build\lib\bs4

creating build\lib\bs4\builder

copying bs4\builder\_html5lib.py -> build\lib\bs4\builder

copying bs4\builder\_htmlparser.py -> build\lib\bs4\builder

copying bs4\builder\_lxml.py -> build\lib\bs4\builder

copying bs4\builder\__init__.py -> build\lib\bs4\builder

creating build\lib\bs4\tests

....

..

----the—end—

使用python寫乙個簡單爬蟲的思路

import requests import re from bs4 import beautifulsoup 從bs4這個庫中匯入beautifulsoup headers download url html requests.get download url,headers headers bh...

寫乙個簡單web程式

開發簡單 web 服務程式 cloudgo,了解 web 伺服器工作原理。熟悉 go 伺服器工作原理 基於現有 web 庫,編寫乙個簡單 web 應用類似 cloudgo。使用 curl 工具訪問 web程式 對 web 執行壓力測試 課件程式設計 web 服務程式 類似 cloudgo 應用。要求...

實現簡單乙個簡單的python爬蟲程式

爬蟲又稱網路蜘蛛,網頁機械人,是一種按照一定的規則,自動地抓取全球資訊網資訊的程式或者指令碼。http協議 超文字傳輸協議 https協議 超文字傳輸協議 安全 使用 基本流程 實現網頁採集 coding utf 8 author 安城 ance requests網頁資料採集 時間 2021 1 1...