Python 第乙個爬蟲

1

import
urllib.request
2importre3
4class
downpic:56
def__init__
(self,url,re_str):
7         self.url =url
8         self.re_str =re_str910
defgethtml(self,url):
11         page =urllib.request.urlopen(url)
12         html =page.read()
13return
str(html)
1415
defdownloadpic(self):
16         imgre = re.compile(self.re_str) #
構造正則
17         html = self.gethtml(self.url) #
讀取介面
將取到本地
24except:25
print("
error")
26             x += 1

下面是呼叫：

1

from downpic import
downpic
23 downpic = downpic("
",r'
src="(" pic_ext')
45downpic.downloadpic()
6print("
over
")

從上面可以看到，乙個簡單爬蟲的基本步驟是：

1、讀取介面的html

2、用正則去獲取到目標鏈結

python爬蟲 第乙個爬蟲

1.本地安裝了nginx,在預設的html目錄下建立測試html 如圖，即index.html導向a,b,c 3個html,a.html又可以導向aa,bb兩個html,c.html可以導向cc.html。2.修改nignx配置使得本地可以訪問寫的kmtest裡的index.html。參考文件 ng...

第乙個爬蟲

很多人學習python的目的就是為了學習能夠實現爬蟲的功能，這裡，我使用了scrapy框架來實現了乙個簡單的爬蟲功能,這裡我簡單的介紹一下scrapy專案的建立，和執行。1，第一步是安裝scrapy，我相信到了這一步，大多數人都已經會安裝第三方庫檔案了，這裡主要是使用命令pip install sc...

第乙個爬蟲

一 程式測試 二 開啟360網頁 三 html計算 四 中國大學排名 爬取年費2018 五 函式介紹總結 1.requests 庫的網頁請求函式 函式 說明 get url timeout n 對應http的get方式，設定請求超時時間為n秒 post url,data 對應http的post方式，...