我們最常規的做法就是通過滑鼠右鍵,選擇另存為。但有些滑鼠右鍵的時候並沒有另存為選項,還有辦法就通過就是通過截圖工具擷取下來,但這樣就降低的清晰度。好吧~!其實你很厲害的,右鍵檢視頁面源**。
我們可以通過python
來實現這樣乙個簡單的爬蟲功能,把我們想要的**爬取到本地。下面就看看如何使用
python
來實現這樣乙個功能。
一,獲取整個頁面資料
urllib 模組提供了讀取
web頁面資料的介面,我們可以像讀取本地檔案一樣讀取www和
ftp上的資料。首先,我們定義了乙個gethtml()函式:
urllib.urlopen()方法用於開啟乙個
url位址。
read()方法用於讀取
url
二,篩選頁面中想要的資料
python 提供了非常強大的正規表示式,我們需要先要了解一點python
正規表示式的知識才行。
修改**如下:
我們又建立了getimg()
函式,用於在獲取的整個頁面中篩選需要的連線。
re模組主要包含了正規表示式:
re.compile() 可以把正規表示式編譯成乙個正規表示式物件.
re.findall() 方法讀取
html
中包含
imgre
(正規表示式)的資料。
執行指令碼將得到整個頁面中包含的url
位址。
三,將頁面篩選的資料儲存到本地
把篩選的位址通過for
迴圈遍歷並儲存到本地,**如下:
通過乙個for
迴圈對獲取的連線進行遍歷,為了使的檔名看上去更規範,對其進行重新命名,命名規則通過
x變數加
1。儲存的位置預設為程式的存放目錄。
python執行緒抓取頁面簡單內容
用到的基本就是之前提到的執行緒小框架及邏輯 encoding utf 8 import requests from lxml import etree import threading import os class cnbeta object thread 獲取 首頁 def get url se...
python爬蟲 抓取騰訊招聘資訊頁面
本爬蟲主要使用了requests json bs4 beautifulsoup 等相關模組,不完善之處請大家不吝賜教!出處 coding utf 8 import requests,json,time from bs4 import beautifulsoup class tencent hr ob...
抓取網頁頁面資訊
不借助第三方工具 httpunit,htmlparse 想獲得也個 的某個頁面的資訊,關鍵是能順利請求到該頁面。某些 進行加密和其他技術可以防止被抓,那就很難你得逞了。請求連線方法 這樣就可以順利獲得 該關鍵字 在第幾頁的列表資訊了 做完這一步就可以通過解析要查詢的資訊了,比如公司資訊,招聘職位 w...