目標：
烏雲網是國內最大最權威的安全平台，所以烏雲網的註冊廠商都是業較有影響力的廠商，我們的最終目的是通過烏雲網拿到所有廠商的url，即主站網域名稱，隨後呼叫subdomainsbrute能批量暴力掃瞄子網域名稱，最後將所有得到的子網域名稱通過awvs漏掃介面批量掃瞄，從而達到了批量、全面掃瞄國內**巨頭站點的目標。
本次目標：
烏雲網的廠商列表有43頁、844條廠商記錄，頁面為到本次寫乙個爬蟲掃瞄這些網頁將得到的url儲存到本地。
大約200秒之後，本地會生成wooyun.txt檔案裡面包含所有url。
檔案內容：
python 爬蟲 基本抓取
首先，python中自帶urllib及urllib2這兩個模組，基本上能滿足一般的頁面抓取，另外，requests 也是非常有用的。對於帶有查詢欄位的url，get請求一般會將來請求的資料附在url之後，以?分割url和傳輸資料，多個引數用 連線。data requests data為dict，js...
python 爬蟲，抓取小說
coding utf 8 from bs4 import beautifulsoup from urllib import request import re import os,time 訪問url，返回html頁面 defget html url req request.request url ...
Python爬蟲抓取（一）
開啟cmd 1.新建虛擬環境virtualenv 環境名稱，主要是我們開發乙個專案，不可能在源目錄下進行開發，新建虛擬目錄可以不汙染源環境，可以切換到你需要新建的目錄下再建，預設在python的安裝目錄下 2.進入虛擬環境 cd 環境名稱 3.啟用虛擬環境 scripts activate 4.在虛...