Python爬蟲 xunfeng的Linux安裝

巡風支援多平台安裝，包括windows、linux、osx、docker。我們今天只使用linux進行安裝。

由於linux版本眾多，我們只講centos、ubuntu和debian，以下在沒有特別說明的情況下，視為三個版本操作一樣：

部署和除錯巡風要求root許可權，請使用者切換到root賬號進行操作，ubuntu或debian系統預設未開啟root，請開啟。

一、環境安裝

echo tz\=

'asia/shanghai'\;
export tz >> ~/.bash\_profile &&
source ~/.bash\_profile

yum install gcc libffi-devel python-devel openssl-devel libpcap-devel

apt-get update 

apt-get
install gcc libssl-dev libffi-dev python-dev libpcap-dev

wget  --no-check-certificate

python get-pip.py

pip install -u pip

pip install -r requirements.txt -i

centos

vi /etc/yum.repos.d/mongodb-org-3.2.repo

[mongodb-org-3.2]

name=mongodb repository
baseurl=
gpgcheck=0
enabled=1
gpgkey=

yum install -y mongodb-org

apt-key adv --keyserver hkp: --recv 7f0ceb10

apt-get update &&
apt-get
install -y mongodb-org

echo

"deb  precise/mongodb-org/3.0 multiverse"
|tee /etc/apt/sources.list.d/mongodb-org-3.0.list

echo

"deb  trusty/mongodb-org/3.0 multiverse"
|tee /etc/apt/sources.list.d/mongodb-org-3.0.list

預設情況下這兩種方式安裝的mongodb均會自動啟動 執行如下命令檢視 mongodb 是否成功啟動:

netstat -antlp |

grep 27017

service mongod restart

/etc/init.d/mongod restart

cd ~/

mongod --dbpath /var/lib/mongodb/

netstat -antlp |

grep 27017

mongo

> use xunfeng
> db.createuser(]}
)>
exit

mongorestore -h 127.0.0.1 --port 27017 -d xunfeng

service mongod stop

class config(object):

account =
'admin'
password =
'xunfeng321'

class productionconfig(config):

db =
'127.0.0.1'
port = 27017
dbusername =
'scan'
dbpassword =
'scanlol66'
dbname =
'xunfeng'

根據實際情況修改(埠和目錄需對應好) conifg.py 和 run.sh 檔案後, 執行:

sh run.sh

巡風xunfeng原始碼解讀

一 原始碼位址 二 網路解讀參考 vulscan 模組 多個模組解讀 aider.py 輔助驗證的指令碼。這個指令碼會監聽8088埠 以及dns監聽53埠。可以將所有請求的dns請求記錄下來輔助驗證某處是否存在漏洞。nascan.py 資產識別 資訊收集 的模組。view.py 展示模組。flask...

python爬蟲 非同步爬蟲

壞處 無法無限制的開啟多執行緒或者多程序。執行緒池 程序池 適當使用 使用非同步實現高效能的資料爬取操作 人多力量大 環境安裝 pip install aiohttp 使用該模組中的clientsession 2表示同時存在兩個協程 pool pool 2 urls for i in range 1...

Python爬蟲 初識爬蟲

模擬瀏覽器開啟網頁，獲取網頁中我們想要的那部分資料 瀏覽器開啟網頁的過程 當你在瀏覽器中輸入位址後，經過dns伺服器找到伺服器主機，向伺服器傳送乙個請求，伺服器經過解析後傳送給使用者瀏覽器結果，包括html,js,css等檔案內容，瀏覽器解析出來最後呈現給使用者在瀏覽器上看到的結果 瀏覽器傳送訊息給...