centos7快速安全部署爬蟲執行環境

centos快速部署爬蟲所需的環境, 避免走彎路! 以下所涉及其他部落格的鏈結, 都是作者親身測試有效的, 特此彙總

linux 系統掛載資料盤

# 注意事項 echo '/dev/vdb1 /mnt ext4 defaults 0 0' >> /etc/fstab

mount -a

新裝的centos 7安裝python3

pip3安裝 pip3 install -i -r requirements.txt command 'gcc' failed with exit status 1報錯解決方法

yum install python3-devel

最好不要用預設的埠27017, 並且一定要設定密碼, 密碼生成器, 防止被暴力破解

mongo.conf, 修改處僅供參考

dbpath
=/mnt/mongodb/data
logpath
=/mnt/mongodb/logs/mongo.log #事先建立該檔案
=true
journal
=true
quiet
=true
port
=5010
fork
=true #後台執行
bind_ip
=0.0.0.0 #允許任何ip進行連線
wiredtigercachesizegb=2
# 這個最好設定下, 防止記憶體一直增長
auth
=true

注意事項

資料目錄換成硬碟所在目錄啟動：cd /usr/local/mongodb/mongodb-linux-x86_64-3.6.13/bin mongod -f /mnt/mongodb/mongo.conf 設定使用者名稱, 密碼 use admin db.createuser( )配置檔案加上：auth=true 登入use admin db.auth( 'admin','123456' )第二種登入方法 mongo --port 5010 -u "admin" -p "123456" --authenticationdatabase "admin" mongodb匯出/備份命令 mongoexport -h localhost --port 5010 -u "admin" -p "123456" -d test_db -c test_col -o /mnt/test.json --authenticationdatabase admin

mongodump -h localhost --port 5010 -u "admin" -p "123456" -d test_db -o /mnt --authenticationdatabase admin

視覺化工具建議使用: robo 3t

centos安裝redis+三種啟動方式

centos7安裝redis4.0.2

redis允許遠端訪問並設定密碼

密碼和埠建議更改設定

redis.conf 修改處僅供參考

protected-mode no port 5009 daemonize yes

requirepass your_password

進入src目錄, 啟動redis cd /mnt/redis/redis-5.0.8/src ./redis-server /mnt/redis/redis-5.0.8/redis.conf redis-cli命令全域性使用 ln -s /mnt/redis/redis-5.0.8/src/redis-cli /usr/bin/redis-cli auth "password" scrapy-redis配置格式 redis_url =

'redis://:password@ip:port/0'

視覺化工具推薦使用: redisdesktopmanager

scrapyd使用詳解

scrapyd 的安裝和啟動

default_scrapyd.conf 僅供參考

啟動：nohup scrapyd &

每次啟動確保在scrapyd目錄內執行該命令gerapy 使用詳解

預設是本地化啟動,如果埠被占用請自行更改

nohup gerapy runserver 0.0.0.0:5007 &

推薦專案 proxy_pool

1 ) helper --> scheduler.py中設定獲取及檢查**ip頻率 scheduler.add_job(runproxyfetch, 'interval', seconds =15, id ="proxy_fetch", name ="proxy採集" )scheduler.add_job(runproxycheck, 'interval', minutes =1, id ="proxy_check", name ="proxy檢查" )檢查**可能會阻塞採集**任務, 需要合理設定檢查**頻率或併發檢查**併發設定地方: helper --> check.py, 預設為20個執行緒檢視採集**間隔時間是否按照設定的15s, 可以在proxyfetch.py中列印日誌進行確認, 從而調整上述引數 2) fetcher --> proxyfetcher.py設定擴充套件** 返回格式: host:ip 3) setting.py 檢查**可用性 verify_url = ""verify_timeout = 5max_fail_count = 0 設定失敗次數, 超過後從資料庫進行刪除(實際情況設定) 4) 程式啟動 # 啟動排程程式 nohup python proxypool.py schedule & # 啟動webapi服務 nohup python proxypool.py server &

或者sh start.sh

圖形化管理工具ossbrowser

上傳檔案 nohup ./ossutil64 cp /mnt/youfile oss://youpath & 上傳資料夾 nohup ./ossutil64 cp -r /mnt/youfolder oss://youpath &

nohup ./ossutil64 cp oss://youpath/youfile /mnt/ &

centos7快速安全部署爬蟲執行環境

webservices安全部署

安全部署與優化

sshd服務安全部署

centos7快速安全部署爬蟲執行環境

webservices安全部署

安全部署與優化

sshd服務安全部署

相關推薦