2020/11/1
用來記錄我的web之路
當乙個搜尋蜘蛛訪問乙個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜尋機械人就會按照該檔案中的內容來確定訪問的範圍；如果該檔案不存在，所有的搜尋蜘蛛將能夠訪問**上所有沒有被口令保護的頁面。(暫時不太了解爬蟲技術）
robots是一種txt檔案，裡面記錄了一些資訊。然後我們在ip埠後面加上
會顯示出：
user-agent: * （使用者**：使得伺服器能夠識別客戶使用的作業系統及版本、cpu 型別、瀏覽器及版本、瀏覽器渲染引擎、瀏覽器語言、瀏覽器外掛程式等。）
disallow:
disallow: f1ag_1s_h3re.php
然後複製disallow後面的東西輸入：
附：robots.txt 寫法大全：
wp:常見的備份檔案字尾名有 .git .svn .swp .~ .bak .bash_history一次次的試220.249.52.133:48265/index.php+上面的備份檔案字尾
按f12檢視網路項的cookie，通過look-here(暗示的很明顯了）獲取cookie.php
Web 攻防世界新手區題解
1.view source x老師讓小寧同學檢視乙個網頁的源 但小寧同學發現滑鼠右鍵好像不管用了。本題開啟網頁檢視源 即得到flag 2.robots x老師上課講了robots協議，小寧同學卻上課打了瞌睡，趕緊來教教小寧robots協議是什麼吧。本題看提示robots協議，就在位址列後面跟上rob...
攻防世界 web 新手練習區 weak auth
題目意思是破解密碼。1，隨便輸入使用者名稱，密碼，點選login，頁面彈窗提示使用admin作為使用者名稱登入。2，開啟burpsuite，chrome瀏覽器開啟 設定，抓包，將提交使用者名稱 密碼的post訊息傳送至intruder模組，設定username和password為爆破引數，新增adm...
攻防世界 web 新手練習區 robot
解題思路 1，檢視robots.txt內容。user agent disallow disallow f1ag 1s h3re.php 2，瀏覽器執行 可得flag。robots協議也叫robots.txt 統一小寫 是一種存放於 根目錄下的ascii編碼的文字檔案，robots.txt應放置於 的...