【題目描述】
x老師上課講了robots協議，小寧同學卻上課打了瞌睡，趕緊來教教小寧robots協議是什麼吧。
【目標】
掌握robots協議的知識。robots.txt是搜尋引擎中訪問**的時候要檢視的第乙個檔案。當乙個搜尋爬蟲訪問乙個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜尋爬蟲就會按照該檔案中的內容來確定訪問的範圍；如果該檔案不存在，所有的搜尋爬蟲將能夠訪問**上所有沒有被口令保護的頁面。
robots協議（也稱為爬蟲協議、機械人協議等）的全稱是「網路爬蟲排除標準」（robots exclusion protocol），**通過robots協議告訴搜尋引擎哪些頁面可以抓取，哪些頁面不能抓取。
robots協議通常以robots.txt存在，robots.txt檔案是乙個文字檔案，robots.txt是乙個協議，而不是乙個命令。robots.txt是搜尋引擎中訪問**的時候要檢視的第乙個檔案。robots.txt檔案告訴蜘蛛程式在伺服器上什麼檔案是可以被檢視的。
robots.txt檔案寫法：
【解題思路】
（1）思路1
第一步：構造訪問robots.txt的鏈結
這個意思就禁止爬取檔案：f1ag_1s_h3re.php，同樣檔案命名也說明了一切了吧。非要開啟看看。
第二步：構造鏈結
直接獲取到flag。
（2）思路2
當然也有第二種方法就是，使用dirsearch工具進行掃瞄目錄。
掃瞄能找到robots.txt檔案。
（涉及的知識點講解，很詳細）
（過程講解，很詳細）
XCTF攻防世界web高階練習 mfw
xctf攻防世界web高階練習 mfw題目為mfw，沒有任何提示。直接開啟題目，是乙個 大概瀏覽一下其中的內容，看到其中url變化其實只是get的引數的變化 檢視它的原始碼，看到有乙個?page flag，flag應該在這個頁面裡面 但是進入這個頁面發現是空的 注意到有這樣乙個頁面，說道用到了git...
XCTF攻防世界web新手練習 1 robots
題目為robots，首先題目描述為 進入題目後空白一片，f12檢視原始碼 想起題目與robots相關，試試檢視robots.txt 得到flag在f1ag 1s h3re.php這個檔案裡，便前往它。得到flag！以下是維基百科內容 訴網路搜尋引擎的漫遊器，此 中的哪些內容是不應被搜尋引擎的漫遊器獲...
XCTF攻防世界web新手練習 3 cookie
題目為cookie，描述資訊 題目肯定與cookie有關，進入題目，看到 用burp抓包，看到響應頭設定了乙個cookie，並提示cookie.php 於是檢視cookie.php，提示看響應 於是再次用burp抓包，在響應頭中得到flag！維基百科 cookie 複數形態cookies 又稱為 小...