我們在寫**防火牆規則的時候可能都會做一件事:永遠不遮蔽那些主流搜尋引擎機械人的爬取(如,google,bing,yahoo,baidu等).
至今，我們覺得這樣很好,但是現在我們時不時地碰到一些奇怪的現象，不得不讓我們思考乙個問題,如果乙個合法的搜尋引擎機械人被用來攻擊**那會怎樣？難道我們仍然讓這樣的攻擊暢通無阻而不去遮蔽他？
這種情況幾天前確實在我們的乙個**上發生了，我們要開始遮蔽google的ip位址，因為谷歌蜘蛛爬**時傳送的請求確實存在sqli攻擊.你沒看錯，谷歌蜘蛛確實正在攻擊**.
傳送的請求
一切起源於我們發現乙個真實的google ip位址由於sql注入被遮蔽了.這是日誌記錄的（為了保護無辜的受害者做了一點點改動）
我們一開始以為它是乙個假的google bot,但是審查ip後發現這個ip真的是google的:
進一步調查發現還有很多其他相似的請求ip都來自google.
到底發生了什麼?
按理來說google應該沒有興趣hack我們我們的**啊，他們的自動化機械人應該是被攻擊者利用了.
在上面那個場景中，機械人正在爬取**a.**a有很多暗藏的鏈結可以傳送sqli請求到目標**b.google機械人爬取頁面的時候看到了這幾個連線，然後就會順著這個鏈結爬過去,這樣的話，google機械人就無意地攻擊了**b.這個事實可能我們都沒特別注意到，但是確實是乙個應該深思的問題.
是否可以建立很多惡意鏈結，然後讓機械人訪問這些連線，然後就能對別的**進行一次攻擊呢？
利用機械人隱秘攻擊
讓我們假設一下，有乙個攻擊者叫john.john每天的事就是爬取頁面，然後發現新的漏洞.很久以後，他發現了很多**都有漏洞，是時候該一次性把這些**都收了.但是john不是一般的黑客，他非常熟悉計算機取證過程，深知乙個成功的hacker必須是不能留下任何痕跡.
計算機取證中，我們會檢視日誌.john當然知道這個.但是如果john如果做得足夠仔細，仔細到
自己沒有被發現呢？john現在有乙個漏洞列表，其中就有乙個是b**上的sqli或者rfi.john開啟自己的**a，新增了一些看起來不錯的內容，但是他還默默地新增了幾個鏈結，這幾個鏈結對普通訪問**的人是看不到的，但是卻非常吸引爬蟲來爬取.這些鏈結全都可以發起rfi和sqli攻擊.利用瀏覽器，這樣john就可以完成更高效的攻擊，還不讓人發現.
也許這是乙個猜想，或許也不是..有什麼想法麼？
我們會就這件事聯絡google,但是我們必須記住的是，不能僅僅把他們的ip放到白名單裡，而讓其任何的窺視都暢通無阻.
[via@sucuri]
from: www.91ri.org
常見搜尋引擎蜘蛛大全
谷歌 google.com googlebot http www.google.com bot.html 中文版請開啟以下頁面 雅虎 yahoo.com yahoo http misc.yahoo.com.cn help.html 開啟後跳轉到以下頁面 有道 yodao.com yodaobot 搜...
搜尋引擎蜘蛛爬蟲原理
1 聚焦爬蟲工作原理及關鍵技術概述 相對於通用網路爬蟲，聚焦爬蟲還需要解決三個主要問題 1 對抓取目標的描述或定義 2 對網頁或資料的分析與過濾 3 對url的搜尋策略。抓取目標的描述和定義是決定網頁分析演算法與url搜尋策略如何制訂的基礎。而網頁分析演算法和候選url排序演算法是決定搜尋引擎所提供...
搜尋引擎蜘蛛工作原理
能在搜尋引擎被搜到，歸功於搜尋引擎蜘蛛抓取的功勞，權重高，更新快的 搜尋引擎蜘蛛會經常爬行，抓取 最新資料，經過搜尋引擎資料整理後，在搜尋引擎上就能搜尋到 的網頁，為了更好的seo優化 了解搜尋引擎蜘蛛爬行規則也是相當重要的，怎麼才能知道搜尋引擎蜘蛛在爬行 時間 爬行網頁 爬行反映呢，就要檢視 ii...