訪問日誌 尋找百度蜘蛛的足跡

2022-10-05 23:09:18 字數 946 閱讀 5507

像很多開始學seo的新手一樣,seo地愛歪也對這個問題有過迷惑,認為百度、google等的蜘蛛都是晚上爬行這也是很多seo高手或大師們的說法。所以造成了大多數seo們的認識。

可是就在前幾天,seo地愛歪也想真正尋求這個問題的答案。而方法就是分析web伺服器的訪問日誌。今天我就****的日誌,並帶領大家一起尋找百度spider的蹤跡。我用的萬網的unix伺服器,可能有的朋友跟我的不同,不過大同小異。

1、我們ftp到**目錄

2、開啟wwwlogs目錄,如果根目錄下沒用該目錄,請詢問服務商的技術支援,反正這一步找到日誌檔案的存放路徑

3、檢視日誌檔案,一般來講,訪問日誌會按照日期進行儲存,比如seo地愛歪的就是access.log.2.gz

4、我們拖放該檔案到本地

5、解壓,然後用寫字板開啟,一般用記事本開啟會顯示得很亂

6、查詢baiduspider

7、在結果中檢視百度蜘蛛的爬行痕跡,如圖所示:

8/我們繼續尋找百度蜘蛛的蹤跡,下面是百度蜘蛛晚上3點

9、下圖是我們本文的重點,

61.135.168.35 - - [23/jun/2008:10:39:52 +0800] 」get / http/1.1「 200 6248 」-「 &rd程式設計客棧quo;baiduspider+(+

我們可以很明白的看到百度蜘蛛上午10點仍然在爬行我的站點。

10、我們繼續尋找,可以看到11點12點13點、14點的爬行蹤跡。

總之,百度蜘程式設計客棧蛛爬行不一定只有晚上,可能白天也很多,換點石www.cppcns.com的一位會員的說法是:

本文標題: 訪問日誌 尋找百度蜘蛛的足跡

本文位址: /news/seo/65370.html

百度蜘蛛爬行日誌分析

一名合格的seoer在做 優化的時候,不僅僅是要做 優化的一些事,我們還需要分析我們的 分析就包括一些使用者訪問的資訊資料的分析還有就是我們 的日誌進行分析。日誌記錄了搜尋引擎對我們 的訪問情況。我們可以通過 日誌來了解搜尋引擎是否喜歡我們的 下面就給大家介紹下 日誌該怎麼進行分析呢?日誌怎麼分析?...

百度蜘蛛工作表

大家都知道整潔簡單明瞭的 有利於蜘蛛來抓取,但是大家知道蜘蛛的工資表嗎 星期一 8 10 星期二 加油吧 星期三 1 00 4 00 這天也是整個星期最動盪的一天,是讓人又喜又惱的日子,可能你的 快照回退得很遠,可能你的排名公升的很高,不過這天不能決定整個星期,主要在星期四。週三會有一次小更新,無論...

常見的百度蜘蛛IP

123.125.68.這個蜘蛛經常來,別的來的少,表示 可能要進入沙盒了,或被者降權。220.181.68.每天這個ip 段只增不減很有可能進沙盒或k站。121.14.89.這個ip段作為度過新站考察期。203.208.60.這個ip段出現在新站及站點有不正常現象後。210.72.225.這個ip段...