近期**出現收錄、搜尋**品牌詞搜尋引擎首頁找不到**首頁。**排查原因發現沒開啟搜尋引擎蜘蛛爬行日誌。 於是研究了一下開啟方法， 下面就分享給大家。
1、 apache伺服器存在多站點，分站點配置搜尋引擎蜘蛛日誌方法
找到apache下 conf 檔案配置vhosts.conf（我的是 phpstudy 2018路徑是c:\phpstudy\phptutorial\apache\conf）
開啟 vhosts.conf 開啟方式記事本都行，在結束開始新增
customlog 「c:/phpstudy/phptutorial/www/logs/你要開啟的**.log」 combined
再到** www檔案下建立 logs資料夾來存放搜尋引擎蜘蛛日誌檔案。不要忘記要重啟你配置過的apache。如果無法啟動請檢測你配置的路徑是否正確。第二種無法啟動情況，你得排查 httpd.conf， 把 #customlog 「logs/access_log」 combined 這一句前面的 # 去掉就ok。
2、 apache伺服器配置分時段按天生成搜尋引擎蜘蛛日誌
第二種方式還是不推薦，影響apache工作效率。
要在 apache下去還是配置 vhosts.conf （
我的是 phpstudy 2018路徑是c:\phpstudy\phptutorial\apache\conf） 開啟
vhosts.conf 檔案新增以下**
customlog 「|bin/cronolog.exe c:/phpstudy/phptutorial/www/logs /你的**_%y%m%d.log」 combined
combined errorlog 「|bin/cronolog.exe c:/phpstudy/phptutorial/www/logs/error_%y%m%d.log」
常見搜尋引擎蜘蛛大全
谷歌 google.com googlebot http www.google.com bot.html 中文版請開啟以下頁面 雅虎 yahoo.com yahoo http misc.yahoo.com.cn help.html 開啟後跳轉到以下頁面 有道 yodao.com yodaobot 搜...
搜尋引擎蜘蛛爬蟲原理
1 聚焦爬蟲工作原理及關鍵技術概述 相對於通用網路爬蟲，聚焦爬蟲還需要解決三個主要問題 1 對抓取目標的描述或定義 2 對網頁或資料的分析與過濾 3 對url的搜尋策略。抓取目標的描述和定義是決定網頁分析演算法與url搜尋策略如何制訂的基礎。而網頁分析演算法和候選url排序演算法是決定搜尋引擎所提供...
搜尋引擎蜘蛛工作原理
能在搜尋引擎被搜到，歸功於搜尋引擎蜘蛛抓取的功勞，權重高，更新快的 搜尋引擎蜘蛛會經常爬行，抓取 最新資料，經過搜尋引擎資料整理後，在搜尋引擎上就能搜尋到 的網頁，為了更好的seo優化 了解搜尋引擎蜘蛛爬行規則也是相當重要的，怎麼才能知道搜尋引擎蜘蛛在爬行 時間 爬行網頁 爬行反映呢，就要檢視 ii...