在網際網路發展初期，**相對較少，資訊查詢比較容易。然而伴隨網際網路**性的發展，普通網路使用者想找到所需的資料簡直如同大海撈針，這時為滿足大眾資訊檢索需求的專業搜尋**便應運而生了。
現代意義上的搜尋引擎的祖先，是2023年由蒙特婁大學學生alan emtage發明的archie。雖然當時world wide web還未出現，但網路中檔案傳輸還是相當頻繁的，而且由於大量的檔案散布在各個分散的ftp主機中，查詢起來非常不便，因此alan emtage想到了開發乙個可以以檔名查詢檔案的系統，於是便有了archie。
archie工作原理與現在的搜尋引擎已經很接近，它依靠指令碼程式自動搜尋網上的檔案，然後對有關資訊進行索引，供使用者以一定的表示式查詢。由於 archie深受使用者歡迎，受其啟發，美國內華達system computing services大學於2023年開發了另乙個與之非常相似的搜尋工具，不過此時的搜尋工具除了索引檔案外，已能檢索網頁。
當時，「機械人」一詞在程式設計者中十分流行。電腦「機械人」（computer robot）是指某個能以人類無法達到的速度不間斷地執行某項任務的軟體程式。由於專門用於檢索資訊的「機械人」程式象蜘蛛一樣在網路間爬來爬去，因此，搜尋引擎的「機械人」程式就被稱為「蜘蛛」程式。
先說說搜尋引擎的原理吧。
搜尋引擎是把網際網路上的網頁內容存在自己的伺服器上，當使用者搜尋某個詞的時候，搜尋引擎就會在自己的伺服器上找相關的內容，這樣就是說，只有儲存在搜尋引擎伺服器上的網頁才會被搜尋到。哪些網頁才能被儲存到搜尋引擎的伺服器上呢？只有搜尋引擎的網頁抓取程式抓到的網頁才會儲存到搜尋引擎的伺服器上，這個網頁抓取程式就是搜尋引擎的蜘蛛.
蜘蛛機械人是如何工作的(搜尋引擎的工作原理)你有個很不錯的**，也有很多相關的內容，卻總也不能在搜尋結果頁上排名很高。你也知道，如果你的**不排在前面幾頁，查詢者很有可能是發現不了這個網頁的。你不能理解為什麼對google 和別的主要搜尋引擎網頁不可視。而你競爭對手的網頁還沒你的好，卻排在比你高的位置上。
搜尋引擎不是人類。為了處理成百萬的包含在全球資訊網上的網頁，搜尋引擎公司已經幾乎完全使得這個程式自動化了。乙個軟體程式不會像人眼那樣看待你的網頁。這並不是說你不需要有個可以帶給訪問者快樂的**。這意味著你需要意識到搜尋引擎「看」你網頁時是不一樣的，要根據這個安排。
儘管網路很複雜，而且還要迅速處理所有的資料，搜尋引擎事實上履行的是短短的操作，以把相關的結果反饋給使用者。這四個操作的每乙個都可能出錯。這不是說搜尋引擎本身自己會出現錯誤，它可能只是遇到了一些沒有程式來處理的東西。或者它被程式設計的方式來處理一切遇到的東西會產生不理想的效果。
理解搜尋引擎是如何操作可以幫你理解什麼會發生錯誤。所有的搜尋引擎都是履行四大任務：
**抓取。搜尋引擎傳送自動程式，一些時候稱為「蜘蛛人」，蜘蛛人用網頁超連結結構爬到網頁上。根據我們的一些最好估計，搜尋引擎蜘蛛人已經爬上了現在網上已有的一邊的網頁上。
檔案檢索。蜘蛛人爬到某乙個網頁後，它的內容要變成乙個模板，當使用者詢問搜尋引擎的時候，會很容易回覆。如此，網頁就被屯放在乙個巨大的緊密管理的組成搜尋引擎索引的資料庫中。這些索引包括數十億的檔案，不到一秒鐘就可以呈現給使用者。
詢問程式。當乙個使用者使用乙個搜尋引擎時，引擎檢查它的索引以發現與之相匹配的檔案。從表面上看起來極為相似的詢問會產生很不同的結果。舉個例子：搜尋「田野和河流雜誌」，如果不加引號，google會產生400萬多結果。加上引號，google 僅僅反饋19600個結果。這只是搜尋者可以用來縮小搜尋量並得到相關結果的乙個方法。
排名結果。google不會把所有的19600個結果都顯示給你看，而且即使是那樣，它也需要一些方法來決定哪些要排在前面。所以搜尋引擎執行了乙個演算法，來計算哪些是與搜尋的東西最相關。這些被最先列出來，其餘的按相關程度向下排。
現在你對整個過程應該有些印象了。就需要花些時間來近距離看看每個。這個會幫助你理解事情怎樣向好的發展，怎樣和為什麼有些任務向壞的方向發展。這篇文章會關注網頁抓取。
不抓取，卻阻止
當你開始**航行時是主要考慮你的現實訪問者，當然也是應該的。但是有些導航結構可能會阻止搜尋引擎蜘蛛，使得他們不太容易在第一位置發現你的網頁。作為乙個另外的紅利，許多你對網頁做的事情會使得蜘蛛人更容易找到**內容，使得訪問者在網頁上更容易找到方向。
頁面上藏著從你的主頁上來的多於三個鏈結也會不被抓取。因為這個會使得許多人類在面對網頁上那麼多鏈結又沒有導航的情況下搞暈。
要求「身份驗證」等的網頁也不會被抓取。蜘蛛人不是掃瞄器，也不是都有相同的能力。他們也許不能夠保持相同形式的驗證。
另乙個阻止的是分割成框架的網頁。許多網頁設計者喜歡框架；它使得訪問者即使在內容中轉悠的時候都保持在同乙個頁面中，但是蜘蛛人發現框架網頁很困惑。對它們而言，內容就是內容，它們不知道哪個網頁應該出現在搜尋結果頁面上。直率的講，許多使用者也不喜歡框架，只不過是提供乙個更乾淨的頁面。
上面講的大部分阻止蜘蛛人工作的東西是一些你意外地放在頁面上的。下面要來講一些**管理員故意用的來阻止蜘蛛人的。前面我提到過乙個最主要的原因，內容需要使用者付費才可看到，還有一些別的，比如內容可能是免費的，但不是每個人都可以輕易得到的。
填完一些**並提交才能進入的**很有可能會蜘蛛人是關門的。他們是無法得到按鈕或型別的。同樣，要求使用下拉列表的網頁可能是搜尋不到的，只能通過乙個搜尋框才能得到的檔案也一樣。
故意阻止的檔案一般是抓取不到的。
蜘蛛人在超連結中看到什麼？
我假設你對html相當的熟悉。如果你看過html頁面的**，你可能會注意到超連結出現地方的文字，seo chat
當**瀏覽器讀到這兒的時候，它會知道文字「seo chat」應該是個超連結 網頁的。附隨的，在這個例子中「seo chat」是鏈結的引導詞。當蜘蛛讀到這個文字的時候，它會想，「ok，頁面www.seochat.com」是於當前頁面上的文字相關的，而且與「seo chat」極為相關。
現在來看點複雜的：
seo chat
現在怎樣？引導詞沒有變化，所以當網頁瀏覽器展示到這兒的時候，鏈結看起來還是一樣。但是乙個蜘蛛人會想，「ok，不僅僅這個網頁與』seochat』是相關的，它還與短語『great site for seo info』相關。而且，我現在在的這個網頁和這個超連結還有關係。它顯示這個鏈結不是作為那個網頁的投票，那就不會增加pr值了。」
在一些情況中，鏈結可能是到乙個的。超連結會包括**的名稱，還可能包括一些「alt」屬性的備用文字，這些對於盲人用的聲音瀏覽器有幫助。它也同時對於蜘蛛人有助，因為它給與了另乙個頁面描述的證據。
超連結在網頁上可能還有別的形式，但是總的來說，這些形式不通過排名或蜘蛛人價值。總而言之，鏈結越接近text的形式, 那麼蜘蛛人也容易抓住鏈結，反之亦然。
**：
什麼是搜尋引擎分詞技術？
古月seo 搜尋引擎中文分詞技術 為什麼需要分詞，因為計算機不是人，然後中國漢字文化博大精深，為了讓搜尋引擎了解人所表達的意思，程式設計師們通過將中文分詞指的是將乙個中文序列切分成乙個乙個單獨的詞，分詞即是將接連的字序列按照一定的規範重新組合成詞序列的程序，從而判斷出使用者搜尋的意圖和內容，從而將符...
常見搜尋引擎機械人Robots名字
搜尋引擎通過一種程式robot 又稱spider 自動訪問網際網路上的網頁並獲取網頁資訊。您可以在您的 中建立乙個純文字檔案robots.txt，在這個檔案中宣告該 中不想被robot訪問的部分，這樣，該 的部分或全部內容就可以不被搜尋引擎收錄了，或者指定搜尋引擎只收錄指定的內容。robots.tx...
搜尋引擎是如何工作的
當我們在搜尋引擎上鍵入片語進行搜尋時可能並沒有想過，它是如何把我們想要的資料在那麼短的時間內找出來。事實上幾乎所有的搜尋引擎都會有下列的功能以保證它能夠又好又快的為我們提供資料。1，爬行整個web crawling web 搜尋引擎自動執行的程式通過web的超級鏈結 hyperlink 結構爬行整個...