在使用爬蟲的情況下，你可以設定**的robots.txt，規定是否允許被爬取，發現乙個很有趣兒的事情，比如**網：
但其實用爬蟲也是可以爬到資料的，這也就是相當於某種自覺吧。爬蟲技術暫時說到這裡，但是這裡強調一下，有外鏈，不代表搜尋爬蟲會來爬取，爬蟲爬取了，不代表搜尋引擎會收錄;搜尋引擎收錄了，不代表使用者可以搜尋的到
下面介紹乙個小工具，site:taobao.com這個可以檢查乙個**的被收錄數量
當爬蟲爬下來這些資料時，搜尋引擎要處理的關鍵就變為了建立如何的索引使得查詢速度最大，一般採用倒排索引，即抽出關鍵字作為索引，然後標註其存在的位置，但是對於中文來說，這其實十分困難，搜尋引擎的問題變為了nlp的問題。
關於搜尋引擎營銷
對搜尋引擎不友好的 具有什麼樣的特徵？通過學習我們可以知道，搜尋引擎排名的三大指標，我先通過對三個指標的分析可以得出部分結論，繼而結合生活中使用搜尋引擎的經驗可以得出其他結論。在搜尋引擎排名靠前的 的指標一是訪問量大，原創內容高，頁面更新速度快，那麼相對應的 缺少原創內容，大部分都是照搬別人內容的 ...
搜尋引擎 索引
正排索引 文件編號，單詞編號，單詞的數量，單詞出現的位置。倒排索引 1，單詞詞典，儲存單詞以及統計資訊，單詞在記錄表中的便宜，可常駐記憶體，用雜湊表儲存。2，記錄表，單詞對應的文件集合，記錄單詞出現的數目 位置。文件採用差分變長編碼。其中文件可按編號公升序排列 可利用差分編碼 也可按出現次數排列，可...
MySQL搜尋引擎程式 mysql搜尋引擎
mysql是我們比較常用的一種資料庫軟體。它有著諸多的優點，如開源的，免費的等等。其實它還有乙個很好的特點，那就是有多種引擎可以供你選擇。如果賽車手能根據不同的路況，地形隨手更換與之最適宜的引擎，那麼他們將創造奇蹟。然而目前他們還做不到那樣便捷的更換引擎，但是我們卻可以 所謂知己知彼方可百戰不殆，要...