robots規則是什麼?

2021-06-09 03:27:22 字數 335 閱讀 1423

搜尋引擎的原理是通過一種爬蟲spider程式,自動蒐集網際網路上的網頁並獲取相關資訊。而鑑於網路安全與隱私的考慮,每個**都會設定自己的robots協議,來明示搜尋引擎,哪些內容是願意和允許被搜尋引擎收錄的,哪些則不允許。而搜尋引擎則會按照robots協議給與自己的許可權來進行抓取。robots協議已經成為所有搜尋引擎必須遵守的國際慣例。這就好比乙個正常的人去到別人家裡,需要先敲門,得到許可以後才能進入客廳。除非有主人的進一步許可和邀請,否則你不能擅自進入內室,或者在別人家裡四處遛達。

因此,當兩周前新上線的360綜合搜尋無視robots協議,直接抓取未經授權的資訊資料時,其做法遭到了業內人士的普遍質疑。

(上海商報 洪波)

結構體內存對齊規則是什麼?

struct t t p 在64位系統以及64位編譯器下,以下描述正確的是 a.sizeof p 24 b.sizeof p 24 c.sizeof p a 1 d.sizeof p e 8 語法格式 sizeof 有三種語法形式 1 用於資料型別 sizeof type name sizeof 型...

手機號碼編碼規則是什麼?

手機號碼編碼規則是什麼?手機號碼是這樣編碼的 cc mac h0 h1 h2 h3 abcd 其中 cc 是國家碼,中國使用86。mac 是移動接入碼,中國移動的有134 135 136 137 138 139 150 151 152 158 159 157 182 187 188等,中國聯通的有1...

ASP開發準則是什麼

雖然許多使用 asp 的 web 站點根本就不用元件,但在這篇文章中假定 asp 是 internet 客戶機和元件之間的橋梁。asp 和元件之間的劃分服務 asp 最常用於在伺服器上建立供客戶機使用的 html 或 xml 檔案,因此我們主要討論這種使用方案。這就引出了乙個常見的問題,如果 asp...