閘道器（gateway）：資源和應用程式之間的粘合劑。應用程式可以（通過http或其它已定義的介面）請求閘道器來處理某條請求，閘道器可以提供一條響應。閘道器可以向資料庫傳送查詢語句，或者生成動態的內容，像一扇門一樣，進去乙個請求，出來乙個響應。
通用閘道器介面（common gateway inte***ce cgi）：cgi是乙個標準介面集，web伺服器可以用它來裝載程式以響應。對特定url的http請求，並收集程式的輸出資料，將其放在http響應中回送。web隧道允許使用者通過http連線傳送非http流量，這樣就可以在http附帶其它協議資料，也就是說，可以在http連線中嵌入非http流量，非http流量就可以穿過只允許web流量通過的防火牆了。
web機械人是能夠在無需人類干預的情況下自動進行一系列web事物處理的軟體程式。很多機械人會從乙個web站點逛到另乙個web站點，獲取內容，跟蹤超連結，並對它們找到的資料進行處理。如果乙個web站點有robots.txt檔案，那麼在訪問這個web站點上的任意url之前，機械人都必須去獲取它並對其進行處理。由主機名和埠號定義的整個web站點僅有乙個robots.txt資源。如果站點是虛擬主機，每個虛擬的docroot都可以有乙個robots.txt檔案。
機械人會用http的get方法來獲取robots.txt資源，就像獲取web伺服器上所有其他資源一樣，機械人應該在from首部和user-agent首部中傳輸標識資訊，以幫助站點管理員對機械人的訪問進行跟蹤。
# 例子：
date：web oct 3 23:30:est
#
# 例子：robots.txt for discuz! x3
#user-agent: *
disallow: /api/
disallow: /data/
disallow: /source/
disallow: /install/
disallow: /template/
disallow: /config/
disallow: /uc_client/
disallow: /uc_server/
disallow: /static/
disallow: /admin.php
disallow: /search.php
disallow: /member.php
disallow: /api.php
disallow: /misc.php
disallow: /connect.php
disallow: /forum.php?mod=redirect*
disallow: /forum.php?mod=post*
disallow: /home.php?mod=spacecp*
disallow: /*?mod=misc*
disallow: /*?mod=attachment*
disallow: /*mobile=yes*
### 圖靈圖書 -- http權威指南
運維筆記8（閘道器，DNS，DHCP）
概述 閘道器的作用，如何在linux中配置閘道器，如何查詢閘道器 dns的作用，如何在linux中配置dns，dhcp伺服器的作用在linux中搭建dns伺服器。1.閘道器 gateway 1 路由器與閘道器 說到閘道器不得不先談到路由器了，現在的路由器已經整合了很多功能，他的功能已經不止是它字面上...
HTTP權威指南閱讀筆記五 Web伺服器
web伺服器會做些什麼 1 建產連線 接受乙個客戶端連線，或者如果不希望與這個客戶端建立連線，就將其關閉。1 處理新連線 2 客戶端主機名識別 3 通過ident確定客戶端使用者 ident在組織內部可以很好地工作，主要是因為以下原因導致在公共網際網路上並不能很好地工作 1 很多客戶端pc沒有執行i...
HTTP權威指南閱讀筆記五 Web伺服器
web伺服器會做些什麼 1 建產連線 接受乙個客戶端連線，或者如果不希望與這個客戶端建立連線，就將其關閉。1 處理新連線 2 客戶端主機名識別 3 通過ident確定客戶端使用者 ident在組織內部可以很好地工作，主要是因為以下原因導致在公共網際網路上並不能很好地工作 1 很多客戶端pc沒有執行i...