url與uri
uri:統一資源識別符號，url:統一資源定位符
url是uri的子集，url包括uri和urn（統一資源名稱）
http和https
都是協議型別，http全稱為超文字傳輸協議，https是http的安全版，即在http下加入ssl層，簡稱https
如果需要爬取沒有被ca機構信任的站點，需要忽略證書，否則會提示ssl鏈結錯誤
客戶端-》伺服器：傳送請求，伺服器解析處理，伺服器-》客戶端：包含源**內容
請求
請求方法：get和post,get請求的引數包含在url裡，post請求的引數不會包含在url中，而體現在請求體中；get方法最多提交1024位元組的資料，而post無限制
請求頭:accept(請求報頭域)，accept-language(指定客戶端可接受的語言型別)，accept-encoding(指定客戶端可接受的內容編碼)，host(用於指定請求資源的主機ip和port),cookie(辨識使用者進行會話跟蹤而儲存在本地的資料)，referer(標識這個請求是從哪個頁面發來的)，user-agent(使伺服器識別客戶使用的作業系統、瀏覽器的版本，可以用於偽裝瀏覽器)，content-type(mime型別，辨識具體請求的**型別資訊)
請求體：承載post的表單資料，對於get請求，請求則為空
響應
響應包括：響應狀態碼，響應頭，響應體
響應頭：date(標識響應產生的時間)，last-modified(指定資源的最後修改時間)，content-encoding(指定響應內容的編碼)，server(包含伺服器的資訊)，content-type(文件型別，指定返回的資料型別是什麼)，set-cookies(設定cookie,下次請求攜帶cookies請求)，expires(指定響應的過期時間)
響應體：響應體內容在preview中，爬蟲請求網頁後要解析的內容就是響應體
《計算機網路原理》網路應用通訊基本原理（四）
internet傳輸層能提供的服務只有兩類 面向連線的可靠位元組流傳輸服務和無連線的不可靠資料報傳輸服務，分別對應傳輸層的tcp和udp.這兩類服務都不能提供時延保障和頻寬保障服務。需要特別注意的是，internet傳輸層的tcp和udp均不能提供端到端吞吐量以及時延保障服務。tcp服務模型包括面向...
《計算機網路原理》網路應用通訊基本原理（二）
應用層協議定義了應用程序間交換的報文型別 報文構成部分具體含義以及交換時序等內容，即語法 語義和時序等協議三要素內容。從應用層角度來看，應用程序之間遵照應用層協議就可以直接實現端到端的報文交換。無論是伺服器程序還是客戶端程序，當其遵循應用層協議組織好應用層報文後，需要通過層間介面 如應用程式設計介面...
計算機網路學習記錄 網路應用的基本原理
分為三種 1.客戶機 伺服器結構 2.點對點結構 p2p 3.混合結構 例子 我們使用的web就是很經典的客戶機伺服器的結構 伺服器的特點 24小時不間斷的工作，提供服務 利用大量伺服器實現可擴充套件性 客戶機的特點 與伺服器通訊，使用伺服器提供的服務 間接性接入網路 我們的電腦不是隨時隨地聯網的 ...