課前預習2 爬蟲開發網路基本知識

2021-10-24 21:38:26 字數 2037 閱讀 4244

超文字傳輸協議http協議被用於在web瀏覽器和**伺服器之間傳遞資訊,http協議以明文方式傳送內容,不提供任何方式的資料加密,如果攻擊者擷取了web瀏覽器和**伺服器之間的傳輸報文,就可以直接讀懂其中的資訊,因此,http協議不適合傳輸一些敏感資訊,比如:信用卡號、密碼等支付資訊。

為了解決http協議的這一缺陷,需要使用另一種協議:安全套接字層超文字傳輸協議https,為了資料傳輸的安全,https在http的基礎上加入了ssl協議,ssl依靠證書來驗證伺服器的身份,並為瀏覽器和伺服器之間的通訊加密。

https和http的區別主要如下:

1)https協議需要到ca申請證書,一般免費證書較少,因而需要一定費用。

2)http是超文字傳輸協議,資訊是明文傳輸,https則是具有安全性的ssl加密傳輸協議。

3)http和https使用的是完全不同的連線方式,用的埠也不一樣,前者是80,後者是443。

4)http的連線很簡單,是無狀態的;https協議是由ssl+http協議構建的可進行加密傳輸、身份認證的網路協議,比http協議安全。

通常我們請求網頁的時候點開開發者工具會出現如下內容,我們來具體討論一下各項含義。

request url:我們請求的頁面url

requests method:頁面的請求方式

status code:相應狀態碼

referrer policy:用於過濾referer內容,這裡的意思是當發生降級的時候不傳遞referer報頭

下面是常見的http狀態碼:

200 請求成功

301 永久移動

302 暫時移動

304 內容未修改

400 客戶端請求錯誤

403 客戶端的請求被伺服器拒絕

404 頁面丟失

405 客戶端請求的方法錯誤

500 伺服器內部錯誤

502 遠端伺服器響應無效

accept:表示客戶端會接受的文字

accept-encoding:表示客戶端可以接受的編碼方式

accept-language:表示客戶端可以接受的語言

cache-control:客戶端是否使用快取

connection:客戶端請求連線時長,這裡是長連線

cookie:儲存在客戶端本地的可被服務端識別身份的資料

host:客戶端請求的主機

user-agent:客戶端使用什麼終端訪問

upgrade-insecure-request:表示客戶端優先接受加密響應

program:http1.0用來向後相容只支援http1.0的快取伺服器

cache-control:伺服器指定快取方式,這裡表示**伺服器不能快取,只能使用者快取

connection:當前事務結束後是否關閉連線

content-encoding:內容編碼方式

content-type:返回的資料型別

expires:在此日期之後,相應失效

server:伺服器處理資訊的軟體資訊

set-cookie:伺服器給客戶端設定cookies

strict-transport-security:在這個時間內發起的請求都使用https

transfer-encoding:資料以塊的方式傳送

cookies以鍵值對形似存在,也就是key=value。

html就是編寫前端頁面使用的**,一般用來搭建**骨架,而渲染用css,實現網頁互動使用js。

json是一種輕量級的資料交換格式,一般用來搭建**api。

json語法:

資料是鍵值對

資料由逗號分隔

大括號儲存物件

方括號儲存陣列

就是乙個json物件

python 輕量級爬蟲開發2

urllib2 python官方基礎模組 request 第三方包更強大 url urllib2.urlopen url coding utf 8 import urllib2 直接請求 response urllib2.urlopen 獲取狀態碼 print response.getcode 讀取...

vue全家桶 Koa2開發筆記 8 開發網頁

1.使用 mongoose 動態倒入資料 mongoimport d student c areas areas.dat d 後面是資料庫名稱 c後面是表名稱 最後是資料來源 2.使用vue的watch監聽的時候,是可以有引數的 watch 引數value指的是 pvalue的值。再如,下面的 引數...

2D網路遊戲開發(網路篇)(二)

2d網路遊戲開發 網路篇 二 在上一章中,我簡單的講解了什麼是raknet,它有那些好處。在這一章中,我們將講解如何在ide中配置raknet,並將測試乙個程式。由於raknet的作者使用的是vc net,所以在作者的主頁上,他詳細地講解了如何在vc net中配置raknet,如果你使用的vc ne...