抓包必備技能

2022-08-24 18:36:15 字數 1346 閱讀 5690

一般情況下,資料按照各種網路協議按照一定的格式在網路上進行傳輸,網路上傳輸的資料是以幀為單位,在對需要傳送的資料進行包裝的時候,會把資料的接收方、傳送的的位址(mac位址、ip位址等)一起進行包裝並進行傳送。

根據傳送方和接收方的位址,會有一條資料報的傳輸路徑,在這條路徑上,傳送的資料報,會經過網路上很多臺主機,標準的tcp/ip協議是這樣處理的:當有資料經過主機時,主機會通過存放在資料報裡面的位址來進行判斷,這個資料報是否是傳送自己的,如果不是發給自己的,主機就不會對它進行解析,簡單的進行丟棄**發)。如果是傳送給自己的,那麼主機就會對其進行解析和儲存。

1.確定url,向伺服器發起請求並獲得響應:requests,urllib,aiohttp,scrapy框架

2.在響應中提取目標資料,即資料解析:xpath,bs4,正則,pyquery

3.資料持久化:檔案,關係型資料庫,非關係型資料庫

1.開啟瀏覽器

2.開啟瀏覽器檢查

#(network :抓包的主要位置,裡面匯聚了所有的資料報)

#(elements是網頁中的結構體,它裡面包含的東西,是所有資料報集合的結果,注意,你訪問的某個url,一般都不會是elements裡面的東西)

#(headers:相應資料頭部資訊; preciew:預覽按鈕; responsse:相應資料的內容)

#(general:確定url)

import re

import requests

import pymysql

# 1.確定url,發起請求,獲取相應資料

res=requests.get(url='')

res.encoding='gbk'

# 2.資料解析

titles=re.findall(r'', res.text)

print(titles)

# 3.資料持久化

con=pymysql.connect(host='localhost',user='root',password='mysql',port=3306,charset='utf8',database='first_sp')

cursor=con.cursor()

for i in titles:

sql="insert into gs values ('%s')"%i

try:

cursor.execute(sql)

con.commit()

print('儲存成功')

except:

con.rollback()

print('失敗')

Android面試必備技能

這裡只簡單列舉一些東西,可能不是特別全,但是卻特別適用,也不一定按照下面的流程,有可能是穿插的,也有可能都有,根據公司的規模以及面試官的心情而定 哈哈哈 你們就自求多福吧 建議大家還是要將下面的東西全部掌握,沒事寫寫 練練手,在專案中能用到的地方一定要用,有可能會遇到很多坑,一定要自己想辦法填坑,之...

Linux必備技能筆記

linux初學小弟,整理一下linux命令的筆記,方便以後忘記了檢視。目錄切換 cd 目錄名稱 cd 切換上一層目錄 cd 切換到根目錄 cd 切換使用者主目錄 cd 切換到上乙個所在的目錄 可以理解為返回鍵 備註 下包含bin,sbin,etc,usr,home等目錄 目錄的操作 建立目錄 mkd...

產品經理必備技能

1.需求收集 需求的 包括 產品規劃 領導決策 市場競品 使用者反饋 運營目標 體驗問題 bug修復等。因此 我們需要用到搜尋能力,調查產品市場反饋 收集競品迭代功能 檢視行業走向。我們需要用到溝通能力,進行使用者訪談 了解領導意圖 滿足運營要求 在偽需求中挖掘真正需求。我們需要用到資料分析能力,檢...