前期準備:
環境資訊:
mac os x 10.10.3
xcode 6.3
ios 8.3
charles 3.10.1
正文:在抓包之前,需要對charles與iphone進行基本設定,這些設定均**唐巧的文章《擷取iphone上的網路封包》部分。
1. charles上的設定
開啟charles->proxy->proxy setting,設定**埠為8888,並勾選enable transparent http proxying。
2. iphone上的設定
1). 獲取mac上的ip
開啟終端,輸入命令:
ifconfig en0
2). 設定iphone http**1. 開啟wear
如果是第一次,可以看到charles彈出的請求連線確認框,點選allow。
2. 檢視請求
可以看到,在進入wear以後,就開始進行主頁模組的資料請求,這時就需要通過請求的響應次數來粗略判斷下具體的請求位址了。在charles中,每有請求響應,位址列表就會有黃色高亮。
我發現這個位址閃得很頻繁,開啟檢視以後可以看到這是主頁模組所有的位址。不難看出,wear如此龐大的資料有獨立的伺服器作為支撐。
3. 檢視使用者資料
找到了並不能達到最終目的,因為我需要的5w使用者的資料,所以繼續找。然後找到了乙個網域名稱為的請求位址,根據命名經驗,可以很直觀的看出這是乙個專門給客戶端提供介面的伺服器位址。
展開v1發現裡面有兩個子目錄ranking與timeline,這兩個子目錄應該分別對應了搭配與新動態模組。
下面就以ranking為例:
/v1/ranking/snaps?pageno=1&pagesize=33&group_id=1&period=1&country_id=13
請求方式為:
get
內容格式為:
然後在到response中可以看到返回的資料格式是json,並且從它「見名知意」的key中,可以直接推斷出每乙個欄位的含義。
具體的抓取步驟就不講解了,也不清楚是否侵權,所以還是慎用得好。
Mac上使用Charles抓取https
charles自己安裝哈 我假裝你已經安裝了,那就是設定問題了 1 安裝根證書 help ssl proxying install charles root certificate 2 這時候會彈出乙個根證書介面,如果沒有彈出,則可以去chrome,高階設定裡面找,3 雙擊對應證書,開啟簡介,因為一...
使用HtmlAgilityPack抓取網頁資料
剛剛學習了xpath路徑表示式,主要是對xml文件中的節點進行搜尋,通過xpath表示式可以對xml文件中的節點位置進行快速定位和訪問,html也是也是一種類似於xml的標記語言,但是語法沒有那麼嚴謹,在codeplex裡有乙個開源專案htmlagilitypack,提供了用xpath解析html檔...
Charles抓取https請求詳解
原文如下 2 ok,charles已準備完成,接下來就要配置charles證書 之後會彈出安裝證書 點選安裝,一路下一步,直到提示 匯入成功 此時證書還是不被信任的,讓不信任變成信任 開啟ie瀏覽器 工具 internet選項 內容 證書 把中級證書頒發機構中的charles證書匯出來 再把匯出來的...