url:
,,,
,,,,
,,]}
}}
url:
,
"comment_id": "1679857347109984154",
"show_tag": 0,
"publish_time": "2023年10月07日",
"new_cate_v2": "影視",
"path": "",
"channel_name": "",
"channel_total_number": "",
"channel_poster": "",
"like": 7628,
"fmlike": "7628",
"comment": "0",
"fmplaycnt_2": "55萬",
"outstand_tag": ""},]
}}
}
url:
,
"comment_id": "1678905779785808740",
"show_tag": 0,
"publish_time": "2023年09月26日",
"new_cate_v2": "**",
"path": "",
"channel_name": "",
"channel_total_number": "",
"channel_poster": "",
"like": 1692,
"fmlike": "1692",
"comment": "16",
"fmcomment": "16",
"fmplaycnt_2": "21萬",
"outstand_tag": ""},]
}}
}
url:
,
"comment_id": "1681428601773893025",
"show_tag": 0,
"publish_time": "2023年10月24日",
"new_cate_v2": "三農",
"path": "",
"channel_name": "",
"channel_total_number": "",
"channel_poster": "",
"like": 87,
"fmlike": "87",
"comment": "13",
"fmcomment": "13",
"fmplaycnt_2": "8100",
"outstand_tag": ""}]
}}
}
url:
,
"comment_id": "1679558218788024090",
"show_tag": 0,
"publish_time": "2023年10月04日",
"new_cate_v2": "遊戲",
"path": "",
"channel_name": "",
"channel_total_number": "",
"channel_poster": "",
"like": 1606,
"fmlike": "1606",
"comment": "53",
"fmcomment": "53",
"fmplaycnt_2": "7.4萬",
"outstand_tag": ""},]
}}
}
分析發現,這些標籤就是url中對應的tab欄位
之後我們只需要爬取首頁的資料就可以獲取到這些tab對應的值。使用xpath解析出來對應的資料,儲存起來在後面使用
爬取首頁的資料,並通過xpath解析出對應的tab資訊
根據我們的分析結果,使用tab資訊拼接對應的tab下獲取資料的url:videoui/api/videorec?tab=tabname&act=pcfeed&pd=pc&num=15&shuaxin_id=1608126162900
根據上面的url只能抓取到一批資料,如何抓取不同批次的資料呢,觀察url,發現最後的乙個引數是時間戳,實際測試發現變更時間戳就可以獲取到另一批資料了
從零開始製作留言板01
資料庫知識點 1 字串型別 常用 char固定長度 char列的長度固定為建立表時宣告的長度。長度可以為0到255的任何值 eg 5 假如錄入ab則後面會用空格補上但只顯示ab不顯示空格 varchar可變長度 varchar列中的值為可變長字串。長度可以指定為0到65535之間的值 eg varc...
從零開始過網工Day 7
系統開發模型 瀑布模型 又稱生命週期法,最早出現的軟體開發模型 軟體開發分為6部分 軟體計畫 主要確定軟體的開發目標和可行性 需求分析 在確定軟體開發可行的情況下,對軟體需要的各個功能進行分析 軟體設計 根據需求分析的結果,對整個軟體系統進行設計,如系統框架設計 資料庫設計等,軟體設計一般分為總體設...
從零開始學習 從零開始學習資料結構 雜湊桶
雜湊桶的本質是雜湊表,雜湊表的本質是 k v,k v 不就是 map,那麼這樣一層一層學習下來,就能理解的更為透徹,學習程式設計一定要有追根刨底的好奇心,這樣你的進步會非常快。1 桶 就是可以存放資料的結構 在這裡我認為桶就是結構體!在雜湊表的改進之上,雜湊表當時自己的做法是 表中存放的是指標,而不...