從零開始 01 前期資料準備工作

2022-07-10 21:51:13 字數 2187 閱讀 3166

url:

,,,

,,,,

,,]}

}}

url:

,

"comment_id": "1679857347109984154",

"show_tag": 0,

"publish_time": "2023年10月07日",

"new_cate_v2": "影視",

"path": "",

"channel_name": "",

"channel_total_number": "",

"channel_poster": "",

"like": 7628,

"fmlike": "7628",

"comment": "0",

"fmplaycnt_2": "55萬",

"outstand_tag": ""},]

}}

}

url:

,

"comment_id": "1678905779785808740",

"show_tag": 0,

"publish_time": "2023年09月26日",

"new_cate_v2": "**",

"path": "",

"channel_name": "",

"channel_total_number": "",

"channel_poster": "",

"like": 1692,

"fmlike": "1692",

"comment": "16",

"fmcomment": "16",

"fmplaycnt_2": "21萬",

"outstand_tag": ""},]

}}

}

url:

,

"comment_id": "1681428601773893025",

"show_tag": 0,

"publish_time": "2023年10月24日",

"new_cate_v2": "三農",

"path": "",

"channel_name": "",

"channel_total_number": "",

"channel_poster": "",

"like": 87,

"fmlike": "87",

"comment": "13",

"fmcomment": "13",

"fmplaycnt_2": "8100",

"outstand_tag": ""}]

}}

}

url:

,

"comment_id": "1679558218788024090",

"show_tag": 0,

"publish_time": "2023年10月04日",

"new_cate_v2": "遊戲",

"path": "",

"channel_name": "",

"channel_total_number": "",

"channel_poster": "",

"like": 1606,

"fmlike": "1606",

"comment": "53",

"fmcomment": "53",

"fmplaycnt_2": "7.4萬",

"outstand_tag": ""},]

}}

}

分析發現,這些標籤就是url中對應的tab欄位

之後我們只需要爬取首頁的資料就可以獲取到這些tab對應的值。使用xpath解析出來對應的資料,儲存起來在後面使用

爬取首頁的資料,並通過xpath解析出對應的tab資訊

根據我們的分析結果,使用tab資訊拼接對應的tab下獲取資料的url:videoui/api/videorec?tab=tabname&act=pcfeed&pd=pc&num=15&shuaxin_id=1608126162900

根據上面的url只能抓取到一批資料,如何抓取不同批次的資料呢,觀察url,發現最後的乙個引數是時間戳,實際測試發現變更時間戳就可以獲取到另一批資料了

從零開始製作留言板01

資料庫知識點 1 字串型別 常用 char固定長度 char列的長度固定為建立表時宣告的長度。長度可以為0到255的任何值 eg 5 假如錄入ab則後面會用空格補上但只顯示ab不顯示空格 varchar可變長度 varchar列中的值為可變長字串。長度可以指定為0到65535之間的值 eg varc...

從零開始過網工Day 7

系統開發模型 瀑布模型 又稱生命週期法,最早出現的軟體開發模型 軟體開發分為6部分 軟體計畫 主要確定軟體的開發目標和可行性 需求分析 在確定軟體開發可行的情況下,對軟體需要的各個功能進行分析 軟體設計 根據需求分析的結果,對整個軟體系統進行設計,如系統框架設計 資料庫設計等,軟體設計一般分為總體設...

從零開始學習 從零開始學習資料結構 雜湊桶

雜湊桶的本質是雜湊表,雜湊表的本質是 k v,k v 不就是 map,那麼這樣一層一層學習下來,就能理解的更為透徹,學習程式設計一定要有追根刨底的好奇心,這樣你的進步會非常快。1 桶 就是可以存放資料的結構 在這裡我認為桶就是結構體!在雜湊表的改進之上,雜湊表當時自己的做法是 表中存放的是指標,而不...