接上次隨筆來講，抓取動態頁面不能用普通的函式去抓取了，這就要用到json方法了
json簡介以及使用方法可以在這個**裡面學習
回到正題：
動態頁面的翻頁檢視是藏在這個裡面的，如圖可以看到，後面page=4就是代表這是第四頁。
整個頁面的所有資訊都是在這裡面可以查到的，而我們只需要使用json函式去抓取
這是抓取全部直播資訊的**，我們只需要找出正確的**，然後設定for迴圈把i替代掉**裡邊的頁數一遍遍迴圈就可以抓取到每一頁的所有主播的各種資訊。
具體每個資訊怎麼抓在第二張圖里就可以看出來，每個主播的資訊都有函式去表示，只需要把表示的函式抓出來資訊就出來了
也就是這裡。
然後說一下如何把抓取到的資料匯入資料庫：
這裡我是把整個平台的直播分類抓出來匯入資料庫了
這裡就是全部的**，操作起來尤其要注意連線資料庫，資料庫的資訊一定要填寫正確，要是自己電腦上的資料庫的資訊，一旦錯誤就執行不出來
本來是想把這些再分成四個大類的，然後由於不知道如何操作就這樣儲存了，id是設定了自增長讓它自己根據抓取的直播型別數量自己加的
就是後面這四個大類。
虎牙直播資料爬取
新的一周開始了，開始對之前的 的更新與修改。在上週沒做好的一點有直播分類，始終無法把想抓取的分類名用文字的方式顯示出來 類別的名字是在乙個p標籤裡，我原本以為只要抓取p標籤然後後邊加個.string就能只取文字得到類別名字，執行後才知道普通的取文字的方法也是不管用的 因為.string前邊的find...
使用selenium爬取動態網頁評論
爬取 通過ctrl shift c定位，並且搜尋frame，定位框架所在位置 找到html iframe title livere scrolling no src style min width 100 width 100px height 6177px overflow hidden borde...
如何使用python爬取網頁動態資料
我們在使用python爬取網頁資料的時候，會遇到頁面的資料是通過js指令碼動態載入的情況，這時候我們就得模擬介面請求資訊，根據介面返回結果來獲取我們想要的資料。首先我們通過開發者模式，找到請求該頁面的介面資訊 另外，為了能模擬瀏覽器訪問介面資訊，我們需要獲取到請求頭部資訊 獲取到以上資訊，我們就可以...