使用fake useragent庫偽裝請求頭

2021-08-22 12:01:43 字數 963 閱讀 5048

在編寫爬蟲進行網頁資料的時候，大多數情況下，需要在請求是增加請求頭，下面介紹乙個python下非常好用的偽裝請求頭的庫：fake-useragent，具體使用說明如下：

pip install fake-useragent

from


fake_useragent import


useragent


ua = useragent()


#ie瀏覽器的user agent


print(ua.ie)


#opera瀏覽器


print(ua.opera)


#chrome瀏覽器


print(ua.chrome)


#firefox瀏覽器


print(ua.firefox)


#safri瀏覽器


print(ua.safari)


#最常用的方式


#寫爬蟲最實用的是可以隨意變換headers，一定要有隨機性。支援隨機生成請求頭


print(ua.random)


print(ua.random)


print(ua.random)
示例**

from fake_useragent import useragent


import requests


ua=useragent()


#請求的**


url=""


#請求頭


headers=


#請求**


response=requests.get


(url=url,headers=headers)


#響應體內容


print(response.text)


#響應狀態資訊


print(response.status_code)


#響應頭資訊


print(response.headers)

使用GraphEdit使用

1 註冊元件。其實乙個filter就是乙個com元件，所以使用之前需要註冊，可以有兩種方法對元件進行註冊。1.直接使用命令。命令列下輸入 regsvr32 hqtlystd.ax 編譯之後你會在工程目錄下的debug中找到hqtlystd.ax，這個就是要用的filter 即可註冊成功。2.vc6....

MySQL使用學習使用 mysql學習使用

1 mysql學習 1 安裝 ubuntu下直接安裝 apt get install mysql server 2 檢查伺服器是否啟動 sudo netstat tap grep mysql，如果啟動成功，出現以下資訊 tcp00localhost.localdomain mysql listen ...

學習使用CSDN markdown使用

建立乙個自定義列表 如何建立乙個註腳 注釋也是必不可少的 katex數學公式 新的甘特圖功能，豐富你的文章 uml 圖表 flowchart流程圖 匯出與匯入 你好！這是你第一次使用markdown編輯器所展示的歡迎頁。如果你想學習如何使用markdown編輯器,可以仔細閱讀這篇文章，了解一下mar...