從0開始學爬蟲12之使用requests庫基本認證

從0開始學爬蟲12之使用requests庫基本認證

此處我們使用github的token進行簡單測試驗證

'''基本認證

:return:

'''response = requests.get(construct_url('

user

'), auth=('

reblue520

','reblue520'))

print

response.text

print

response.status_code

print

response.request.headers

defbasic_oauth():

#新增github中新增的token認證

headers =

#user/emails

response = requests.get(construct_url('

user/emails

'), headers=headers)

print

response.request.headers

print

response.text

print

response.status_code

from requests.auth import

authbase

class

githubauth(authbase):

#自定義auth，對aut進行優化

def__init__

(self, token):

self.token =token

def__call__

(self, r):

#requests 加 headers資訊

r.headers['

authorization

'] = '

'.join(['

token

', self.token])

return

rdef

oath_advanced():

auth = githubauth('

748fa57d10')

response = requests.get(construct_url('

user/emails

'), auth=auth)

print

response.text

if__name__ == '

__main__':

#basic_auth()

#basic_oauth()

oath_advanced()

從0開始學爬蟲4之requests基礎知識

從0開始學爬蟲4之requests基礎知識 安裝requests pip install requests get請求 可以用瀏覽器直接訪問 請求可以攜帶引數，但是又長度限制 請求引數直接放在url後面 post請求 不能使用瀏覽器直接訪問 對請求引數的長度沒有限制 可以用來上傳檔案等需求 requ...

從0開始學爬蟲3之xpath的介紹和使用

從0開始學爬蟲3之xpath的介紹和使用 xpath 一種html和xml的查詢語言，它能在xml和html的樹狀結構中尋找節點 安裝xpath pip install lxml html 超文字標記語言 hypertext mark up language 是一種規範，一種標準，是構成網頁文件的主...

從0開始學spark

參考 local 模式 即單機模式，這種安裝加壓即可，具體安裝方法穿插在 standalone 模式 standalone 模式 即搭建 spark 集群，但不與其他框架整合，如 yarn，此時 spark 執行在集群中 基於 yarn 的 spark 集群部署 yarn 集群 spark 集群，此...