github 429 閾值時間

2021-09-25 12:28:42 字數 613 閱讀 1470

在kaggle上找到有關於github倉庫的資料,但是都是17年資料有些久遠,所以寫個爬蟲爬取github中stars最多的專案的資訊,沒想到寫了個**剛跑了一會就訪問429,就寫了個**測試了一下閾值時間。

print

(n+1

,":爬取情況:"

,res.status_code)

while res.status_code !=

200:

# res = requests.get(url.format(n+1),headers,proxies=get_proxy(),timeout = 5)

res = requests.get(url.

format

(n+1

),headers,timeout =5)

time.sleep(5)

print

(n+1

,":爬取情況:"

,res.status_code)

soup = bs(res.text)

經測試,初始閾值時間為40s

int num = 0;

for(; ; )

Git操作GitHub時的Proxy配置

但此時,電腦訪問網路已經通過梯子shadowsocks,可以正常訪問github等資源。shadowsocks配置如下 android studio中,preferences http proxy中,如下圖配置完,重新clone github專案,依然出現同樣的錯誤提示,這應該是android st...

專案上傳到github時出現的錯誤

1 首先在本地建立ssh key ssh keygen t rsa c your email youremail.com 後面的your email youremail.com改為你的郵箱,之後會要求確認路徑和輸入密碼,我們這使用預設的一路回車就行。成功的話會在 下生成.ssh資料夾,進去,開啟id...

上傳專案到GitHub時遇到的問題

2.如果輸入ssh add ssh id key 命令後出現報錯could not open a connection to your authentication agent.解決方法是key用git gui的ssh工具生成,這樣生成的時候key就直接儲存在ssh中了,不需要再ssh add命令加...