寫了個簡單的協程爬蟲爬取b站使用者資訊,**如下:
import requests
import re
import json
import datetime
import asyncio
def get_info(uid):
url_info = "" #基本資訊
uid = str(uid)
return loop.run_in_executor(none, requests.get, url_info+uid)
async def user_info(num):
uid = mid
info
'birthday': 生日
'regtime': 註冊時間
'attentions': 關注
'spacesta': ?
'attention': 關注人數
'toutu': ?
'***': 性別
'fans': 粉絲數
'friend': 關注?
'level_info': 等級
'place': 地理位置
'face': 頭像
'name': 暱稱
'sign': 簡介
for uid in range(num, num+10):
info = await get_info(uid)
info = json.loads(info.text)["data"]
try:
# print(datetime.datetime.fromtimestamp(info['regtime']))
print("ok", uid)
print(info)
except unicodeencodeerror as e:
print("unicodeencodeerror:", e)
except typeerror:
print(info)
loop = asyncio.get_event_loop()
try:
loop.run_until_complete(asyncio.wait([user_info(x) for x in range(1, 1000, 10)]))
except exception as e:
print("error:", e)
爬取1000條需要45秒左右,這樣需要爬20天才能爬完。有沒有什麼辦法提高爬取的速度?
如何提高訪問速度
對於一般的 來說,我們並沒有察覺到訪問速度的快慢!因為一般的 的資料量小,相對,各個方面都能快速的載入頁面和填充資料。但是,對於乙個上千萬的資料量時,我們是否應該考慮如何加快頁面的載入速度呢?我們設想一下,如果,一輛貨車,沒有載任何重物,它的速度甚至可以達到200km h,當貨車裝上十頓的貨物時,它...
如何提高閱讀速度
要在不影響理解率的前提下提高自己的閱讀速度,就必須了解影響閱讀速度的幾個因素。一般來說,影響閱讀速度的因素主要有以下幾點 一 閱讀方式 拒測試表明,用朗讀的方法每分鐘則可達500 700字。這是因為出聲不出聲但發音器官仍做輕微運動時,運動的語言中樞會對視覺中樞產生干擾,而默視時,僅由視覺中樞把所看到...
如何提高解題速度
如何提高解題速度?主持人 解題的速度跟不上,剛好有乙個也問了,數學答題的速度太慢了,如何提高解題的速度?何秀好 提高解題的速度,基礎知識要牢固,基本方法要熟練,思考問題要慎密,運算技能要紮實,書寫表達要快捷.有的考生書寫速度太慢,追求試卷的完美整潔,導致隱性失分,這是不可取的.應該不求完美,但求完成...