#!/usr/bin/env python
# -*- coding:utf-8 -*-
from time import ctime
import urllib2 # python中的curl庫
import time # 時間函式庫,包含休眠函式sleep()
data = '' # 將get方法中待傳送的資料設定為空
headers =
count = 0 # 初始化計數器
request = urllib2.request(url, data, headers) # 組裝get方法的請求
while true: # 一旦開刷就停不下來
rec = urllib2.urlopen(request) # 傳送get請求,獲取部落格文章頁面資源
count += 1 # 計數器加1
print count # 列印當前迴圈次數
if count % 6: # 每6次訪問為1個迴圈,其中5次訪問等待時間為31秒,另1次為61秒
time.sleep(31) # 為每次頁面訪問設定等待時間是必須的,過於頻繁的訪問會讓伺服器發現刷閱讀量的猥瑣行為並停止累計閱讀次數
else:
time.sleep(61)
def main():
print('starting at:', ctime())
threads =
nloops = range(len(url))
for i in nloops:
t = threading.thread(target=bush_request, args=(url[i], refererdata[i]))
for i in nloops:
threads[i].start()
for i in nloops:
threads[i].join()
print('continue...')
if __name__ == '__main__':
main()
多執行緒程式設計,可以多對多,也可以一對多。 還在為你的pip安裝速度慢憂愁嗎?pip換源
臨時使用 可以在使用pip的時候在後面加上 i引數,指定pip源 eg pip install scrapy i 永久修改 linux 修改 pip pip.conf 沒有就建立乙個 內容如下 global index url windows win r 開啟使用者目錄 homepath 在此目錄下...
你還在為英語學習發愁嗎?
你還在為英語學習發愁嗎?我經常痛恨自己成長的慢。痛恨自己非常多的東西知道的太晚,痛恨自己領悟能力不 好,但我經常閱讀。閱讀是我生命中的一部分,我今天將分享我乙個好同學 劉文 彬的成長故事,有一點我想說,他再怎麼再怎麼樣,當初的基礎都要比我開始用心學習 英語時要好的多的多!在這一年左右的時間裡,我親身...
你還在為這件事煩惱麼
你還在乙個個手動輸入 複製 同學的姓名和學號麼?你還在為重複勞動的工作煩惱麼?今天這篇文章為辛苦的你們提供個小tip 我們平常拿到的檔案通常是這樣的 路人甲 好想從裡一鍵提取文字啊.我 ummmmm這是另乙個問題了,我們改天再談hhhhh 今天我們講個蠢方法 step1 按住shift鍵,游標瞄準這...