python獲取免費的可用**
在使用爬蟲多次爬取同一**時,經常會被**的ip反爬蟲機制給禁掉,這時就可以通過使用**來解決。目前網上有很多提供最新免費**列表的**,這些列表裡很多的**主機是可用的,但是也有一些是不可用的,因此需要進一步篩選。利用python可以很方便地篩選出可用的**列表。
# -*- coding: utf-8 -*-
import requests
from lxml import etree
defget_proxies_from_site
(): url = ''
xpath = '/html/body/div[last()]/table[last()]/tr/td/text()'
r = requests.get(url)
tree = etree.html(r.text)
results = tree.xpath(xpath)
proxies = [line.strip() for line in results]
return proxies
#使用網頁來測試**主機是否可用
defget_valid_proxies
(proxies, count):
url = ''
results =
cur = 0
for p in proxies:
proxy =
succeed = false
try:
r = requests.get(url, proxies=proxy)
if r.text == 'default':
succeed = true
except exception, e:
print
'error:', p
succeed = false
if succeed:
print
'succeed:', p
cur += 1
if cur >= count:
break
if __name__ == '__main__':
print
'get ' + str(len(get_valid_proxies(get_proxies_from_site(), 20))) + ' proxies'
傳說中的神器 磁力鏈結
那麼,這一小段字串究竟是什麼?為什麼有這麼神奇的功效呢?下面我們就來一 竟。這種鏈結與傳統的基於檔案位置或名稱的普通鏈結不同,它通過檔案內容的hash值來生成乙個獨一無二的 數字指紋 並用來尋找檔案。由於這個 數字指紋 可以被任何人在任何地方生成,這也為磁力鏈結提供了一點好處 不需要基於任何平台,且...
開源 製作磁力鏈結 3個開源鏈結縮短器
開源 製作磁力鏈結 沒有人喜歡乙個不太長的url。他們很難破譯。但是有時,在站點的深層目錄結構與結尾處附加的大量引數之間,url變得開始變得笨拙。在twitter將自己的鏈結縮短器新增到其服務之前的日子裡,乙個較長的url意味著將寶貴的字元從您的推文中刪除。如今,人們出於多種原因使用鏈結縮短器。它們...
Python 實現自動獲取種子磁力鏈結方式
整個大概寫了半個小時。如下 import requests import re from bs4 import beautifulsoup url 種子的 header while true word input www.cppcns.com 輸入搜尋關鍵詞 data res requests.po...