前幾天看了一下github上,ipproxys開源專案(快100star了,看來大家對這個專案還是比較感興趣的。最近一直沒更新文章,主要是忙實驗室的工作和寫乙個之前給大家提到新的開源專案,我將它命名為powerproxy,寫的過程中遇到了很多問題,算是乙個不錯的學習經歷,對sock5協議,windows核心有了一定的理解。開源的日期還沒確定,需要將一些關鍵問題解決,大家敬請期待。
看到大家對ipproxys專案挺感興趣,下面就介紹一下它的使用方式。(我的新書《python爬蟲開發與專案實戰》出版了,大家可以看一下樣章)
ubuntu,debian下
windows下
安裝requests庫: pip install requests
將專案目錄clone到當前資料夾
$ git clone
切換工程目錄
$ cd ipproxys
執行指令碼
python ipproxys.py
模式
get /
引數
ipproxys預設埠為8000
如果是在本機上測試:
獲取5個ip位址在中國的高匿**:中國
響應為json格式,按照響應速度由高到低,返回資料:
[, , , , ]
示例**:
importtodorequests
import
json
r = requests.get('
中國')
ip_ports =json.loads(r.text)
ip_ports
ip = ip_ports[0]['ip'
]port = ip_ports[0]['
port']
proxies=
r = requests.get('
',proxies=proxies)
r.encoding='
utf-8
'print r.text
可自主選擇新增squid反向**伺服器,簡化爬蟲配置
重構http api介面
使用開源專案集錦
sandcastle是微軟官方的文件生成工具。它從dll檔案及其xml注釋檔案能夠生成完整的幫助文件,支援多種生成格式 helpe1x chm,helper2x hxs,website,helperview 結合新發布的sandcastle help file builder視覺化工具,整個生成過程...
Twitter所使用的開源專案
以下是twitter所使用的開源專案,簡要瀏覽之後,我覺得是乙個很好的關於分布式架構,大資料,非同步網路傳輸 客戶端,服務端 學習的list,做個備份,以便後用。1.分析和搜尋服務 twitter的搜尋服務每天支援超過10億次的查詢,其背後的開源專案包括 2.伺服器和儲存 twitter需要將每天使...
使用CocoaPods發布開源專案
現在的工程大多會使用到 cocoapods 來管理第三方開源庫,我們也可以製作自己的cocoapods專案讓別人使用pod命令方便的進行載入。cocoapods官方提供 trunk 模式讓我們可以便捷的將自己github的專案發布到cocoapods上。從上面的trunk流程圖可以知道cocoapo...