網際網路爬蟲，蜘蛛，資料採集器，網頁解析器的彙總，因新技術不斷發展，新框架層出不窮，此文會不斷更新...
歡迎推薦你知道的開源網路爬蟲，網頁抽取框架.
開源網路爬蟲qq***:322937592
email address: liinux at qq.com
pyspider - 乙個強大純python的資料採集系統.
cola - 乙個分布式的爬蟲框架.
demiurge - 基於pyquery的微型爬蟲框架.
scrapely - 乙個純python的html頁面捕捉庫.
feedparser - 乙個通用的feed解析器.
grab - **採集框架.
mechanicalsoup - 乙個自動化的互動**python庫.
portia - 基於scrapy的視覺化資料採集框架.
crawley - 基於非阻塞通訊(nio)的python爬蟲框架.
robobrowser - 乙個簡單的，不基於web瀏覽器的基於python的web 瀏覽器.
mspider - 乙個基於gevent(協程網路庫)的python爬蟲.
brownant - 乙個輕量級的網路資料抽取框架.
crawler4j - 簡單和輕量級的網路爬蟲.
jsoup - 採集，分析，處理和清洗html頁面.
websphinx - html**特定的處理、資訊提取.
open search server - 全套搜尋功能，建立你自己的索引策略。分析、提取全文資料，這個框架可以索引的一切.
gecco - 乙個易於使用的輕量級網路爬蟲.
webcollector -簡單的抓取網頁的介面，可以在不到5分鐘內部署乙個多執行緒的網路爬蟲.
webmagic -乙個可擴充套件的爬蟲框架.
spiderman -乙個可擴充套件的，多執行緒的網路爬蟲.
heritrix3 - 可擴充套件，大規模的網路爬蟲專案.
seimicrawler - 乙個敏捷的分布式爬蟲框架.
stormcrawler - 基於開放源**、構建低延遲的網路資源採集框架，基於apache storm.
spark-crawler - 基於apache nutch 的網路爬蟲，可以執行於spark.
dom-crawler - 易於抽取dom檔案的網路爬蟲.
pspider - 基於php的併發網路爬蟲.
php-spider - 乙個基於php的高可擴充套件的網路爬蟲.
iphone開源彙總
掃瞄wifi資訊 條形碼掃瞄 tcp ip的通訊協議 720全景顯示panoramagl json編碼解碼 http code.google.com p json framework base64編碼解碼 http code.google.com p google toolbox for mac s...
iphone開源彙總
掃瞄wifi資訊 條形碼掃瞄 tcp ip的通訊協議 voip sip three20 google gdata 720全景顯示panoramagl jabber client plblocks image processing json編碼解碼 base64編碼解碼 xml解析 安全儲存使用者密碼...
開源框架彙總
開源框架彙總 裡面含有有很多開源框架 github 優秀的 android 開源專案 上排名前 100 的 android 開源庫介紹 強烈推薦android studio用的幾個外掛程式 listview框架 漸變隱藏頭部的xlistview 好用 類似google官方 類似google官方好用 ...