1：.net開源的跨平台爬蟲框架 dotnetspider star:430
dotnetspider這是國人開源的乙個跨平台、高效能、輕量級的爬蟲軟體，採用 c# 開發。目前是.net開源爬蟲最為優秀的爬蟲之一。
2：**牛人寫的開源爬蟲xnet star:117
這個乙個**牛人寫的開源工具，為啥說他強悍了，因為他將所有http協議的底層都實現了一遍，這有啥好處？只要你是寫爬蟲的，都會遇到乙個讓人抓狂的問題，就是明明知道自己http請求頭跟瀏覽器一模一樣了，為啥還會獲取不到自己想要的資料
3：開源的.net爬蟲abot star:1050
abot是乙個開源的.net爬蟲，速度快，易於使用和擴充套件
4：c#仿火車頭的開源資料採集器v5_datacollection star:25
v5 資料採集器是一款面向個人及專業使用者提供的一款專業的資料採集軟體,即適用於簡單化配置操作，也適應針對複雜資料採集的能力,所見即可採。 v5資料採集器獨有的**輪詢採集機制，可有效的解決**遮蔽問題，可用於網際網路資料動態監控，絕對是您的首選
5：c#爬蟲引擎核心版smartspider star:17
smartspider爬蟲引擎核心版，全新的設計理念，真正的極簡版本。
6：.net開源的超級爬蟲hawk star:1039
hawk是一種資料採集和清洗工具，依據gpl協議開源，能夠靈活，有效地採集來自網頁，資料庫，檔案， 並通過視覺化地拖拽， 快速地進行生成，過濾，轉換等操作。其功能最適合的領域，是爬蟲和資料清洗
******-web-crawler - 基於c#.net的簡單網頁爬蟲，支援非同步併發、切換**、操作cookie、gzip加速。
8：**資料採集軟體網路礦工採集器（原soukey採摘）
soukey採摘**資料採集軟體是一款基於.net平台的開源軟體，也是**資料採集軟體型別中唯一一款開源軟體。儘管soukey採摘開源，但並不會影響軟體功能的提供，甚至要比一些商用軟體的功能還要豐富。soukey採摘當前提供的主要功能如下： 1. 多工多執行緒資料採集，支援post方式；…
9：**資料採集軟體netspider star:94
netspider**資料採集軟體是一款基於.net平台的開源軟體。 軟體部分功能是基本soukey軟體進行開發的.這個版本採用vs2010+.net3.5進行開發的. netspider採摘當前提供的主要功能如下： 1. 多工多執行緒資料採集，支援post方式(待定)； 2. 可…
10：網路爬蟲程式nwebcrawler
nwebcrawler是一款開源的c#網路爬蟲程式
11：web爬蟲工具ncrawler
ncrawler 是乙個web crawler 工具，它可以讓開發人員很輕鬆的發展出具有web crawler 能力的應用程式，並且具有可以延展的能力，讓開發人員可以擴充它的功能，以支援其他型別的資源（例如pdf /word/excel 等檔案或其他資料**）。 ncrawler 使用多執行緒…
12：多執行緒web爬蟲程式spidernet
13：網頁爬蟲scrapingspider star:48
scrapingspider 是乙個業餘時間開發的，支援多執行緒，支援關鍵字過濾，支援正文內容智慧型識別的爬蟲。 爬蟲的核心實現在scrapingspider.core程式集中。爬蟲類為spider類，爬蟲的爬取邏輯，與頁面處理邏輯通過事件分離，兩個關鍵事件為addurlevent和data…
14：爬蟲小新sinawler
1：.net開源的跨平台爬蟲框架 dotnetspider star:430
dotnetspider這是國人開源的乙個跨平台、高效能、輕量級的爬蟲軟體，採用 c# 開發。目前是.net開源爬蟲最為優秀的爬蟲之一。
2：**牛人寫的開源爬蟲xnet star:117
這個乙個**牛人寫的開源工具，為啥說他強悍了，因為他將所有http協議的底層都實現了一遍，這有啥好處？只要你是寫爬蟲的，都會遇到乙個讓人抓狂的問題，就是明明知道自己http請求頭跟瀏覽器一模一樣了，為啥還會獲取不到自己想要的資料
3：開源的.net爬蟲abot star:1050
abot是乙個開源的.net爬蟲，速度快，易於使用和擴充套件
4：c#仿火車頭的開源資料採集器v5_datacollection star:25
v5 資料採集器是一款面向個人及專業使用者提供的一款專業的資料採集軟體,即適用於簡單化配置操作，也適應針對複雜資料採集的能力,所見即可採。 v5資料採集器獨有的**輪詢採集機制，可有效的解決**遮蔽問題，可用於網際網路資料動態監控，絕對是您的首選
5：c#爬蟲引擎核心版smartspider star:17
smartspider爬蟲引擎核心版，全新的設計理念，真正的極簡版本。
6：.net開源的超級爬蟲hawk star:1039
hawk是一種資料採集和清洗工具，依據gpl協議開源，能夠靈活，有效地採集來自網頁，資料庫，檔案， 並通過視覺化地拖拽， 快速地進行生成，過濾，轉換等操作。其功能最適合的領域，是爬蟲和資料清洗
******-web-crawler - 基於c#.net的簡單網頁爬蟲，支援非同步併發、切換**、操作cookie、gzip加速。
8：**資料採集軟體網路礦工採集器（原soukey採摘）
soukey採摘**資料採集軟體是一款基於.net平台的開源軟體，也是**資料採集軟體型別中唯一一款開源軟體。儘管soukey採摘開源，但並不會影響軟體功能的提供，甚至要比一些商用軟體的功能還要豐富。soukey採摘當前提供的主要功能如下： 1. 多工多執行緒資料採集，支援post方式；…
9：**資料採集軟體netspider star:94
netspider**資料採集軟體是一款基於.net平台的開源軟體。 軟體部分功能是基本soukey軟體進行開發的.這個版本採用vs2010+.net3.5進行開發的. netspider採摘當前提供的主要功能如下： 1. 多工多執行緒資料採集，支援post方式(待定)； 2. 可…
10：網路爬蟲程式nwebcrawler
nwebcrawler是一款開源的c#網路爬蟲程式
11：web爬蟲工具ncrawler
ncrawler 是乙個web crawler 工具，它可以讓開發人員很輕鬆的發展出具有web crawler 能力的應用程式，並且具有可以延展的能力，讓開發人員可以擴充它的功能，以支援其他型別的資源（例如pdf /word/excel 等檔案或其他資料**）。 ncrawler 使用多執行緒…
12：多執行緒web爬蟲程式spidernet
13：網頁爬蟲scrapingspider star:48
scrapingspider 是乙個業餘時間開發的，支援多執行緒，支援關鍵字過濾，支援正文內容智慧型識別的爬蟲。 爬蟲的核心實現在scrapingspider.core程式集中。爬蟲類為spider類，爬蟲的爬取邏輯，與頁面處理邏輯通過事件分離，兩個關鍵事件為addurlevent和data…
14：爬蟲小新sinawler
pyspider爬蟲框架 增量爬蟲
pyspider 爬蟲框架,基於puquery實現的.優勢 1.基於多執行緒非同步的任務排程方式 可以實現爬蟲的高併發爬取,注意使用 2.它提供了乙個wedui的爬蟲任務管理介面,可以實現爬蟲的停止,啟動,除錯,支援定時爬取任務 3.簡潔 4.支援動態 的爬取 requests urllib只能爬取...
scrapy爬蟲框架
作者經過幾周的python爬蟲實踐之後，深入學習了一下scrapy這個爬蟲框架，現將一些基本知識和 總結整理一下，以備後查。2.scrapy的命令列使用 這部分網上很多部落格都有總結，不需要背，理解會用主要的命令 startproject crawl fetch list genspider.即可，...
scrapy 爬蟲框架
1.安裝 公升級pip版本 pip install upgrade pip 通過pip安裝scrapy框架 pip install scrapy 安裝成功 只執行scrapy 進行測試是否安裝成功 2.scrapy startproject 爬蟲專案名稱 執行此命令,可以生成乙個爬蟲專案 會預先生成...