今天僅說下資料採集的一些基礎東西，高手繞道，菜鳥認真的學，權當入門。
首先是內容的選擇
網上世界千奇百怪，各個站長都千方百計地研究如何吸引眼珠。這做站如同做文章，不可能把所有的東西都收羅進來，要懂得取捨程式設計客棧 再好的內容與你的**主題也要符合，即使垃圾站（即無原創內容大部分是採集他人內容的站）初期階段可能不予計較，但時間長了，垃圾站的目標仍是把垃圾做成精品，否則就死定了。
如何選擇好的內容，我認為要做好以下幾個方面：
①選擇內容要你的站的主題符合的比較好。
比如做軸承站的可以採集軸承新聞、軸承技術什麼的，也可以大一點採集機械製造方面的，但不要太偏離了，就不要選擇美女這樣的內容，雖然這類內容吸www.cppcns.com引人，但一方面給人造成的感覺不專業，另一方面也容易被百度k。 如果你覺得非採這個不可。可以搞個二級網域名稱的方式專門建個相對獨立的站，如pic.***.com，和主站相對脫節。
②採集的內容的格式盡量統一。
盡量選擇些精品**進行採集，採集內容的風格和格式要盡量統一，否則會顯得不專業，顯得太散亂，影響客戶的訪問情緒。
③不要一次性採集太多。在建站初期各個欄目適當採集幾百條墊底就行了然後每天都採集一些，否則初期太多的流量對乙個新站來說也無太大裨益，而且很危險，容易被百度k站。
④採集內容要選好關鍵字，做好**的tag，不要見內容就收，否則真成垃圾了 查關鍵字在百度中的排位情況，是不是有可能衝擊前幾位，有一二個關鍵字就夠了，這個是流量的保證，就是**的seo的一部分，最近才學的，不太懂哈。
⑤為避免百度k站，選擇不同編碼的站是個不錯的建議，比如可以採集big5的繁體站轉化成自己的gbk的，有能力的甚至可以通過機器翻譯把英文的變成中文站，這樣都是原創性的了，被百度k的可能性就是0。 我有乙個客戶把百度知識的東西通過翻譯引擎直接做了個英文知識站。 招數千變，唯一的目標是有安全的流量。
⑥要採集的源站要有持續更新的能力，盡量不要採死站，呵呵， 一方面能經常採集，另一方面這樣的站的資訊有時效性，可保證你採集的內容新鮮。
gadpocbs其次講下採集工具的選擇
採集工具不下幾十種，如何選擇適當的工具要看各位的愛好，其實學好一二種採集工具就可以了。 有cms系統自帶的如帝國cms自帶的採集， 有專門的採集的軟體如火車頭、小蜜蜂、貼探小黑、守望、三人行、et等等，下面簡單介紹一下：
①火車頭採集軟體，這個是最早的採集的軟體，也是大名鼎鼎的採集軟體， 軟體安裝有點麻煩，軟體採用.net 架構，不過也容易搞定。 字串8 軟體的優點很多，規則制訂也相對簡單，可以制訂整個站的規則，也可以本地入庫同步發布到**。 缺點是發布模組不容易找，而且難於開發，對新手來說很難發布成功。 因為作者近半年都沒更新，bug比較多，最新的v3.2快出來了，還是值得期待的。
②小蜜蜂採集，這個可以和他的bbwps--小蜜蜂商務**門戶系統整合使用，也可以單獨用，需要本地裝php環境，也半年沒更新了 不過對國外的一些cms如joomla支援，還是不錯的。剛才有問做英文站採集，用這個也是可以的
③貼探小黑 這個是收費的採集器，對新手來說還比較好用， 但規則制訂感覺好彆扭，比較好的解決了發布的問題，速度也很快，最新的4.0出來後作者可能會停止開發了 這個對論壇採集比較好，對**的cms還不支援，還有不能多頁採集，缺陷比較多。
④三人行 這個軟體還是下了很多功夫的，介面有些粗糙，感覺不到位，有些作弊功能很不錯，比如論壇同時**、批量發貼等等 呵呵，平時很少用。由於作者的功利因素有很多不同名字的軟體版本，功能基本一樣，有些混亂。
⑤守望。這也是php的平台開發的，可直接安裝在**伺服器上，直接採集到伺服器上，這個比較好，免除了資料上傳時間。
⑥et。這個可謂後起之秀，比較好用，制訂規則也簡單靈活，但有的地方還不成熟。支援的系統還不多，不過潛力很大，新出的模擬提交，基本上絕大部分型別的採集都可做了。
以上是採集工具的介紹，哪種好用要看各位的偏好了。
採集用到的工具還包括抓包分析工具，如sniffer，wsockexpert等。
asp的採集器程式設計客棧
源**分析工具，對於位址隱藏的網頁用遨遊自帶的viewpage也挺好， 好象火車頭3.2附帶的新的源**分析工具放出來了，對一些難採集的**可以試試。
一般大家喜歡用2000/xp自帶的記事本檢視源**，建議公升級到vistia的記事本，支援繁體和框架，絕對好用更深一步的還要學習破解ajax，就裡就不介紹了。 第三個方面我講採集資料的加工。資料採集來固然可以直接發布到網上去，但經過加工效果會更好。 資料的加工包括去掉別人的廣告，換上自己的廣告，過濾掉一些外站的鏈結
www.cppcns.com資料格式的簡繁轉換及編碼轉換
**優化seo處理等等 這裡要注意的問題是別人廣告一定要過濾乾淨，否則自己得不到廣告費，別人的gg帳戶也不安全，反而也害了別人。 還有seo處理不要過份，適可而止，否則只會起反作用。 更高層次的採集是把採集內容變成自己的原創，這個需要高手自編程式對資料進行處理。
目前為止還沒見過這樣的工具，不過有《瘋狂作文》這樣的軟體出來，相信也不是做不到。
第四個方面是後續維護
這個後續維護也可以翻陳出新，把已採集的資料進行再加工，新增新的關鍵字，新瓶也可以裝舊酒。
本文標題: 你的採集資料「原創」嗎？
本文位址:
api可以主動採集使用者資料嗎 自動採集資料
自動採集資料，三個方式 agent 方式 agent 就是乙個客戶端，在客戶端上放置採集程式，agent採集完資料後就直接返回給api程式 目前就是django的乙個程式 agent程式 ssh 方式 ssh使用的是paramiko python的模組 就處於中控區 ssh 的方式是沒有agent的...
採集資料小總結
採集過程遇到的問題 1.十分鐘內訪問資料頁面,需要輸入驗證碼 2.每天ip限定訪問五十個以內,用完則明天再來 b 剛開始的解決辦法 b 去抓取網上提供的 ip 埠,然後 訪問 問題 ip好多不能用,需要 ip個數較多,然後還要根據採集 的規則設定,比如十分鐘內每個 訪問規則數量 1,之後再次訪問.b...
PV，V，UV的概念,採集資料
guid ip 隨機數 firstvisit.gif 表示新使用者 pagevi 0.gif 超出規定時間的使用者 pagevi 1.gif 1 天以後的時間段 pagevi 2.gif 30 分鐘 1 天時間段 pagevi 3.gif 0 30 分鐘時間 綜合瀏覽量 pv 統計所有的資料 訪問次...