最近我學習和實踐網路爬蟲，總想著在這兒抓點資料在那兒抓點資料。
所以我想現在這個時候，非常有必要仔細研究一下有關網路爬蟲的規則和底線。
哪些情況下網路爬蟲採集資料後具備法律風險？
比如**網，大家來看**的宣告。
當**宣告了rebots協議時
robots協議（也稱為爬蟲協議、機械人協議等）的全稱是「網路爬蟲排除標準」（robots exclusion protocol），**通過robots協議告訴爬蟲哪些頁面可以抓取，哪些頁面不能抓取。
robots.txt檔案是乙個文字檔案，使用任何乙個常見的文字編輯器，比如windows系統自帶的notepad，就可以建立和編輯它。robots.txt是乙個協議，而不是乙個命令。robots.txt是搜尋引擎中訪問**的時候要檢視的第乙個檔案。robots.txt檔案告訴蜘蛛程式在伺服器上什麼檔案是可以被檢視的。
如何檢視採集的內容是的有rebots協議？
爬蟲作為一種計算機技術就決定了它的中立性，因此爬蟲本身在法律上並不被禁止，但是利用爬蟲技術獲取資料這一行為是具有違法甚至是犯罪的風險的。
舉個例子：像谷歌這樣的搜尋引擎爬蟲，每隔幾天對全網的網頁掃一遍，供大家查閱，各個被掃的**大都很開心。這種就被定義為「善意爬蟲」。但是像搶票軟體這樣的爬蟲，對著 12306 每秒鐘恨不得擼幾萬次，鐵總並不覺得很開心，這種就被定義為「惡意爬蟲」。
爬蟲所帶來風險主要體現在以下3個方面：
違反**意願，例如**採取反爬措施後，強行突破其反爬措施；
爬蟲干擾了被訪問**的正常運營；
爬蟲抓取了受到法律保護的特定型別的資料或資訊。
解釋一下爬蟲的定義：網路爬蟲（英語：web crawler），也叫網路蜘蛛（spider），是一種用來自動瀏覽全球資訊網的網路機械人。
網路爬蟲抓取的資料有如下規則：
資料完全公開
不存在也無法做到越權訪問爬取
總的來說，技術本無罪，但是你利用技術爬取別人隱私、商業資料，那你就是蔑視法律了
爬蟲要違法了嗎？小編告訴大家 守住規則，大膽去爬
最近我學習和實踐網路爬蟲，總想著在這兒抓點資料在那兒抓點資料。所以我想現在這個時候，非常有必要仔細研究一下有關網路爬蟲的規則和底線。哪些情況下網路爬蟲採集資料後具備法律風險？比如 網，大家來看 的宣告。robots協議 也稱為爬蟲協議 機械人協議等 的全稱是 網路爬蟲排除標準 robots excl...
爬蟲是否違法
我們需要明確的一點是並非是爬蟲這種 技術 是否合法，而是使用爬蟲獲取資料的 行為 是否合法。9月份參加乙個某銀行的資料相關崗位面試的時候，面試官直接問道 你之前的實習經歷中有一段這個爬蟲實習生的經歷，能簡單的說一下你對這個爬蟲資料的看法，當時回答技術肯定沒有問題的，想要防止資料不被非法利用，一方面是...
MonggoDB 要黃了嗎？
mongodb 是時下最受歡迎的資料庫之一，許多企業和開發者都將其作為自己的解決方案。但在近日，macos 平台的開源包管理系統 homebrew 宣布 homebrew core 公式將移除 mongodb 支援。在過去的一年時間內，包括紅帽 英國衛報等在內的多家知名企業也都選擇了移除 mongo...