我們需要明確的一點是並非是爬蟲這種「技術」是否合法，而是使用爬蟲獲取資料的「行為」是否合法。
9月份參加乙個某銀行的資料相關崗位面試的時候，面試官直接問道：你之前的實習經歷中有一段這個爬蟲實習生的經歷，能簡單的說一下你對這個爬蟲資料的看法，當時回答技術肯定沒有問題的，想要防止資料不被非法利用，一方面是通過加強相關的反爬蟲技術，但是道高一尺魔高一丈只要是技術都會有被攻破的一天，這個不是長久之計，計算機相關的法律還不夠完善，需要相關人士去推動，需要的是整個計算機資訊保安領域的法律的完善，相關人員的職業道德素質的提公升。
技術是無罪的，技術本身確實是沒有對錯的，但使用技術的人是有對錯的，公司或者程式設計師如果明知使用其技術是非法的，那麼公司或者人就需要為之付出代價。爬蟲本身並不違法，而是看你使用的方式和目的，還要看是不是商業用途。最近也出了乙個新聞：只因寫了一段爬蟲，公司200多人被抓，就是下圖巧達科技。
導致這次事件的起因，公司工程師寫的爬蟲**將對方的服務搞掛了（這就構成了了「破壞計算機資訊系統罪」)在今年國家頒布《中華人民共和國網路安全法》之後，很多以前處於灰色地帶的業務都不能做了。
最新的安全法強調：販賣個人資訊超過50條屬於「情節嚴重」，需要追求其法律責任。還有很多涉及版權資訊的**，比如書籍、影視劇、課程等後期也會面臨越來越嚴格的審查，這就是目前大的形勢。
2023年12月20日，人人影視字幕站發布微博稱，人人影視正式關閉，並表示或將繼續為正版商提供翻譯服務，也可能轉變為討論社群的形式。
2023年6月，吾愛破解因版權問題關站整改…爬蟲不能涉及個人隱私如果爬蟲程式採集到公民的姓名、身份證件號碼、通訊通訊****、住址、賬號密碼、財產狀況、行蹤軌跡等個人資訊，並將之用於非法途徑的，則肯定構成非法獲取公民個人資訊的違法行為。也就是說你爬蟲爬取資訊沒有問題，但不能涉及到個人的隱私問題，如果涉及了並且通過非法途徑收益了，那肯定是違法行為。下列三種情況，爬蟲有可能違法，嚴重甚至構成犯罪：
2.爬蟲程式干擾被訪問的**或系統正常運營，後果嚴重的，觸犯刑法，構成「破壞計算機資訊系統罪」
3.爬蟲採集的資訊屬於公民個人資訊的，有可能構成非法獲取公民個人資訊的違法行為，情節嚴重的，有可能構成「侵犯公民個人資訊罪」。
現在網上有很多付費的課程，比如極客時間、gitchat、慕課網、知識星球等等，這些付費內部資訊如果被非法爬取手法**獲利，一種違法行為。
遵守 robots 協議
robots 協議也叫 robots.txt（統一小寫）是一種存放於**根目錄下的 ascii 編碼的文字檔案，它通常告訴網路搜尋引擎的漫遊器（又稱網路蜘蛛），此**中的哪些內容是不應被搜尋引擎的漫遊器獲取的，哪些是可以被漫遊器獲取的。
robots 協議就是告訴爬蟲，哪些資訊是可以爬取，哪些資訊不能被爬取，嚴格按照 robots 協議 爬取**相關資訊一般不會出現太大問題。不能造成對方伺服器癱瘓
但不是說只要遵守 robots 協議的爬蟲就沒有問題，還涉及到兩個因素，第一不能大規模爬蟲導致對方伺服器癱瘓，這等於網路攻擊。
2023年05月28日國家網信辦發布的《資料安全管理辦法（徵求意見稿）》中，擬通過行政法規的形式，對爬蟲的使用進行限制：
網路運營者採取自動化手段訪問收集**資料，不得妨礙**正常執行；此類行為嚴重影響**執行，如自動化訪問收集流量超過**日均流量三分之一，**要求停止自動化訪問收集時，應當停止。爬蟲不能涉及個人隱私
惡意利用爬蟲技術抓取資料，攫取不正當競爭的優勢，甚至是牟取不法利益的，則可能觸犯法律。實踐中，非法使用爬蟲技術抓取資料而產生的糾紛其實數量並不少，大多是以不正當競爭為由提請訴訟。
舉個例子，如果你把大眾點評上的所有公開資訊都抓取了下來，自己複製了乙個一模一樣的**，並且還通過這個**獲取了大量的利潤，這樣也是有問題的。
一般情況下，爬蟲都是為了企業獲利的，因此需要爬蟲開發者的道德自持和企業經營者的良知才是避免觸碰法律底線的根本所在。絕大多數公司和個人使用的爬蟲都是沒有問題的，只要不要爬取個人資訊，不利用爬蟲非法獲利，不要爬取**的付費內容，基本問題不大。
爬蟲究竟是合法還是違法的？
據說網際網路上 50 以上的流量都是爬蟲創造的，也許你看到很多熱門資料都是爬蟲所創造的，所以可以說無爬蟲就無網際網路的繁榮。這個話題涉及到我們很多程式設計師的日常工作，所以有必要和大家細聊一下。在今年國家頒布 中華人民共和國網路安全法 之後，很多以前處於灰色地帶的業務都不能做了。2014年12月20...
APP監聽手機剪貼簿是否違法？法院判決 侵犯隱私權
在這個www.cppcns.com網際網路時代，很多使用者都相信手機app在監聽自己這個懷疑不無道理，因為很多app確實監聽了使用者的剪貼簿，由此分析使用者的隱私資訊，而這其實是違法的，已經有法院判決的例子。據21世紀經濟報道報道，近日，廣州網際網路法院對一起購物ap程式設計客棧p未經使用者許可讀取...
爬蟲要違法了嗎？小編告訴大家 守住規則，大膽去爬
最近我學習和實踐網路爬蟲，總想著在這兒抓點資料在那兒抓點資料。所以我想現在這個時候，非常有必要仔細研究一下有關網路爬蟲的規則和底線。哪些情況下網路爬蟲採集資料後具備法律風險？比如 網，大家來看 的宣告。robots協議 也稱為爬蟲協議 機械人協議等 的全稱是 網路爬蟲排除標準 robots excl...