網路爬蟲引發的問題
網路爬蟲的尺寸：
小規模，資料量小，爬取速度不敏感，使用requests庫，應用佔比90%
中規模，資料規模較大，爬取速度敏感，scrapy庫
大規模，搜尋引擎、爬取速度關鍵，定製開發
爬取網頁 玩轉網頁
爬取** 爬取系列**
爬取全網
網路爬蟲的『騷擾』，對於web伺服器有騷擾
網路爬蟲的法律風險，伺服器上的資料有產權歸屬
網路爬蟲的洩露隱私
限制網路爬蟲：
user-agent域，只響應瀏覽器或友好爬蟲的訪問
2、發布公告：robots協議，告知爬取策略。
基本語法：user-agent *
可檢視
python 網頁爬蟲亂碼以及轉碼問題
前言 python 3最重要的新特性大概要算是對文字和二進位制資料作了更為清晰的區分。文字總是unicode，由str型別表示，二進位制資料則由bytes型別表示。python 3不會以任意隱式的方式混用str和bytes，正是這使得兩者的區分特別清晰。你不能拼接字串和位元組包，也無法在位元組包裡搜...
Python 爬蟲中遇到的反爬蟲問題
源 一般會有下面幾種限制 1 一定時間內單個ip訪問次數，乙個正常使用者訪問 除非是隨意的點著玩，否則不會在一段持續時間內過快訪問乙個 持續時間也不會太長，我們可以採用大量不規則 ip形成乙個執行緒池，隨機從 池中選擇 模擬訪問。有兩種，透明 和匿名 2 一定時間內單個賬號訪問次數，如果乙個人一天2...
爬蟲遇到的問題
特殊字串處理的問題 第一佳大雞排 新街口店 黃燜雞公尺飯 被識別成資料夾名 處理特殊字元 dex0 line 6 find if dex0 1 line 6 line 6 0 dex0 約翰大叔 比薩 龍躍店 輸出時，有特殊字元，無法輸出。處理特殊字元 dex1 line 6 find if dex...