robots協議是網際網路爬蟲的一項公認的道德規範，它的全稱是「網路爬蟲排除標準」（robots exclusion protocol），這個協議用來告訴爬蟲，哪些頁面是可以抓取的，哪些不可以。
在**的網域名稱後加上/robots.txt就可以了。
協議裡最常出現的英文是allow和disallow，allow代表可以被訪問，disallow代表禁止被訪問
惡意消耗別人的伺服器資源，是一件不道德的事，惡意爬取一些不被允許的資料，還可能會引起嚴重的法律後果。工具在你手中，如何利用它是你的選擇。當你在爬取**資料的時候，別忘了先看看**的robots協議是否允許你去爬取。同時，限制好爬蟲的速度，對提供資料的伺服器心存感謝，避免給它造成太大壓力，維持良好的網際網路秩序，也是我們該做的事。
爬蟲標準庫Xpath
xpath 全稱xml path language，是一門在xml文件中查詢資訊的語句，可用來在xml文件中對元素和屬性進行遍歷。官方文件w3xpath 安裝 windows pip install lxml 豆瓣源 pip install i lxml xml和 html 的區別資料格式 描述作用...
教你如何排除網路故障
1 先檢視他人是否可以上網，來判斷是否整個網路出現了問題。如其它人也不能上網的話，就檢查hub 交換機 或傻瓜式的小路由器是否正常工作。主要是觀察它們的指示燈是否亮。這些裝置都沒有問題的時候，再檢視一下你的 貓 是否正常工作。2 當只有你乙個人不能上網的時候，右鍵單擊 網路上的芳鄰 檢視 本地連線 ...
網路爬蟲 多執行緒爬蟲
多執行緒爬蟲 import threading class one threading.thread def init self threading.thread.init self def run self for i in range 0,10 print 我是執行緒1 class two th...