要學爬蟲首先要知道robots協議 （網路爬蟲排除標準）
也就是**規定了哪些可以被索引，哪些不能被索引
robots.txt檔案的寫法
robots格式如下:
user-agent: * 針對定義搜尋引擎型別，*代表對所有搜尋引擎
disallow: / 禁止抓取的位址。
allow: / 允許抓取的位址。
寫法規則，「:」的使用要是英文下的符號，寫法後面留一空格，如下舉例。
遮蔽整個**，使用正斜線
例：user-agent: *
disallow: /
要遮蔽某一目錄以及其中的所有內容，在目錄名後新增正斜線
例：user-agent: *
disallow: /目錄名/
要遮蔽某個具體的網頁，就指出這個網頁
例：user-agent: *
disallow: /網頁.htm
例：user-agent: *
disallow: /*?*
要遮蔽**上的css、js檔案
例：user-agent: *
disallow: /*.js$
disallow: /*.css$
例：user-agent: *
要遮蔽**上的檔案包
例：user-agent: *
disallow: /*.zip
第二十八天
1 建立乙個名稱為itcast的資料庫。create database itcast 2 設計資料表tb student的字段結構，欄位有id 學號 name 姓名 age 年齡 enrolmentdate 入學時間 並選擇適合的資料型別。tb student資料表的字段結構如下表所示 欄位名 型別...
蛻變，第二十八天
1 什麼是包 包是模組的一種形式，包的本質就是乙個含有 init py檔案的資料夾 2.為什麼要有包 因為如果我們要把我們寫的一大堆功能分類處理，並且數量眾多，我們需要進行分檔案儲存，則需要用到包的概念 3 如何用包 匯入包就是在包下的 init py import from import 注意的問...
冥想第二十八天
今天5點多就不困了，天氣有點冷，醒了。告訴自己，都是正常的。確實是正常的。都是人最直觀的感受。改變固有思維，以前會聯想很多造成的，讓自己越來越膽小。可這一切都是那麼的正常。固定的生物鐘也改起了。一切放輕鬆。不怪以前的自己，畢竟自己一天比一天好。多學習別人身上的優點，不狹隘。不能因為環境冷了，而埋怨自...