在剛剛開始學習爬蟲的時候，對什麼都感興趣，都想進行一次抓取的行動。一頓操作之後，發現爬蟲連線不上**了，百思不得解時，才發現原來被**ban掉了。被ban就是爬蟲被****了的意思。顯然很多**對爬蟲是不太歡迎的，特別是**的所有者。因為爬蟲常常過快地連線**，導致**不能提供正常的訪問。因此，編寫爬蟲一定要放慢爬行的速度，讓**所有者認為這是一種正常的訪問，即使知道你是爬蟲，只要不影響正常訪問，也會網開一面的。導致爬行速度過快的爬蟲，往往就在初學者中，因為他們根本就沒有學習過爬蟲的配置，也因為很多爬蟲的書籍也不去說怎麼樣配置，更有一些網文提不提配置。所以初學者只有吃到閉門羹後，才番然醒悟要學習配置引數了。
我們建立乙個scrapy的爬蟲，一般目錄長成這樣：
在其中有乙個配置檔案，它就叫做settings.py檔案，裡面是scrapy的爬取配置。如果你仔細地開啟這個檔案，如下：
爬蟲日記 html的遍歷
來手打栗子，依然是用上一節的demo contents列印出了所有子標籤，存在列表裡展示 也可以通過索引取值。html已經是html的最高端標籤了，沒有父標籤，所以他的父標籤就是它本身。因為 soup的父節點沒有，所以返回了乙個空 這裡拿出了乙個parents，注意不是parent，所以這裡是以上所...
學習日記18 time庫的使用
time庫的使用 python中time模組詳解 元組 struct time 方式 struct time元組共有9個元素，返回struct time的函式主要有gmtime localtime strptime 下面列出這種方式元組中的幾個元素 索引 index 屬性 attribute 值 v...
爬蟲日記 4 urllib的基本使用
前面已經看到urllib庫的魔力，了了數行就可以把網頁的內容抓取下來，為了以後打下堅實的基礎，在本文裡對urllib庫更進一步了解，學會它的基本使用方法。urllib 是乙個 python 內建包，不需要額外安裝即可使用，包裡面包含了以下幾個用來處理 url 的模組 urllib.request，用...