1. 建立爬蟲工程：scrapy startproject name
2. 定義item item是爬蟲的資料模型的（item.py）
3. 新建spider：scrapy genspider $ $
4.編寫爬蟲檔案：主要是start_urls和def parse解析方法
5. 在settings.py中修改user_agent項，防止403錯誤，建議**：
import random
importrandom
user_agent_list = [ ,
,,,,
,,,,
,,,,
,,,,
]ua = random.choice(user_agent_list)
user_agent = ua
在settings.py中再進行如下修改：
feed_export_encoding ='utf-8'
robotstxt_obey =false
執行爬蟲程式：scrapy crawl $
python 爬蟲日記
首先是三大問題，跟搞哲學的差不多 爬蟲是什麼 爬蟲能做什麼 怎麼學爬蟲 既然是學習，就要做好付出時間和精力在這上面的思想準備 如果是新手，更應該知道接觸新的知識可能會產生挫敗感！沒有一路坎坷，哪有累累碩果！言歸正傳，學習爬蟲技術，就需要知道他涉及的知識點，再根據自己的實際情況，劃重點，攻克難點，總結...
爬蟲學習日記
由於之前沒有python基礎，能不能跟上還是很慌的，但還是得盡力 1.檢視網頁robots協議，了解爬取需要遵守的規則 2.使用url re bs4 對單一靜態或動態的介面資訊進行爬取 3.安裝scrapy 爬取 介面部分資訊 獲取書包搜尋介面的商品名稱和 import requests impor...
爬蟲學習日記 一）
最近對爬蟲有點感興趣，打算用python寫爬蟲試試。記錄下學習過程中的所思所想以及遇到的一些有意思的問題。持續更新中。將爬取到的網頁解碼str str.decode utf 8 然後列印print str 的時候會出現錯誤 unicodeencodeerror gbk codec can t enc...