scrapy 五 scrapy專案二

在之前的基礎上，新增多個url進行爬取，

第一種是將需要爬取的**都列出來，在start_urls中

#在basic.py中

start_urls=

start_urls=[i.strip() for i in open('todo.urls.txt').readlines()]

垂直爬取是某個網頁下某個目標的爬取

示例：首先複製一下之前寫的爬蟲檔案，basic.py

cp basic.py manual.py

scrapy的安裝，scrapy建立專案

簡要 scrapy的安裝 1 pip install scrapy i 國內源 一步到位 2 報錯1 building twisted.test.raiser extension error microsoft visual c 14.0 is required.get it with micros...

建立scrapy專案

1.windows r開啟 cmd命令列工具，cd desktop 進入到桌面目錄 2.輸入建立專案命令 scrapy startproject 專案名 3.cd 到 專案目錄下 cd專案名 4.執行建立爬蟲的命令 scrapy genspider 爬蟲名 爬蟲起始 5.使用pycharm開啟專案，...

Scrapy 專案步驟

1.建立專案 scrapy starproject 專案名 2.編寫 items.py檔案 設定需要儲存的資料字段，明確想要抓取的目標，用來儲存爬到的資料。3.建立爬蟲 scrapy genspider 爬蟲名 爬取的 4.進入專案專案名 spiders 3個預設建立的 name 編寫爬蟲檔案，檔案...