第一頁與後面的頁面布局有點不同，先來試試
scrapy shell + url
然後就是儲存資料了，和上一次差不多，沒什麼需要多說的，這次還是存入mysql。attention1：spot_list=response.xpath("//div[@class='city_spots_list']/ul/")#無效的xpath表示式，去掉ul後面#的'/'
attention2：
spot_list = response.xpath("//div[@class='city_spots_list']/ul/li")
for i in spot_list:
url =i.xpath("./a/@href").extract_first()
print(str(url))
yield scrapy.request(str(url), callback=self.parse, dont_filter=true)
#我一開始spot_list的xpath之寫到了ul，結果是只能獲取bingmayong的資訊，仔細想想，spot_list裡面只有乙個#ul，所以每次遍歷都是在ul上的，而不是ul裡li
爬蟲執行完成，我看了看，報了一點錯誤
最後：這次爬取過程特別慢，因為每次都要開啟新的網頁，總用時（抱歉具體我沒注意，執行的時候我出去打球了）差不多1個小時左右，所以以後想著怎麼提速。也許可以換個爬取物件，畢竟我只需要一小部分資料，能找請求這些資料的鏈結就好了。
旅遊網使用者Servlet
銷毀驗證碼 不論註冊成功還是失敗 通過json處理註冊引數 將判斷的結果返回給前端處理 銷毀驗證碼 不論註冊成功還是失敗 通過json處理註冊引數 將判斷的結果返回給前端處理 response.getwriter write value 判斷登入狀態 銷毀驗證碼 不論註冊成功還是失敗 通過json處...
黑馬旅遊網（登入 退出）
登入 分析 loginservlet 1.獲取使用者資訊 2.呼叫service查詢user 3.判斷使用者是否存在 4.判斷使用者是否啟用 5.響應錯誤資訊 userservice user login user user userdao findbyusernameandpassword str...
黑馬Web旅遊網案例總結
html頁面載入完傳送ajax請求，不需要引數。最後接收資料寫入導航條。servlet呼叫service層方法，返回category物件，並轉換為json傳送給客戶端。category service呼叫dao層，返回list dao層使用jdbctemplate查詢資料庫 sql select f...