諮詢行業中經常接觸到文字類資訊，無論是分詞做詞雲圖，還是整理編碼分析用，都非常具有價值。
1.scrapy開始建立專案：
2. 進入建立的專案目錄：
cd projectname
3.以預設的basic模板建立第乙個爬蟲：
scrapy genspider spidername www.hostdomain.com
好的，這樣基本目錄就建立起來了，目錄結構如下：
接下來在與spider同名檔案（iphone11.py)裡就可以編輯正式爬蟲**了。
scrapy 爬取京東商品列表
import scrapy class jdspider scrapy.spider scrapy crawl name便是由這個name決定的 name jd def start requests self url yield scrapy.request url url,callback sel...
用scrapy迴圈爬取京東資料匯入Mysql
感覺網上用scrapy爬京東資料的文章挺多的，但是我還是想自己寫一遍吧。京東是有反爬機制的，所以我用到使用者 偽裝成瀏覽器。爬取資料是京東 的手機資訊 url 大概是9000多條資料，不在列表之內的商品沒有算在內。我遇到的問題 1 使用者 最好是用方法 use proxy 封裝起來，因為自己之前就是...
爬取京東商品
一 進入京東主頁 二 進入商品詳情頁 2 商品名稱 3 商品 from selenium import webdriver 用來驅動瀏覽器的 相當於模擬人的點選事件來連續的訪問瀏覽器 from selenium.webdriver import actionchains 破解滑動驗證碼的時候用的 可...