pip install requests
pip install selenium
將chromedriver.exe檔案放到python的scripts目錄下 / 將其路徑配置到環境變數
將geckodriver.exe檔案放到python的scripts目錄下 / 將其路徑配置到環境變數
解壓後將bin資料夾中的phantomjs.exe檔案放到python的scripts目錄下 / 將其所在的bin目錄路徑配置到環境變數
cchardet 字元編碼檢測庫
aiodns 加速dns解析庫
pip install cchardet aiodns
pip install lxml
pip install beautifulsoup4
pip install pyquery
安裝tesserocr
pip install tesserocr pillow
在「計算機-管理-服務」中開啟或關閉mysql服務
新建data資料夾……（太長暫時略過）
pip install pymysql
pip install pymango
pip install redis
reidsdump redis資料匯入/匯出工具
安裝ruby
安裝reidsdump
gem install redis-dump
python3 網路爬蟲開發實戰 貓眼top100
我發現自己沒有整理和總結的習慣，有時是學了之後覺得會了，懶得整理，有時是沒有時間，偶爾有時候想起來會寫一篇。但是後來發現忘的還是挺快的，而且想找以前的東西的時候總是不太方便。不過人生在世，總要給這個世界留下點什麼。把自己在學習中得到的東西，所思所想都記錄下來，所以在此立個flag 狗頭 養成總結和寫...
Python3網路爬蟲開發實戰 分布式爬蟲原理
分布式爬蟲原理 我們在前面已經實現了 scrapy 微博爬蟲，雖然爬蟲是非同步加多執行緒的，但是我們只能在一台主機上執行，所以爬取效率還是有限的，分布式爬蟲則是將多台主機組合起來，共同完成乙個爬取任務，這將大大提高爬取的效率。分布式爬蟲架構 在了解分布式爬蟲架構之前，首先回顧一下 scrapy 的架...
Python 3 網路爬蟲
python 原來還可以這樣玩 python爬蟲，破解有道翻譯介面引數 破解有道翻譯反爬蟲機制 python3網路爬蟲快速入門實戰解析 article details 78123502 python3網路爬蟲 五 python3安裝scrapy article details 60156205 py...