1.原本安裝了python,還有必要安裝anaconda嗎?
有必要anaconda,其包含了conda、python等180多個科學包及其依賴項,是乙個開源的包、環境管理器,能夠在不同的環境之間切換.
2.什麼是mongodb?
mongodb 是由c++語言編寫的,是乙個基於分布式檔案儲存的開源資料庫系統。在高負載的情況下,新增更多的節點,可以保證伺服器效能。
3.什麼是robomogo?
4.什麼是redis?
其遵守bsd協議,是乙個高效能的key-value資料庫。
5.什麼是redisdesktopmanager?
redis的視覺化介面
6.python爬蟲常用庫有哪些?
urllib
提供了一系列用於操作url的功能。urllib的request
模組可以非常方便地抓取url內容,也就是傳送乙個get請求到指定的頁面,然後返回http的響應。
re
執行正規表示式需要使用的模組
selenium
此庫驅動瀏覽器獲取渲染後的網頁資訊。
頁面渲染:載入-解析-渲染(構建渲染樹,對各個元素進行位置計算、樣式計算等等,然後根據渲染樹對頁面進行渲染(可以理解為「畫」元素))
注意:因為最新版本的selenium已經拋棄了舊版本的chromedriver ,所以,用2.幾版本的可以保證程式正常通過。
phantomjs
無介面瀏覽器,無需彈出瀏覽器進行爬蟲
lxml, beautifulsour4
可對網頁進行解析
pyquery
pymysql
pymongo
分別對應最開始介紹的安裝軟體
flask
**設定
django
web伺服器框架
jupyter
環境配置 Python爬蟲框架Scrapy 安裝
這篇部落格主要用於個人記錄吧。老生常談了,所謂學習的過程,就是越學越覺得自己知道的東西太少太少。環境配置,庫的安裝什麼的,很多時候還是蠻 玄學 的 時而秒裝,時而 1 pip install scrapy 運氣好的話,在interminal介面 終端介面,就是 cmd 進入的介面,我個人喜歡這麼叫,...
Ubuntu 環境下Python爬蟲的配置
可直接用包管理器安裝 pip sudo apt get install python pip顯示版本和路徑 pip version獲取幫助 pip help公升級pip pip install u pip如果這個公升級命令出現問題,可以使用以下命令 sudo easy install upgrade...
Python 爬蟲2 環境配置
關於環境配置的操作,其實非常簡單,假如不使用第三方的框架的話,只需要安裝python即可完成後續的操作。一 python的安裝和配置 python web 1 python和mongodb安裝 當前的python版本分為2.7和3.5,兩者有明顯的區別而且不相容,這裡我使用的是python 2.7版...