關於python 爬取 ajax頁面

2021-08-14 12:51:49 字數 1632 閱讀 3594

安裝只要按部就班的點next就好

conda的環境管理功能允許我們同時安裝若干不同版本的python,並能自由切換。對於上述安裝過程,假設我們採用的是python 2.7對應的安裝包,那麼python 2.7就是預設的環境(預設名字是root,注意這個root不是超級管理員的意思)。

假設我們需要安裝python 3.4,此時,我們需要做的操作如下:

# 建立乙個名為python34的環境,指定python版本是3.4(不用管是3.4.x,conda會為我們自動尋找3.4.x中的最新版本)

conda create --name python34 python=3.4

# 安裝好後,使用activate啟用某個環境

activate python34 # for windows

source activate python34 # for linux & mac

# 啟用後,會發現terminal輸入的地方多了python34的字樣,實際上,此時系統做的事情就是把預設2.7環境從path中去除,再把3.4對應的命令加入path

# 此時,再次輸入

python --version

# 可以得到`python 3.4.5 :: anaconda 4.1.1 (64-bit)`,即系統已經切換到了3.4的環境

# 如果想返回預設的python 2.7環境,執行

deactivate python34 # for windows

source deactivate python34 # for linux & mac

# 刪除乙個已有的環境

conda remove --name python34 --all

#檢視已安裝的環境,當前被啟用的環境會顯示有乙個星號或者括號。

conda info -e

使用者安裝的不同python環境都會被放在目錄~/anaconda/envs下

# 安裝scipy

conda install scipy

# conda會從從遠端搜尋scipy的相關資訊和依賴專案,對於python 3.4,conda會同時安裝numpy和mkl(運算加速的庫)

# 檢視已經安裝的packages

conda list

# 最新版的conda是從site-packages資料夾中搜尋已經安裝的包,不依賴於pip,因此可以顯示出通過各種方式安裝的包

conda的一些常用操作如下:

# 檢視當前環境下已安裝的包

conda list

# 檢視某個指定環境的已安裝包

conda list -n python34

# 查詢package資訊

conda search numpy

# 安裝package

conda install -n python34 numpy

# 如果不用-n指定環境名稱,則被安裝在當前活躍環境

# 也可以通過-c指定通過某個channel安裝

# 更新package

conda update -n python34 numpy

# 刪除package

conda remove -n python34 numpy

python爬蟲爬取多頁內容

前幾天零組資料庫發文關閉,第乙個念頭是可惜,想著趕緊把資料儲存下來,卻發現爬蟲已經忘得差不多了,趕緊複習一波。不多說,pycharm,啟動!不知道爬啥,隨便找個網頁吧 url 首選獲取目標 html頁面 f12提取請求頭資訊,這裡我們只需ua即可 根據網頁 meta標籤設定編碼格式 如下 impor...

多頁爬取資料

beautifulsoup自動將輸入文件轉換為unicode編碼,輸出文件轉換為utf 8編碼。你不需要考慮編碼方式,除非文件沒有指定乙個編碼方式,這時,beautifulsoup就不能自動識別編碼方式。這時,你只需要說明一下原始編碼方式就ok。引數用lxml就可以,需要另行安裝並載入。beauti...

Python實戰演練之跨頁爬取

上章回顧 上一章python實戰演練之scrapy初體驗中講到了scrapy專案的建立,爬蟲的建立,以及資料的提取。跨頁爬取如何實現 不過這些都是建立在單頁網頁資料的爬取之中,很多時候我們需要跨很多頁去爬取資料,這個時候該怎麼實現呢?跨頁爬取的實現 所以,srcapy的跨頁爬取很好實現,只用在cou...