python3 6爬蟲需要安裝的模組

2021-09-20 23:11:16 字數 1316 閱讀 7538

內建庫

urllib

re需要安裝的庫

requests

pip3 install requests

selenium

pip3 install  selenium

chromedriver

phantomjs(無介面瀏覽器)

lxml

pip3 install lxml

用下面的方式安裝

首先安裝

pip3 install wheel

beautifulsoup4(依賴lxml)

pip3 install beautifulsoup4

pyquery

pip3 install pyquery

儲存庫:

pymysql

pip3 install pymysql

pymongo

pip3 install pymongo

redis

pip3 install redis

flask(**ip的庫)

pip3 install flask

django

pip3 install django

jupyter(強大的記事本)

pip3 install jupyter

jupyter notebook(啟動服務)

框架:pyspider

pip3 install pyspider

scrapy

1. wheel

pip install wheel

2. lxml

3. pyopenssl

4. twisted

5. pywin32

軟體和出現問題修復指令碼,

6. scrapy

pip3 install scrapy

mongodb 的安裝:

啟動服務:

d:\program files\mongodb\server\3.6\bin>"d:\program files\mongodb\server\3.6\bin\mongod.exe" --dbpath ../data/db

配置視覺化服務:

建立日誌檔案在c盤建立c:\data\db資料夾和c:\data\logs\logs.txt檔案

圖形化管理頁面軟體

redis資料庫安裝:

參考上篇部落格:    

python3 6 爬蟲例子

importurllib.request importre importos importurllib.erroraserror url 請求 request urllib.request.request url 爬取結果 response urllib.request.urlopen reques...

Python 3 6安裝教程

目前,python有兩個版本,乙個是2.x版,乙個是3.x版,這兩個版本是不相容的。本教程安裝的是python 3.6.1 amd64版本。python官網 特別要注意勾上add python 3.6 to path,然後點 install now 即可完成安裝。則代表安裝成功!python不是內部...

Python3 6安裝pyinstaller及使用

環境 1 windows7 2 安裝python3.6環境 3 python指令碼 play.py pyinstaller的引數請參考 第一步安裝pyinstaller 開啟cmd,在命令列裡面輸入 pip3 install pyinstaller 第二步使用pyinstaller,把.py檔案轉化...