全網友遇到的Mac安裝Scrapy框架所有問題

2021-08-09 06:30:52 字數 2713 閱讀 9947

安裝開始前，你需要知道的幾點注意事項和工具：

好了，到現在為止我們已經做完了準備工作，接下來我們就開始進入正篇環節——scrapy安裝。

這個必須安裝，是基於python的管理工具包。在這裡就不多廢話了，既然知道scrapy，沒理由不知道pip。我們已經裝過了wget，現在我們就用它來獲取pip，很簡單，開啟終端，下面這行命令敲進去執行。

wget
接下來安裝pip：

sudo python get-pip.py
搞定。

注意，這一步非常重要，很多人在安裝scrapy不成功的第二大原因（稍後再說第一大）就是這個，一定要改啊。博主一想起這個就是淚牛滿面啊，折騰的時間大部分都浪費在這裡了。

安裝完成pip之後，預設的時官方源可能會被我大**的長城k.o.掉，我們需要對pip源進行修改，使用咱們國內的源。

首先建立配置檔案，預設情況下mac端好像是沒有pip的配置檔案的，我們需要自行建立。開啟終端，在home下建立.pip目錄：

mkdir .pip
接下來建立配置檔案pip.conf：

touch pip.conf
[global]


index-url =
輸入完成後儲存退出即可，至此，pip源就修改完了，可以進行下一步了。

有一點要說明一下，就是pip源的問題，國內目前的pipy映象主要有以下幾個：

豆瓣 華中理工大學

山東理工大學

中國科學技術大學

v2ex社群

大家可以看自己需要選擇，用法都一樣，只需要替換配置檔案當中index-url的值即可。但不要忘記後面的/******目錄！

為了防患於未然，我們先不要著急安裝scrapy，pip源修改完成之後，我們要先回到home進行command line tools安裝，終端下執行

xcode-select —install
不管你有沒有裝xcode，接下來你只要按照提示一直點確定就好了。

現在做完以上幾步之後，我們只需要執行

sudo pip install scrapy
就可以了，如果沒有lxml或者openssl，pip會自動幫你裝上的。

接下來就是等待安裝完成了。

輸入  sudo pip install scrapy之後報了這個錯誤，原因是蘋果預先安裝的six庫出於安全原因被設定為sudo也不可修改的，依賴高版本的庫就需要更新six，但是沒有這個許可權就會報錯，解決方案：

將**改為：sudo pip install 

scrapy

--upgrade --ignore-installed six

安裝完成之後，終端下輸入如下命令檢視scrapy版本並驗證是否成功，卻發現出了問題，提示

importerror:cannot import name xmlrpc_client

網上無論如何也找不到解決方案，無奈之下翻牆google，找到了某外國友人的解決方案。至此，問題告破。

終端下執行

sudo rm -rf. /library/python/2.7/site-packages/six*
sudo rm -rf /system/library/frameworks/python.framework/versions/2.7/extras/lib/python/six*
sudo pip install six
解除安裝掉six並重裝，再次檢視scrapy版本，搞定。

在終端執行這段**的時候，會報乙個許可權的錯誤 

oserror: [errno 1] operation not permitted

sudo rm -rf /system/library/frameworks/python.framework/versions/2.7/extras/lib/python/six*
這是因為由於el capitan引入了sip機制(system integrity protection)， 預設下系統啟用sip系統完整性保護機制，無論是對於硬碟還是執行時的程序限制對系統目錄的寫操作。 這就是這個oserror: [errno 1] operation not permitted 錯誤的原因,解決辦法就是取消sip機制，具體做法是：

重啟電腦，按住command+r(直到出現蘋果標誌)進入recovery mode(恢復模式),左上角選單裡找到實用工具 -> 終端輸入csrutil disable回車重啟mac即可

如果想重新啟動sip機制重複上述步驟改用csrutil enable即可

我們現在再看看sip的狀態,

$ csrutil status

system integrity protection status: disabled.

這樣再安裝時再也不會提示無法寫入的許可權提示了

原因是 

twisted版本太高了，預設是安裝最高版本，17.1.0  比如 pip install twisted==13.1.0沒有問題的

Mac 安裝Firebug遇到的問題

update firefox的quantum版本，除錯不需要另裝firebug。其實不需要下面的步驟 學習selenium時先除錯環境，可是調起firefox後 需要為firefox安裝外掛程式firebug，折騰了一晚上加乙個上午都無法安裝成功，可能很少的測試人員是使用mac的吧 終於發現了問題所...

mac安裝mysql遇到的問題總結

1 sudo mysql.server start starting mysql error the server quit without updating pid file usr local var mysql yuandemacbook pro.local.pid last login sa...

Mac 安裝HomeBrew遇到的哪些坑

安裝homebrew 這倆天一直在安裝brew，但是每次都是顯示 按照常規的話，這是安裝成功了的，但是再次執行brew help的時候，總是顯示 然後我在網上找了很久，也沒找到解決的方法，之後在嘗試一下xcode，也是沒有成功，我想可能是我的mac版本有點低，然後更新了一下系統，但還是失敗了。好吧我...