環境說明:centos6 + hadoop2.6+spark1.6.1
前期hadoop集群以及spark on yarn模式已經搭建完畢。但是如果想要使用sparkr模組的話,需要在集群的所有的節點都安裝r語言。
我安裝的是r-3.2.5版本。
yum install -y gcc-gfortran gcc gcc-c++ readline-devel libxt-devel zlib-devel
tar xvf r-3.2.5.tar.gz
cd r-3.2.5
./configure --with-readline=no --with-x=no
make
make install
這樣在集群所有的節點上都安裝成功之後,就可以通過sparkr或者spark-sumbit提交任務了。
github pages Jekyll環境搭建
通過jekyll可以搭建 簡單理解成網頁生成規則,就是通過配置能自動幫你生成靜態網頁的東西。如何配置,請看 首先要更新ruby,系統倉庫裡最新的是1.9.3,而jekyll要求 2.0 最終版本資訊 ruby v ruby 2.3.3p222 2016 11 21 revision 56859 x8...
iOS WebDriverAgent 環境搭建
webdriveragent是facebook 在去年的 seleniumconf 大會上推出了一款新的ios移動測試框架。當時的推文申明,還只支援模擬器,不過在今年4月更新的版本中,官方宣稱支援真機測試了,大家可以檢視官方github 的介紹 下面摘錄一段官方對於webdriveragent的介紹...
pytorch tensorflow環境搭建
整個環境搭建鏈結 anaconda cuda 步驟一 安裝anaconda 作用是建立虛擬環境,避免各個環境受版本不同的影響 步驟二 cuda安裝 顯示卡廠商nvidia運算平台 sudo bash cuda 9.0.176 384.81 linux run此處是很長的說明 do you accep...