一 使用Python 執行Spark的安裝

過程主要分為五步:

其中1, 2, 4很簡單, 使用python的朋友們應該都是會的, 這裡不再贅述

pip install -u -i  pyspark

如果是mac使用者,則需要執行的是:

sudo pip install -u -i  pyspark

from pyspark.sql import sparksession

from pyspark.sql.functions import col
## 初始化
## 0 + 1 + 2 + 3 + 4 
spark.range(0, 5).select(col("id").cast("double")).agg().show()
## 關閉
spark.stop()

命令列中只用scala來執行乙個spark應用

由於intellij十分消耗記憶體，並且在概念上來講，scala匯入jar包應該和在整合開發環境中匯入jar包是等效的。所以我想，能否純命令列，不用spark submit的情況下來執行呢？折騰了好幾個小時，方案如下。testrdd.scala import scala.iterator impor...

使用notepad 執行python

參考部落格 儘管有pycharm和spyder這樣的ide可以編寫python程式，但是它們都開啟慢，耗資源，ulipad雖然也很小巧，但是覺得不如notepad 用著順手，於是就想用notepad 配置一下。開啟notepad 在選單欄單擊 執行 選單，在下拉列表中選擇 執行 接著會彈出這個視窗 ...

使用Python執行Zookeeper四字命令

如果只需要執行zookeeper四字命令，不需要zkclient，簡單的socket鏈結即可。基本思路 建立socket鏈結 傳送四字命令 接收返回資訊 解析返回資訊。import socket by liuhailong2008 foxmail.com def multi line with sp...