二 spark SQL互動scala操作示例

2022-03-14 06:25:29 字數 1013 閱讀 2419

spark sql是spark的乙個功能模組,所以我們事先要安裝配置spark,參考:

演示操作將從乙個類似json檔案裡面讀取資料作為資料來源,並初始化為dataframe,我們準備乙個user.json檔案

在/usr/local/hadoop/spark目錄(可以自定義目錄)下新建乙個user.json檔案內容如下:

檔案內容類似json,但是不是json,按照一行一行的結構

先啟動spark-shell

spark-shell
初始化乙個sqlcontext,傳入sparkcontext

var sqlcontext = new org.apache.spark.sql.sqlcontext(sc)
讀取user.json檔案作為dataframe

var dfs = sqlcontext.read.json("

/usr/local/hadoop/spark/user.json

")

查詢age > 25的name的資料

dfs.filter(dfs("

age") > 25).select("

name

").show()

你會看到

建立乙個臨時表

dfs.createorreplacetempview("

t_user

")

編寫sql

var sqldf = spark.sql("

select * from t_user where age > 25

")

顯示結果

sqldf.show()
顯示如下

JSP資料互動(二)

string getrealpath string path 返回相對路徑的真實路徑 省略首頁 if count null elseelse if cookies i getname equals password pwd cookies i getvalue out.print 使用者名稱 use...

JSP資料互動(二)

1 建立乙個cookie物件 呼叫cookie的建構函式,使用乙個cookie名稱和值做引數,它們都是字串。cookie cookie new cookie key value 請務必牢記,名稱和值中都不能包含空格或者如下的字元 2 設定有效期 呼叫setmaxage 函式表明cookie在多長時間...

C 與Lua互動(二)

c 與lua的之間函式的相互呼叫 1.c 調lua函式 c與lua的所有互動都是通過乙個棧來完成的。我對前面提到的虛擬機器l的理解是,它就是乙個棧 可能理解的不對 然後通過對這個棧的操作來實現資料的互動。呼叫函式跟訪問變數其實差不多,前面都是做一樣的事,只是呼叫函式時獲取的變數是函式名。然後將需要的...