spark sql是spark的乙個功能模組,所以我們事先要安裝配置spark,參考:
演示操作將從乙個類似json檔案裡面讀取資料作為資料來源,並初始化為dataframe,我們準備乙個user.json檔案
在/usr/local/hadoop/spark目錄(可以自定義目錄)下新建乙個user.json檔案內容如下:
檔案內容類似json,但是不是json,按照一行一行的結構
先啟動spark-shell
spark-shell初始化乙個sqlcontext,傳入sparkcontext
var sqlcontext = new org.apache.spark.sql.sqlcontext(sc)讀取user.json檔案作為dataframe
var dfs = sqlcontext.read.json("查詢age > 25的name的資料/usr/local/hadoop/spark/user.json
")
dfs.filter(dfs("你會看到age") > 25).select("
name
").show()
建立乙個臨時表
dfs.createorreplacetempview("編寫sqlt_user
")
var sqldf = spark.sql("顯示結果select * from t_user where age > 25
")
sqldf.show()顯示如下
JSP資料互動(二)
string getrealpath string path 返回相對路徑的真實路徑 省略首頁 if count null elseelse if cookies i getname equals password pwd cookies i getvalue out.print 使用者名稱 use...
JSP資料互動(二)
1 建立乙個cookie物件 呼叫cookie的建構函式,使用乙個cookie名稱和值做引數,它們都是字串。cookie cookie new cookie key value 請務必牢記,名稱和值中都不能包含空格或者如下的字元 2 設定有效期 呼叫setmaxage 函式表明cookie在多長時間...
C 與Lua互動(二)
c 與lua的之間函式的相互呼叫 1.c 調lua函式 c與lua的所有互動都是通過乙個棧來完成的。我對前面提到的虛擬機器l的理解是,它就是乙個棧 可能理解的不對 然後通過對這個棧的操作來實現資料的互動。呼叫函式跟訪問變數其實差不多,前面都是做一樣的事,只是呼叫函式時獲取的變數是函式名。然後將需要的...