基於API和SQL的基本操作 DataFrame

當得到乙個dataframe物件之後，可以使用物件提供的各種api方法進行直接呼叫，進行資料的處理。

// *****基於dataframe的api*****==之後的就都是dataframe 的操作了**********====

infodf.show()
infodf.filter(infodf.col("age") > 30).show()

// *****=基於sql的api**********=dataframe 建立為一張表***************=

infodf.createorreplacetempview("infos")
spark.sql("select * from infos where age > 30").show()

package february.sql

import org.apache.spark.sql.sparksession
/**  * description: dataframe api基本操作  直接讀取json檔案為dataframe物件
*  * @author: 留歌36
* @date: 2019/2/24 17:54
*/def main(args: array[string]): unit = 
}

package february.sql

import org.apache.spark.sql.sparksession
/**  * description: dataframe中的其他操作  讀取txt檔案為rdd，再反射隱式轉換為dataframe物件
*  * @author: 留歌36
* @date: 2019/2/25 19:31
*/object dataframecase 
case class student(id: int, name: string, phone: string,email: string)
}

基於Restful風格的API操作

索引操作 新增索引 put index 索引 查詢索引 get index 刪除索引 delete index 對映管理資料管理1.通過id查詢 語法1 通過id查詢所有 select get 索引名 型別 id 語法2 通過id查詢部分 select 欄位1,欄位2 get 索引號 型別 id?s...

sql的基本操作

以web表的資料 idname urlalexa country 1google 1usa2 13cn3微博 20cn 4facebook 3usa5qq 5000 cn查詢資料 select id,name,country from web 輸出結果 查詢id,name,country列 idna...

SQL基本表的操作

create table 表名 列名 資料型別 列級完整性約束條件 列名 資料型別 列級完整性約束條件 表級完整性約束條件 如果完整性約束條件涉及到該錶的多個屬性列，則必須定義在表級上，否則既可以定義在列級也可以定義在表級。ag.建立 學生 表student，學號是主碼，姓名取值唯一。create ...