然後就是咱們的程式如下
package csvtohive
import org.apache.spark.sparkconf
import org.apache.spark.sql. sparksession
import scala.io.source
object createhivetable
hive.sql(str)
hive.stop()
}}
spark使用Hive表操作
之前很長一段時間是通過hiveserver操作hive表的,一旦hiveserver宕掉就無法進行操作。比如說乙個修改表分割槽的操作 val tblname hive table defdroppartitions tblname string unit 後來發現通過hivecontext可以實現同...
Spark 操作hive實戰練習
比如 user3，已經有了5月5號的訂單 不公開 來評測模型的 我們有的是5月4號之前的歷史資料 我們需要 通過歷史 5月4號之前訂單資料 這個使用者5月5號買了什麼 1 資料準備 a 在hive中建立orders訂單外部表 b 在hive中建立products商品外部表 c 在hive中建立pri...
Spark操作 轉換操作 一
基礎轉換操作 鍵值轉換操作 對rdd中的每個元素都應用乙個指定的函式，以此產生乙個新的rdd scala var rdd sc.textfile users lyf desktop test data1.txt scala rdd.map line line.split collect res16 ...