使用spark shell操作Carbondata

如果要對hdfs的檔案進行增刪改，最好加入環境變數：

hadoop_user_name=hdfs

./bin/spark-shell

import org.apache

.spark
.sql
.sparksession
import org.apache
.spark
.sql
.carbonsession._
import org.apache
.spark
.sparkconf
import org.apache
.carbondata
.core
.util
.carbonproperties
carbonproperties.getinstance().addproperty("carbon.lock.type", "hdfslock")
val conf = new sparkconf().setmaster("spark:").set("spark.cores.max", "4")
val carbon = sparksession.builder().config(conf).config("hive.metastore.uris","thrift:").getorcreatecarbonsession("hdfs:")
val carbon = sparksession.builder().config("hive.metastore.uris","thrift:").getorcreatecarbonsession("hdfs:")
carbon.sql("show tables").show
carbon.sql("select * from event_log").show
carbon.sql("select * from event_log").coalesce(1).write().option("header", "true").option("sep", ",").option("escapequotes", "false").mode("overwrite").csv("/root/csv");
carbon.sql("update event_log_test set (content)=('test02') where eventlogid='event_log_id_10'")

.

/bin/spark
-shell--
master
spark://192
.168.0
.181:7077--
total
-executor
-cores4-
-jars
需要的額外的jar路徑

import org.apache

.spark
.sql
.sparksession
import org.apache
.spark
.sql
.carbonsession._
import org.apache
.spark
.sparkconf
import org.apache
.carbondata
.core
.util
.carbonproperties
carbonproperties.getinstance().addproperty("carbon.lock.type", "hdfslock")
val carbon = sparksession.builder().config(sc.getconf).config("hive.metastore.uris","thrift:").getorcreatecarbonsession("hdfs:")
carbon.sql("show tables").show

import org.apache.spark.sql.catalyst.util._

benchmark

例如：

benchmark

可以測得大括號內執行的時間

Spark 使用Spark Shell的兩個示例

注意 使用的是hadoop的hdfs作為持久層，需要先配置hadoop pyspark lines sc.textfile user mint readme.md 建立乙個名為lines的rdd.首先要確保readme.md在hdfs檔案系統相應的路徑中.這裡的文件是spark在安裝目錄下,選擇其他...

使用C 操作OpenLDAP

一 api選擇 當使用c 操作openldap時，在編譯的過程中會關閉 ldap deprecated 開關，導致所有deprecated的api都不能夠使用，報錯 ldap util.c 19 error ldap init undeclared first use this function l...

使用c 操作IBM WebSphere MQ

使用c 操作ibm websphere mq ibm websphere mq 5.3公升級到csd05之後，提供了使用.net操作mq的類庫，安裝完成之後，會在mq的安裝目錄的bin資料夾下面多出乙個amqmdnet.dll檔案，把這個dll作為引用新增到你的.net工程中，你的.net程式中就可...