D30 Scala自定義排序和stage分割槽

a：自定義排序方法一

import 

ordercontext._
val rdd2 

=rdd1
.sortby(x 
=>
girl(x
._2,x
._3),false
)//自定義排序的規則
println

(rdd2
.collect
().tobuffer
)sc

.stop
()

case

class 
girl
(val facevalue
:int
,val age
:int
)extends 
ordered
[girl
]with 
serializable
else
}

}

b：查詢ip歸屬地：某個運營商提供特定的ip位址段。

ipdemo.scala 

/  批量查詢是

iplocation.scala

例如：阿里巴巴運營商提供的ip位址段 120.55.0.0|120.55.255.255|2016870400|2016935935|亞洲|中國|浙江|杭州||阿里巴巴|330100|china|cn|120.153576|30.287459

val ip 

="120.55.185.61"
val ipnum 

=ip2long(ip
)//轉成10進製
println

(ipnum
)val lines 

=readdata
("c:/ip.txt"
)//所查詢的資料庫
val index 

=binarysearch
(lines
,ipnum
)print

(lines
(index
))

c：查詢ip歸屬地。

運算元據庫，將資料寫入關係型資料

iplocation2.scala

d：wordcount的執行流程

wordcount提交到集群的操作

val conf 

=new
sparkconf
().(
"wc"
).setjars
(array
("c:\\hellospark\\target\\hello-spark-1.0.jar")).
setmaster
("spark://server:7077"
)
val sc
=new
sparkcontext
(conf
)

scala陣列，自定義型別，自定義排序等

定義陣列 val active array.fill numruns true val costs array.fill numruns 0.0 var activeruns new arraybuffer int 0 until numruns 自定義型別 type weightedpoint v...

30 自定義異常和throw throws的使用

學習目標 1 掌握throw和throws的使用 2 掌握自定義異常類 學習過程 一 自定義異常類 我們知道所有的異常都是exception，所以我們需要自定義異常只需要繼承那個exception類就可以了。下面我們自定義乙個異常類，如下 自定義異常，繼承 exception publicclass...

C STL中的自定義排序和vector

佇列頭部值最大，大頂堆 priority queue,greater pq 小大頂堆 priority queue,less pq 自定義 運算子，傳入兩個引數，內部寫 實際上是從小到大排序與sort相反！寫法一 struct node struct cmp priority queue,cmp p...