apache spark是一種新型的快速通用的集群計算引擎。spark是基於記憶體計算的大資料計算框架，提高了在大資料環境下資料處理的實時性，同時保證了高容錯性和高可伸縮性，允許使用者將spark部署在大量廉價的硬體之上。形成集群。
分布式計算；
記憶體計算
容錯多計算正規化
byte，char，short，int，long，float，double
scala
宣告方法
def f1(x:int,y:int) : int = x + y
宣告函式
var f1(x: int, y : int)=> x + y
函式作為方法的引數
def m2(f:(int,int)=>int) = f(3,4)
val f1 = (x: int, y :int) => x + y
m2(f1)
var res = for(i <- 1 to 10) yield i
res: scala.collection.immutable.indexedseq[int] = vector(1, 2, 3, 4, 5, 6, 7, 8,9, 10)
println(res)
(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)
var arr1 = new arrayint
array[int] = array(0, 0, 0, 0, 0, 0, 0, 0)
spark學習筆記（1）初來乍到
spark適用於需要多次操作特定資料集的應用場合。需要反覆操作的次數越多，所需讀取的資料量越大，受益越大，資料量小但是計算密集度較大的場合，受益就相對較小。是spark的核心概念是，指的是乙個唯讀的，可分割槽的分布式資料集，這個資料集的全部或部分可以快取在記憶體中，在多次計算間重用。這個很容易理解，...
Spark學習筆記（1） 基本函式
spark學習筆記 1 基本函式 前言 spark之精髓遠未領略，基本的函式和指令只能說是初體驗。希望日後可以將這個工具熟練掌握。語言 scala 內容 scala rdd.foreach println 字串內容 自己瞎輸的幾個字串 leige ddf dfe efefe sdcd dfe eff...
spark複習筆記 1
1 用sc.textfile 來實現檔案的載入 val rdd1 sc.testfile home centos test.txt 載入文字檔案，以換行符的方式切割文字檔案.array hello world1 產生第乙個彈性分布式資料集 2 元素拿來之後對集合中的每個元素進行切割，按照空格進行切割...