Spark第乙個程式

linux環境

使用 jupyter notebook作為互動工具，可以用python，scala語言編寫。

具體看 spark 初入門中啟動spark的四種方式.

python語言

在jupyter notebook新建python的notebook。

計算圓周率：

import random

num_samples =
100000000
def inside
(p):     
x, y = random.
random()
, random.
random()
return x*x + y*y <
1count = sc.
parallelize
(range(0
, num_samples)).
filter
(inside)
.count()
pi =
4* count / num_samples
print
(pi)
sc.stop
()

3.1417056

在notebook 選擇 spylon-kernel,新建notebook。

val data = seq((1

,2,3
),(4
,5,6
),(6
,7,8
),(9
,19,10
))val ds = spark.createdataset(data)
ds.show(
)

data: seq[

(int, int, int)
]= list((1
,2,3
),(4
,5,6
),(6
,7,8
),(9
,19,10
))ds: org.apache.spark.sql.dataset[
(int, int, int)]=
[_1:
int, _2:
int...
1 more field]

how to install pyspark and jupyter notebook in 3 minutes

執行第乙個spark程式

執行第乙個spark程式 wordcount 首先在ide中建立工程 如下 將上述工程打包，上傳到集群 使用 spark submit 執行 spark submit name wordcount class cn.sjzc.wordcount master spark hadoop1 7077 e...

第乙個視窗程式

程式截圖 程式 include lresult callback wndproc hwnd,uint,wparam,lparam int winapi winmain hinstance hinstance,hinstance hprevinstance,pstr szcmdline,int icm...

第乙個popcap 程式

一 tips ddimage mmapimg ddimage 上f12，定位到ddimage.h，在vs2008 中ddimage.h tab標籤上alt o 定位到ddimage.cpp 二 vs2008 中c c code generation runtime library 設成multi t...