Spark七十九 Spark RDD API一

2021-09-02 09:55:34 字數 1075 閱讀 9065

package spark.examples.rddapi

import org.apache.spark.

//測試rdd的aggregate方法

object aggregatetest

}

package spark.examples.rddapi

import org.apache.spark.rdd.

import org.apache.spark.

object cartesiantest_01 ) //

println("count =" + count) //50

注意點:

package spark.examples.rddapi

import org.apache.spark.

object checkpointtest

}

d:\checkpoint>tree /f

資料夾 path 列表

卷序列號為 ea23-0890

d:.└─9b0ca0d9-f7fb-46bb-84dc-097d95b9e7b8

└─rdd-0

.part-00000.crc

part-00000

1. 執行過程中發現,checkpoint目錄會自動建立,無需預建立

2.程式執行結束後,checkpoint目錄並沒有刪除,上面這些屬於checkpoint目錄下的目錄和檔案也沒有刪除,再次執行會產生新的目錄

package spark.examples.rddapi

import org.apache.spark.

object repartitiontest_04

}

package spark.examples.rddapi

import org.apache.spark.

//coalesce:合併

object coalescetest_03

}

CUDA學習(七十九)

關於 host device lambdas的說明 與 device lambdas不同,可以從主機 呼叫 host device lambdas。如前所述,cuda編譯器用乙個已命名的佔位符型別的例項替換主機 中定義的擴充套件lambda表示式。擴充套件 host device lambda的佔位...

六十九到七十九題

第六十九題 鍵盤輸入乙個字串 長度不超過20,其中不含空格 將其複製乙份,複製時將小寫字母都轉換成為大寫字母。include void main 第七十題 從乙個三行四列的整型二維陣列中查詢第乙個出現的負數。include int main if flag printf 該陣列中沒有負數!n 第七十...

第七十九題合集 微軟面試100題 第七十九題

題目要求 問題 編寫實現鍊錶排序的一種演算法。問題 編寫實現陣列排序的一種演算法。問題 編寫能直接實現strstr 功能的 問題分析 問題1分析 方法1 首先想到的是氣泡排序,因為簡單 方法2 如果記憶體空間允許,可以通過乙個陣列來輔助排序,時間複雜度o nlogn 但是需要耗費空間複雜度.具體如下...