SparkRDD快取策略

2021-07-26 16:07:57 字數 721 閱讀 2706

storagelevel關鍵屬性

原則  可以使用記憶體 就不要使用磁碟了 

usedisk_ 

是否使用磁碟

usememory_

是否使用記憶體

deserialized_

是否進行反序列化(即原生方式,不序列化)

replication_

備份數目

儲存級別

描述memory_only

將rdd 作為反序列化的的物件儲存jvm 中。如果rdd不能被記憶體裝下,一些分割槽將不會被快取,並且在需要的時候被重新計算。

這是是預設的級別

memory_and_disk

將rdd 作為反序列化的的物件儲存在jvm 中。如果rdd不能被與記憶體裝下,超出的分割槽將被儲存在硬碟上,並且在需要時被讀取

memory_only_ser

將rdd 作為序列化的的物件進行儲存(每一分區占用乙個位元組陣列)。

通常來說,這比將物件反序列化的空間利用率更高,尤其當使用fast serializer,但在讀取時會比較占用cpu

memory_and_disk_ser

與memory_only_ser 相似,但是把超出記憶體的分割槽將儲存在硬碟上而不是在每次需要的時候重新計算

disk_only

只將rdd 分割槽儲存在硬碟上

disk_only_2等帶2的

與上述的儲存級別一樣,但是將每乙個分割槽都複製到兩個集群結點上

HTTP 快取策略

瀏覽器一般快取 css js等靜態檔案,因為這些檔案的更新頻率相對來說比較低,合理利用瀏覽器的快取對 的效能提公升有很大幫助。http快取分為兩部分,分別是本地快取和快取協商,當本地快取不生效時會啟用快取協商。http快取主要由http協議的頭 header 資訊來制定。本地快取 本地快取是指瀏覽器...

LRU快取策略

為最近最少使用 lru 快取策略設計乙個資料結構,它應該支援以下操作 獲取資料 get 和寫入資料 set 獲取資料get key 如果快取中存在key,則獲取其資料值 通常是正數 否則返回 1。寫入資料set key,value 如果key還沒有在快取中,則寫入其資料值。當快取達到上限,它應該在寫...

HTTP快取策略

瀏覽器一般快取 css js等靜態檔案,因為這些檔案的更新頻率相對來說比較低,合理利用瀏覽器的快取對 的效能提公升有很大幫助。http快取分為兩部分,分別是本地快取和快取協商,當本地快取不生效時會啟用快取協商。http快取主要由http協議的頭 header 資訊來制定。本地快取是指當瀏覽器請求資源...