學習一下 spark kryo

2021-08-27 10:59:52 字數 726 閱讀 7493

property name default meaning

spark.kryo.classestoregister (none) 如果您使用kryo序列化,請給出乙個以逗號分隔的自定義類名稱list列表,以向kryo註冊。有關更多細節,請參閱調優指南[tuning guide]。

spark.kryo.referencetracking true 跟蹤對同乙個物件的引用情況,這對發現有迴圈引用或同一物件有多個副本的情況是很有用的。設定為false可以提高效能

spark.kryo.registrationrequired false 是否需要在kryo登記註冊?如果為true,則序列化乙個未註冊的類時會丟擲異常

spark.kryo.registrator (none) 為kryo設定這個類去註冊你自定義的類。最後,如果你不註冊需要序列化的自定義型別,kryo也能工作,不過每乙個物件例項的序列化結果都會包含乙份完整的類名,這有點浪費空間

spark.kryo.unsafe false 是否使用基於不安全的kryo序列化器。使用不安全的io可以大大加快速度。

spark.kryoserializer.buffer.max 64m 允許使用序列化buffer的最大值

spark.kryoserializer.buffer 64k 每個executor中的每個core對應著乙個序列化buffer。如果你的物件很大,可能需要增大該配置項。其值不能超過spark.kryoserializer.buffer.max

FocalLoss學習一下

0,會減少相對於好區分樣本 就是負樣本,也就是背景比較多的樣本 的損失,而將重心轉移到難區分的,而且比較容易誤分類的樣本 也就是正樣本 背景不會占太多,或者叫難負樣本 難區分的負樣本,一般資料集中它們的數量少 上面來。下面來具體理解下。當 概率值在0.6 1之間時,不管是 物體還是背景,置信度比較高...

關於衣服,學習一下

說起各衣服和衣服各部分名稱,我還真是不會描述。從網上淘來學習一下。服裝分類 按組合 整件裝 套裝 外套 背心 裙 褲。按用途 內衣 外衣。外衣因穿著場所不同,又分 社交服 日常服 職業服 運動服 室內服 舞台服。按面料與製作工藝 中式服 西服 刺繡 呢絨 絲綢 棉布 毛皮 針織 羽絨服。按穿著主體 ...

SpringMVC 簡略學習一下

springmvc是乙個優秀的表現層框架,他最主要的作用就是接受頁面請求,並將處理結果返回給前端。其核心是乙個控制器org.springframework.web.servlet.dispatcherservlet 是乙個servlet 這個控制器負責springmvc所有的流程控制。web.xml...