AccumulatorV2不生效的問題排查

2022-07-10 03:42:12 字數 557 閱讀 7529

在spark作業中使用accumulatorv2自定義了乙個字串累加器,但是累加器在作業執行中不生效。

問題可能原因:

1、累加器本身定義的有問題;

2、spark作業執行流程的原因;

問題排查情況:

1、通過乙個自定義累加器類單測,只能證明了累加器自身類定義的正確性,但還不能證明累加器進入sparkcontext執行的正確性;

2、通過另外乙個單測,在原累加器的基礎上再新增乙個longaccumulator累加器,同時執行自定義小資料的累加操作,結果顯示longaccumulator正確累加,原來的自定義累加器依然是初始值。這個單測證明,spark上下文的執行是沒有問題的,是自定義累加器的問題,此時可能是累加器本身有問題,或者是累加器註冊到sparkcontext有問題;

綜上,就來對比排查以下兩種情況:

1、累加器的註冊是否正確;

2、累加器自身類定義是否有問題;

第二輪排查:通過和乙個部落格示例的特別簡易accumulatorv2實現的層層逼近和交叉驗證,基本鎖定是我的自定義累加器中的merge函式定義有問題,必須先轉換型別取得資料再賦值。

安裝govendor govendor不生效

go包管理工具 獲取govendor 使用gpvendor 提示未找到命令 vim bash profile path path home bin root go bin root go bin下面要有govendor二進位制檔案 多提一句 path變數就是你在linux中打出前面字母使用tab可以...

Gradle 管理 Log4j2 註解之後不生效

問題描述 1.工具 intellij idea 2021.3.1 ultimate edition 2.平台 windows macos 3.包管理工具 gradle 4.import lombok.extern.log4j.log4j2 log4j2 public class gsonhelper...

生而為奴,堅決說不

我的立場,更加偏向人民群眾一些。長期以來,一直在思考個人的發展問題,群眾的民生問題。生而為奴,不是不可能,只會越來越近。等社會發展穩定了,社會資源將被主要的大廠大機構壟斷,個體戶會以什麼樣的方式生存。物質上依賴他人,精神上被操縱,還有幾個人敢喊出 王侯將相,寧有種乎 輕則全網 中則住所為牢,重則物理...