rdd取不到配置檔案讀出的值 使用廣播變數解決

2022-08-29 11:18:12 字數 627 閱讀 7405

問題描述

spark讀取配置檔案讀取成功後,rdd中未拿到配置檔案的值(executor未拿到配置檔案的值,但是driver有這個值)

解決方案

將所需要的物件通過廣播傳送到各個executor

code:

object broadcastdemo ).collect()

}}

啟動引數
spark-submit --class com.blue.spark.demo.broadcastdemo  \

--master yarn-cluster --num-executors 1 \

--driver-memory 1g --executor-memory 1g --executor-cores 1 \

/tmp/broadcast-demo.jar yarn-cluster

輸出結果

get c1:0

get c2:0

get c3:10

分析c2也是定義在driver的,所以就是使用broadcast廣播後,也未生效

c3由於是通過broadcast設定乙個廣播值,然後通過value將這個變數和c3繫結,所以在executor可以拿到c3的值

springboot配置檔案載入不到的問題

這個問題困擾我近乎一天,通過debug終於解決,寫下來共享給大家。我ide裡面看著配置檔案命名在,可就是載入不了,而同一工程其他模組卻可以正常載入!解決 通過debug springboot的啟動 以及晚上查,才發現,springboot會從classpath下的 config目錄或者classpa...

value讀取不到資料庫配置檔案裡的值的解決辦法

用 value註解的時候遇到過兩次問題,下面說一下兩次的解決思路 spring框架可以直接讀取,前提是properties檔案裡有這些值 jdbc driver com mysql jdbc driver jdbc url jdbc mysql localhost 3306 jdbc usernam...

關於springboot注入配置檔案的使用

在springboot中可以使用我們之前配置xml的方式來做,如果寫好了xml的配置檔案。可以在主配置類中使用 importresource locations 來呼叫到配置好的xml檔案。xml使用方法是 或者去使用 bean標籤來注入這個配置檔案。標籤的具體使用是將方法的返回值新增到spring...