4.1橫向聯邦學習的定義
橫向聯邦學習也稱為按樣本劃分的聯邦學習，可以應用於聯邦學習的各個參與方的資料集有相同的特徵空間和不同的樣本空間的場景。
4.2 橫向聯邦學習架構
4.3聯邦平均演算法介紹
聯邦平均演算法：
在協調方執行：
初始化模型引數w0，並將原始的模型引數w0廣播給所有的參與方。
for 每一全域性模型更新輪次t =
1，2...
..do
協調方確定ct，即確定隨機選取的max（kρ，1）個參與方的集合。
for 每一參與方k∈ct並行do
本地更新模型引數：w（k）t+
1 ← 參與方更新（k，wt）
將更新後的模型引數w（k）t+
1 傳送給協調方。
end for
協調方將收到的模型引數進行聚合，即對收到的模型引數使用加權平均：wt+
1= ∑nk/n w（k）t+
1 （加權平均只考慮對於k∈ct的參與方）。
協調方檢查模型引數是否已經收斂。若收斂 ，則協調方給各個參與方傳送訊號，使 其停止模型訓練。
協調方將聚合後的模型引數wt+
1廣播給所有參與方。
end for
在參與方更新（k，wt）：
從伺服器獲取最新的模型引數，即設w1,
1(k)
= wt
for 從1到迭代次數s的每一本地迭代i do
批量（batches）←隨機將資料集dk劃分為批量m的大小
從上一次迭代獲得本地模型引數，即設w1,i(k)
= wb,i-
1(k)
for 從1到批量數量b = nk/m的批量序號b do
計算批量梯度gk（b）
本地更新模型引數：wb+
1,i(k)
= wb,i(k)
-μgk(b)
end for
end for
獲得本地模型引數更新wt+
1(k)
= wb,s(k)，並將其傳送給協調方。
安全的聯邦平均演算法：
在協調方執行：
初始化模型引數w0，並將原始的模型引數w0廣播給所有的參與方。
for 每一全域性模型更新輪次t =
1，2...
..do
協調方確定ct，即確定隨機選取的max（kρ，1）個參與方的集合。
for 每一參與方k∈ct並行do
本地更新模型引數：[
[w（k）t+1]
] ← 參與方更新（k，[
[wt]
]） 將更新後的模型引數[
[w（k）t+1]
]以及相關的損失函式lt+
1(k)傳送給協調方。
end for
協調方將收到的模型引數進行聚合，即對收到的模型引數使用加權平均：[
[wt+1]
]= ∑nk/n [
[w（k）t+1]
] （加權平均只考慮對於k∈ct的參與方）。
協調方檢查損失函式 ∑nk/n lt+
1(k)是否已經收斂。若收斂 ，則協調方給各個參與方傳送訊號，使其停止模型訓練。
協調方將聚合後的模型引數[
[wt+1]
]廣播給所有參與方。
end for
在參與方更新（k，[
[wt]
]）：從伺服器獲取最新的模型引數，即設w1,
1(k)=[
[wt]
]for 從1到迭代次數s的每一本地迭代i do
批量（batches）←隨機將資料集dk劃分為批量m的大小
從上一次迭代獲得本地模型引數，即設w1,i(k)
= wb,i-
1(k)
for 從1到批量數量b = nk/m的批量序號b do
計算批量梯度gk（b）
本地更新模型引數：wb+
1,i(k)
= wb,i(k)
-μgk(b)
end for
end for
獲得本地模型引數更新wt+
1(k)
= wb,s(k)，在wt+
1(k)上執行同態加密得到[
[wt+
1(k)]]
,並將[
[wt+
1(k)
]]和相關損失lt+
1(k)傳送給協調方。
4.5 挑戰和展望
第乙個主要挑戰是在橫向聯邦學習系統裡，我們無法檢視或者檢查分布式的訓練的資料。這導致了我們面對的主要問題之一，就是很難選擇機器學習模型的超引數以及設定優化器，尤其是在訓練dnn模型時。
第二個主要挑戰是如何有效的激勵公司和機構參與到橫向聯邦學習系統中來。
第三個主要挑戰是如何防止參與方的欺騙行為。我們通常假設參與方都是誠實的，然而在現實生活場景中，誠實只有在法律和法規的約束下才會存在。例如，乙個參與方可能欺騙性地宣傳自己能夠給模型貢獻訓練的資料點的數量，並謊報訓練模型的測試結果，以此獲得更多的益處。為了解決這種問題，我們需要涉及一種著眼全域性的保護誠實參與方的方法。
《聯邦學習》 個人筆記（二）
2.1面向隱私保護的機器學習 privacy preserving machine learning ppml 包括以下幾種方法 2.2面向隱私保護的機器學習與安全機器學習 二者區別主要在於他們被設計用來應對不同的安全威脅 1 在安全機器學習中，敵手被假設違反了機器學習的完整性和可用性 2 在ppm...
聯邦學習 聯邦學習
文章內容主要來自文末網盤內部分資料 最近微眾舉辦了乙個面向高校大學生的ai比賽，題目如下 基於微眾提出的聯邦學習模型，設計一款有應用場景的產品。資料來源之間存在著難以打破的壁壘，一般情況下人工智慧的所需要的資料會涉及多 個領域，例如在基於人工智慧的產品推薦服務中，產品銷售方擁有產品的資料 使用者購買...
聯邦學習學習心得（1） 聯邦學習簡介
國際社會上對資訊保安 個人隱私的問題越來越重視，各種相關的法案相繼頒布，對私人資料的管理 監督 保護更加全面化 嚴格化 密集化。各個公司對各自的資料也越來越重視，作為資產不可能拿出來分享，這就造成了資料孤島的現象。同時與傳統的機器學習 machine learning 和深度學習 deep lear...