這一節講解《平行計算與機器學習（上）》，這節課的主要內容：
我們先以最小二乘法為例開始講解：
ww 使得 l(w
)l(w)
l(w)
最小。那麼我們就是要求這麼乙個梯度：
然後我們講一下如何用mapreduce做並行梯度下降。這個是mapreduce的簡單介紹。
mm 個節點的話，我們可以吧資料均勻分給他們，那麼差不多每個worker的執行時間變成了 1/m
1/m1/
m，當然實際上是不會降到那麼低，因為還有同步的時間。這個加速比實際上如下圖所示：
mm 的，如果演算法或者模型不好，通訊時間可能比計算時間要長很多。通訊時間由兩部分構成，乙個是通訊複雜度，乙個是網路延遲。
平行計算與分布式計算
主要內容來自維基百科 分布式系統是聯網計算機組，其工作目標相同。術語 併發計算 平行計算 和 分布式計算 有很多重疊，它們之間沒有明顯的區別。15 同一系統可以表徵為 並行 和 分布式 典型分布式系統中的處理器並行執行。16 平行計算可以被看作分布式計算的乙個特定的緊密耦合的形式，17 和分布式計算...
平行計算與機器學習
資料集的規模和模型的維度都是巨量的，epochs很大 將本地資料全部掃一遍是乙個epoch 完成一次訓練需要跑很多輪模型，且每調一次超引數就要重新訓練一次。所以需要借助平行計算來提高計算效率 其次，如果不懂平行計算的話，當程式執行的時候，根本不知道 出錯。主要通過提高計算梯度的效率，使模型盡快收斂，...
分布式平行計算MapReduce
1.用自己的話闡明hadoop平台上hdfs和mapreduce的功能 工作原理和工作過程。hdfs 1 第一次啟動 namenode 格式化後，建立 fsimage 和 edits 檔案。如果不是第一次啟動，直接載入編輯日誌和映象檔案到記憶體。2 客戶端對元資料進行增刪改的請求。3 namenod...