深度學習大牛吳恩達曾經說過：做ai研究就像造宇宙飛船，除了充足的燃料之外，強勁的引擎也是必不可少的。假如燃料不足，則飛船就無法進入預定軌道。而引擎不夠強勁，飛船甚至不能公升空。模擬於ai，深度學習模型就好像引擎，海量的訓練資料就好像燃料，這兩者對於ai而言同樣缺一不可。
在深度學習中，當資料量不大時可能會導致過擬合，使得訓練誤差很小，但測試誤差卻特別大。怎麼辦呢，你又沒錢買資料？顯然最好的辦法（之一，其他方法請參看「當資料量不夠大的時候」）就是自己「造」資料——人工增加訓練集的大小，也就是data augmentation transformation。
不同的任務背景下，通常我們可以通過影象的幾何變換，使用例如剪下、旋轉/反射/翻轉變換、縮放變換、平移變換、尺度變換、對比度變換、雜訊擾動、顏色變換等一種或多種組合資料增強變換的方式來增加資料集的大小。例如假如你的資料集只有10張256*256的，那麼通過剪下你可以在每張上得到32*32=1024張224*224的，然後再做一次水平翻轉，那麼你的資料集就擴大了2048倍，也就是說你現在有了乙個20480張的資料集。看起來很誘人。那麼它的效果如何呢？
（雷鋒網注: 幾何變換不改變畫素值, 而是改變畫素所在的位置. 通過data augmentation方法擴張了資料集的範圍, 作為輸入時, 以期待網路學習到更多的影象不變性特徵。）
近期加拿大多倫多大學的salehinejad等人在**（arxiv:1708.04347v1）中提出了另外一種不同於上面幾種的資料增強變換——極座標變換，方法極為簡單，完全可以作為資料增強變換乙個案例來介紹。
所謂極座標變換，就是畫素由原來（x, y）的表示通過極座標變換得到（r, θ）的表示，然後把它表示成乙個二維。數學知識只涉及這兩個高中的數學公式：
用圖來表示就是：
例如在一張256*256的上，選擇圓心任意、半徑為256且等分為256條畫素輻條（角度變化為2*pi/256）的圓盤來覆蓋，那麼覆蓋到畫素都將對應乙個（r, θ）對，放到二維直角座標系中就生成了一幅新圖。由於極座標在靠近圓心位置畫素粒度較大，而遠離圓心位置的畫素粒度較小，所以改變圓心位置，將得到不同的。
作者選擇了兩個資料集來進行試驗。其中乙個是mnist資料集，共10個類，每個類分別為0-9的手寫體數字。（rt為極座標變換後的對應）
另乙個是多模醫學影像資料集（multimodal medical dataset），作者共選了9個類。
在實驗中作者每個類只有20張。也即在資料增強變換之前（original）mnist-or資料集有200張，mmd-or有180張。作者通過極座標變換把資料增大了100倍，mnist-rt有20000張，mmd-rt有18000張。
隨後作者分別選用alexnet和googlenet兩個深度學習模型對以上四個資料集進行訓練，其結果則非常喜人。
對比有四：
1、在資料量較小時，alexnet的表現要比googlenet好；
2、通過資料增強變換後的資料集能夠更迅速地收斂，且精度較高；
3、通過資料增強變換後的資料集收斂時漲落較小。
4、對比mnist資料和多模醫學影像資料集，mnist的兩個資料集（or和rt）精度之間的差別更明顯。這可能是因為多模醫學影像資料集的影象之間有關聯，例如橫向腹部磁共振成像和矢狀面腹部磁共振成像之間有一定的關聯性。
很明顯嘍，極座標變換的資料增強變換方式也是很有效的。所以吧，沒錢買資料了，不妨試試各種資料增強的變換方法，也可以將各種變換組合使用，那你的資料量將成n次方地增加。
深度學習 優化方法
仍然是讀完deep learning之後的筆記和知識梳理，這些內容其實是偏理論層面的，後續的話可以結合 進行講解。dl關注的優化問題 尋找神經網路上的一組引數 顯著降低代價函式j j 通常包括整個訓練集上效能評估 er 經驗風險 和額外的正則化項 sr 結構風險 對於偏應用層面的可以直接看基本演算法...
深度學習方法
目前大多數深度估計方法是通過2d的到2.5d的表面形狀 場景深度 比較成功的基於幾何影象方法包括 structure from motion，shape from x，monocular stereo，binocular stereo和multi view stereo 其中shape from x...
微信怎麼找回聊天記錄？用了這個方法再也沒煩惱！
微信怎麼找回聊天記錄？很多小夥伴，在換手機或是清理記憶體的過程中，都會將一些無用的資料刪除，但在刪除的過程中，不小心刪除了重要的聊天記錄，有什麼方法找回嗎？對於有備份資料的小夥伴還好，對於沒有備份的小夥伴，簡直就是個 煩，因此今天小編就給大家分享幾招，下面就一起來學習下微信聊天記錄的恢復方法吧！方法...