深度學習一些亟待研究問題整理

亟待研究的一些問題

1.深度結構是如何對輸入進行表達的。

2.尋找更好的輸入特徵向量（需要提取的特徵）和更好的深度組合結構；

3.比較降噪編碼器和rbm在預訓練和微調時，**能力的差別，分析產生的原因。

4.分析rbm在無監督訓練時如何提取輸入資料的特徵。

5.進一步探索新的網路拓撲結構，對現有的模型的拓撲結構進行簡化。

6.將現有的社會網路，稀疏化建模原理以及壓縮感測原理運用與玻爾茲曼機或者自動編碼器中，尋找更好的方法來建立深度結構模型。

7.探索網路引數改變對學習效能的影響，尋找特定有效的引數調整規則。

8.尋找有效的可拓展的並行學習演算法來訓練深度網路模型。

9.對下抽樣技術進行改進，使其能夠自動的根據取樣到特徵不同，自動變換抽樣核的結構和大小。

lengon提出的一下問題：

10.在預訓練過程中，對比差異演算法中的gibbs取樣的可調嗎？

11.區域性極小值問題的出現對於rbm的訓練影響大嗎？

12.在不增加隱含層節點數量的情況下，rbm的能量函式採用非引數形式是否能增強rbm的能力。

13.在表示式裡面增加稀疏懲罰項能增加rbm和自動編碼器的能力嗎？最好的方式是什麼？

14.單一的降噪編碼器是一種生成模型，是否對於堆疊自動編碼其或堆疊降噪自動編碼器存在概率模型。

15.從最大化似然函式來說，逐層貪心演算法訓練深度信念網路的效率有多高？

16.除了深度信念網路，堆疊自動編碼器和深度玻爾茲曼機之外，是否還有其他有效，可訓練的深度網路結構？

17.訓練深度網路結構的一些方法和規則是否適用於訓練回歸網路和動態信念網路。

18.深度網路學習時，採用逐層連續傳遞的優化策略是否有效提高了深度網路結構的訓練效果？

19.當有標記樣本存在時，為什麼要把有監督和無監督訓練方法相結合去訓練網路來近似網路的輸入？

20.在深度結構中，由於變數很多且結構複雜（樹，圖），採用向量來進行表達輸入是很不容易的，那麼深度網路結構又是如何表達輸入資料的呢？

21.儘管深度信念網路適用於半監督或自學習的情況，但是怎麼樣最好的把深度學習演算法運用到半監督和自學習情況中？與現有的半監督學習演算法相比，深度學習演算法的缺陷是什麼？

22.真正的神經元不僅僅只是前向傳播，它們還會反向傳播，一方面是為了學習（rbm），另一方面是為了整合前面神經元的視覺資訊。那麼，在深度結構中，什麼樣的能實現這種前後的相互作用，並採用這種相互作用來學習輸入的特徵？

23.在深度信念網路與訓練時能否獲得更小的對數似然函式梯度偏差，採用無監督的方式，同時預訓練所有的隱含層？

24.理論上說，無監督逐層預訓練有助於深度結構的訓練，但實際實驗發現網路的訓練任然會陷入明顯的區域性極小值；在大量訓練集存在時，訓練也不能提取輸入的所有資訊。這是真的嗎？我們能否對深度結構採取更為有效的優化策略來克服這些問題？

25.採用對比差異演算法時，如何縮短運算時間？需要進一步研究。

26.除了重構誤差以外，是否還有其他更好的指標用於監控rbm和dbn的訓練過程？同樣的，是否有更好的好計算的函式用於替換條件分布函式用於訓練rbm和dbn。

27.為什麼採用隨機初始化引數後，採用梯度下降法訓練深度神經網路總是失敗？

28.是否可以採用演算法來替代rbm和自動編碼器，這種演算法能更高效的對輸入資料進行近似，同時優化問題更加簡單，甚至可能是乙個凸優化問題？

29.採用對比差異演算法訓練的rbm能很好的保留輸入的資訊嗎（因為它們不是像自動編碼其那樣訓練的，導致它們會丟失輸入資料的部分重要資訊）？如果不行，如何才能保留？

30.目前的深度訓練演算法有很多步驟（逐層訓練，最後整體微調）。這一方法在實際實時應用中並不適用，因為一旦我們進行微調就有可能陷入明顯的區域性極小值。那麼，能否找出完全實時的方法去訓練深度結構，同時該方法也是無監督的。