深度學習的雜七雜八

在學習和實踐深度學習的時候，對於神經網路的搭建過程感覺蠻好奇的。現在主流的框架tensorflow、pytorch等都封了一系列底層模組，搭神經網路有點類似拼積木，embedding、conv2d、lstm、linear組合起來加上各啟用函式、在確定優化器、損失函式，就組了乙個模型出來，那麼在設計這個模型的時候是依據什麼原則進行規劃的呢?

一般我會在nlp分析裡加上embedding（用預訓練的詞向量模型）、卷積（類似於提取n-grams資訊）、max_pool（最大池化用的比較多，例如把(4,4)取最大值變成(2,2)）、雙向結構（正序、倒序提取上下文資訊），在時間序列分析中加入迴圈結構（進行長期記憶），優化器一般就是adma，損失函式採用交叉熵之類，啟用函式除了tanh之外常用的也用過了，過擬合就塞dropout，剩下的一些就瞎jb搭，看模型結果，再結合一些相關**改改。

就挺懵的吧。