wide and deep模型是google推出的乙個基於記憶和推理的演算法，首先在tensorflow裡面實現了。為了進一步理解這個演算法，我們嘗試在shifu中進行實現。基於guagua做hadoop上分布式資料訓練模型。
下面就一些我們在專案中遇到的問題，進行簡要的記錄。
問題描述：
我們已經基本實現了wide and deep演算法，並且在本地版本中對少量資料進行測試時， match rate很高。 但是搬到hadoop上面，83個map的資料時，最後eval error降到60之後也不往下降了，保持不變。另外乙個問題是，訓練資料比較慢。目前一次迭代到10到15秒鐘，但是預期的速率應該是5秒每次full batch迭代。
解決辦法：
為了定位問題，我們首先選擇乙個正確的對標的模型lr，然後去比較梯度和權重的變化是否合理。
迭代慢後來發現是由於debug log太多，造成的。
none 模型實踐
none 模型實踐 none網路模式，是一種自由度非常高的網路模式，我們可以最大化的自定義我們想要的網路 命令 docker run net none itd name 容器名稱 映象名稱 為了使本地網路中和docker容器更方便的通訊，我們經常會有將docker容器配置到和主機同一網段，而且還要指...
演算法實踐 模型融合
表現最好的模型是gbdt和xgboost。以準確率和auc值為判別標準 模型評估 如下 gbdt 訓練集 標籤和概率輸出 train gbdt predict clf gbdt.predict x train train gbdt predict pro clf gbdt.predict proba...
NLP實踐模型優化方案
nlp實踐模型優化方案 初次結果 優化方案 哈工大訊飛聯合實驗室 hfl 相繼發布了基於 whole word masking wwm 的中文預訓練 bert 模型 bert wwm bert wwm ext 以及中文預訓練 xlnet 模型 xlnet mid xlnet base faceboo...