課題資料集處理:
資料情況:
訓練集+驗證集:2783;測試集(相同題目):299,測試集(不同題目):344。
初步, 類標先不平衡, 直接去學,看整體打分**效果怎樣。
類標選擇二人取平均、
最終生成:
train,
dev,
test,
nlp_trans.npy(每一條資料的文字)
label(資料的標籤)
audio_mfcc(音訊特徵)
seqn(mfcc的長度)
audio_prosody(韻律特徵)
中文詞向量,對於不存在的詞,隨機初始向量,設為可訓練的。
audio特徵提取:
直接一條完整的音訊,19858長度,10m左右
原始長度:1423左右。
修改mfcc12eda_conf引數:framesize 0.025 -> 0.25, framestep 0.01 -> 0.1
長度變為1984
mfcc需要後處理:
每行 39維,
(n, row, col),n指資料個數, 後面兩個為每條資料的mfcc特徵維度(750, 39)
row>750,只取750. (資料需要統計)
現在,2783 * 2377 * 39