在處理nlp資料時，通常將文字處理成詞在字典中的序號組成的序列，在tensorflow中直接使用下面的函式from tensorflow.contrib import learn#載入模型，利用訓練語料形成的字典
vocab_processor=learn.preprocessing.vocabularyprocessor.restore('vocab')
vocab_processor=learn.preprocessing.vocabularyprocessor(max_document_length=mean_document_length,min_frequency=5)
x=np.array(list(vocab_processor.fit_transform(x_text)))
Tensorflow模型訓練時維度處理技巧
tensorflow模型訓練時維度處理技巧 修改模型一周，調bug半個月，特此總結 在某乙個維度為1時，用tf.reshape tf.matmul 要求兩個元素維度正好相反 要求兩個元素維度正好相反 和tf.multiply 張量1 張量2 要求兩個元素維度一致 assign sub 重新賦值，但需...
post時處理中文字元
做個乙個網頁資訊的查詢，很無奈的發現post資訊中的中文部分錯誤。試了很多方法後發現，把資訊轉換成uft8格式問題解決 name name.decode cp936 encode utf8 完整 coding cp936 import re import urllib import urllib2 ...
處理資料（文字）時遇到過的坑
訓練詞向量時，本來就是準備好格式一定訓練文字，然後呼叫gensim開始訓練。但是訓練過程中出現了這樣的么蛾子，編碼坑 unicodedecodeerror utf8 codec can t decode bytes in position 4229 4231 invalid continuation...