最近處理的一些函式

api

句子分割text_to_word_sequence，將乙個句子拆分成單詞構成的列表。注意這個函式對中文的分割無效。

from tensorflow import

keras

text='

你去**了？我找不到你，快回**,where are you,mary?can you call me back?

引數：

返回值：字串列表

n=13words=keras.preprocessing.text.one_hot(text,
n,filters='
!"#$%&()*+,-./:;<=>?@[\]^_`~\t\n',
lower=true,
split="")
print(words)

數將一段文字編碼為one-hot形式的碼，即僅記錄詞在詞典中的下標。

【tips】從定義上，當字典長為n時，每個單詞應形成乙個長為n的向量，其中僅有單詞本身在字典中下標的位置為1，其餘均為0，這稱為one-hot。

為了方便起見，函式在這裡僅把「1」的位置，即字典中詞的下標記錄下來。

整數列表，每個整數是[1,n]之間的值，代表乙個單詞（不保證唯一性，即如果詞典長度不夠，不同的單詞可能會被編為同乙個碼）。

keras.preprocessing.text.tokenizer(num_words=none,
filters='
!"#$%&()*+,-./:;<=>?@[\]^_`~\t\n',
lower=true,
split="",
char_level=false)

tokenizer是乙個用於向量化文字，或將文字轉換為序列（即單詞在字典中的下標構成的列表，從1算起）的類。

texts_to_sequences(texts)

texts_to_sequences_generator(texts)

texts_to_matrix(texts, mode)：

fit_on_sequences(sequences):

sequences_to_matrix(sequences):

text=['

你去**了？我找不到你，快回**,where are you,mary?can you call me back?',\

'ming and hong are playing game in the yard.hey,what are you doing,趙薇？']

vocab_size =10 #

this is a hyperparameter, experiment with different values for your dataset

tokenize = keras.preprocessing.text.tokenizer(num_words=vocab_size, char_level=false)

tokenize.fit_on_texts(text)

#only fit on train

#print(tokenize.word_counts)

#print(tokenize.word_docs)

#print(tokenize.word_index)

#print(tokenize.document_count)

#注意看tokenize分詞的結果#

sparse bag of words (bow) vocab_size vector

description_bow_text = tokenize.texts_to_matrix(text) #

#texts_to_matrix(texts, mode)：

#texts：待向量化的文字列表

#mode：『binary』，『count』，『tfidf』，『freq』之一，預設為『binary』

#返回值：形如(len(texts), nb_words)的numpy array

print("

分詞結果：\n

api

to_categorical(y, num_classes=none)

將類別向量(從0到nb_classes的整數向量)對映為二值類別矩陣, 用於應用到以categorical_crossentropy為目標函式的模型中.

應用對屬性資料的特徵作處理：

三、

最近處理的一些函式

最近的一些感想

最近的一些事

最近的一些反思

最近處理的一些函式

最近的一些感想

最近的一些事

最近的一些反思

相關推薦