下面，我們來看看，文字資料如何轉換成計算機能夠計算的資料。這裡介紹兩種常用的模型：詞袋和詞向量模型。
詞袋模型的概念
先來看張圖，從視覺上感受一下詞袋模型的樣子。
詞袋模型看起來好像乙個口袋把所有詞都裝進去，但卻不完全如此。在自然語言處理和資訊檢索中作為一種簡單假設，詞袋模型把文字（段落或者文件）被看作是無序的詞彙集合，忽略語法甚至是單詞的順序，把每乙個單詞都進行統計，同時計算每個單詞出現的次數，常常被用在文字分類中，如貝葉斯演算法、lda 和 lsa 等。
動手實戰詞袋模型
（1）詞袋模型
本例中，我們自己動手寫**看看詞袋模型是如何操作的。
首先，引入 jieba 分詞器、語料和停用詞（標點符號集合，自己可以手動新增或者用乙個文字字典代替）。
import jieba
#定義停用詞、標點符號
punctuation = ["，","。", "：", "；", "？"]
結構化資料和非結構化資料的區別 非結構化資料
據 idc 2018 年到 2025 年之間，全球產生的資料量將會從 33 zb 增長到 175 zb，復合增長率達到 27 其中超過 80 的資料都會是處理難度較大的非結構化資料。預計到 2030年全球資料總量將達到 3,5000eb。由於非結構化資料的資訊量和資訊的重要程度很難被界定，如何對其進...
結構化資料 半結構化資料 非結構化資料
結構化資料 即行資料,儲存在資料庫裡,可以用二維表結構來邏輯表達實現的資料 所謂半結構化資料，就是介於完全結構化資料 如關係型資料庫 物件導向資料庫中的資料 和完全無結構的資料 如聲音 影象檔案等 之間的資料，html文件就屬於半結構化資料。它一般是自描述的，資料的結構和內容混在一起，沒有明顯的區分...
結構化資料，非結構化資料，半結構化資料的區別
1.結構化資料 先有結構，再有資料 是指由二維表結構來邏輯表達和實現的資料，嚴格地遵循資料格式與長度規範，主要通過關係型資料庫進行儲存和管理。也稱作行資料，一般特點是 資料以行為單位，一行資料表示乙個實體的資訊，每一行資料的屬性是相同的。2.非結構化資料 先有資料，再有結構 半結構化資料，是結構化資...