# 包含獲取並安裝第三方依賴的過程
sh build.sh
cd model
sh download_model.sh
該demo檔案在終端下是能正常執行，不過在呼叫python介面時總會出現以下錯誤
若出現找不到libglog.so, libgflags.so等動態庫錯誤，請新增third_party至環境變數的ld_library_path中。export ld_library_path=./third_party/lib:$ld_library_path#!/bin/bash
export ld_library_path=../third_party/lib:$ld_library_path
cd ../model
sh download_model.sh
cd ../python
python ./demo/lda_infer_demo.py ../model/news lda.conf
# 模型可以按照需求修改
人機文字分類特徵構造 困惑度計算
最近在2018smp的乙個比賽中鍛鍊了一下，該任務為文字分類，重點在於辨別人類作者和機器所寫文章的不同，在一番仔細斟酌之後發現兩者之間的區別有以下3點 1 語序 機器所寫的可能想表達的是一樣的說法，是基於文字規則對抽取詞彙的排列，但是結果呈現在詞序的排序上卻會出現一些偏差，舉個栗子 正確的句子 這將...
文字分類 特徵選擇
特徵選擇技術的比較 pso，pca和資訊增益 作為與基於pso的特徵選擇的比較，我們利用pca和資訊增益來減少我們問題的特徵空間的維度。主成分分析 pca 51 是一種有用的統計技術，通過減少維數來壓縮資料。它通過遺漏冗餘資訊找到高維資料中的模式並將其轉換為較低維度。pca通過計算協方差矩陣的特徵值...
文字分類特徵選擇方法
1 df documentfrequency 文件頻率 df 統計特徵詞出現的文件數量，用來衡量某個特徵詞的重要性 2 mi mutualinformation 互資訊法 互資訊法用於衡量特徵詞與文件類別直接的資訊量。如果某個特徵詞的頻率很低，那麼互資訊得分就會很大，因此互資訊法傾向 低頻 的特徵詞...