【nlp】機器翻譯常用評價標準 (bleu & meteor)
在nlp當中，不同的評價指標，bleu, meteor, rouge和cider的邏輯意義？
機器翻譯與自動文摘評價指標 bleu 和 rouge
bleu - bilingual evaluation understudy，最早提出的機器翻譯評價指標，用於度量同一源語句的自動翻譯與乙個或多個人工建立的參考翻譯之間的差異。
bleu 演算法將自動翻譯的連續短語與它在參考翻譯中找到的連續短語進行比較，並以加權方式對匹配項數進行計數。 這些匹配項與位置無關。 匹配度越高表示與參考翻譯的相似度越高，分數也越高。 不會考慮可理解性和語法正確性。
blue只在乎準確率，不在乎召回率。
【注】只有使用相同的測試集、相同的語言對和相同的 mt 引擎比較 bleu 結果時，bleu 分數之間的比較才有意義。 使用的測試集不同，bleu 分數也必定不同。用wordnet等知識擴充了同義詞集，同時考慮了單詞的詞形
考慮句子流暢性
mentor既考慮準確率也考慮召回率，用f值作為最後評價指標
rouge - recall-oriented understudy for gisting evaluation
rouge只考慮召回率，不管候選譯文是否流暢。
blue和向量空間模型的結合。把每個句子看成文件，然後計算tf-idf向量的余弦夾角，得到候選句子和參考句子的相似度。
NLP自然語言處理 文字分類之評價指標
準確率關注整體效果，只適合均衡的資料。準確率公式如下 a cc urac y 預測 正確的樣 本數總樣 本數 accuracy frac accura cy 總 樣本數預 測正確的 樣本數 資料不均衡時使用以下的評價指標。精確率關注模型 得準不准。精確率公式如下 p re cisi on 預 測正確...
自然語言處理
自然語言處理主要步驟包括 2.詞法分析 對於英文，有詞頭 詞根 詞尾的拆分，名詞 動詞 形容詞 副詞 介詞的定性，多種詞意的選擇。比如diamond，有菱形 棒球場 鑽石3個含義，要根據應用選擇正確的意思。3.語法分析 通過語法樹或其他演算法，分析主語 謂語 賓語 定語 狀語 補語等句子元素。4.語...
自然語言處理
前言 自然語言處理 natural language processing 是計算科學領域與人工智慧領域中的乙個重要方向。它研究能實現人與計算機之間用自然語言進行有效通訊的各種理論和方法。自然語言處理是一門融語言學 電腦科學 數學於一體的科學。因此，這一領域的研究將涉及自然語言，即人們日常使用的語言...