從語言模型「反推」的角度看查詢擴充套件

2021-08-30 08:08:21 字數 1017 閱讀 8427

6.2

從語言模型「反推」的角度看查詢擴充套件

查詢擴充套件就是根據實際出現的詞項推斷應該出現的詞項,也就是從使用者提交的查詢推斷出隱含在使用者查詢意圖背後的其他詞項,從而「揣摩」出使用者真實的資訊需求。啟發式的查詢擴充套件方法在實現擴充套件時,採用的是一種啟發式的擴充套件詞選取方法和權重修正策略,缺乏嚴格的數學推導和理論依據。為了在統計語言模型框架內實現查詢擴充套件,有必要將使用者真實的查詢意圖表示為查詢語言模型(或叫資訊需求語言模型),記為θu。

在最簡單的情況下,假設θu

為一元模型。查詢擴充套件的目的就是利用所有與使用者資訊需求有關的已知資訊來「反推」出潛在的查詢語言模型。

這裡的「過濾」是一種不可見的潛在過程,可認為是由使用者完成的,ir

系統;「反推」則由ir

系統來完成,是ir

系統根據使用者提交的查詢「揣摩」其真實查詢意圖的過程,即根據現有的所有與使用者資訊需求有關的已知資訊(使用者提交的查詢、文件集、檢索的上下文資訊、使用者的個性化資訊以及其他外部知識如wordnet

等)「推斷」出其真實的查詢意圖。

6.3

基於語言模型估計的反推方法

對於由給定的n

篇與使用者資訊需求相關的文件組成的相關文件集合r=

,假設r

中的每篇文件僅含有乙個主題(顯然,該主題是與使用者資訊需求相關的),基於這種假設,我們可認為相關文件集合r

所討論的主題由某個概率模型所生成;為了簡化問題的規模,進一步假設該概率生成模型為最簡單的一元語言模型,稱為相關主題模型,記為θr

。根據初始的查詢語言模型θq

和相關主題模型θr

,我們可以採用線性插值平滑的方法將這兩部分資訊結合起來,從而獲得反推後的查詢語言模型θu:

p (w|

θu)=

α*p(w|

θq)+(1-

α)*p(w|θr)

其中α為小於1

大於0的插值係數,根據經驗獲得,預設值為0.2。

從辯證的角度看產品

從辯證的角度看產品 然而,當我們用我們自身的思維角度去看待一款產品時,往往可能由於對產品接觸的時間太少,或者是使用到功能的不全面,導致我們對一款產品的認識只能達到乙個有限的程度,這往往是不可避免的。同樣的,當我們要去開發一款產品,往往可能由於對產品真正需求的不確定,或者是考慮的不夠周全,導致我們希望...

從彙編的角度看棧

大家都知道,棧區是儲存函式,區域性變數的一塊記憶體區域。那麼讓我們從彙編的角度,來看看函式的執行過程。首先,當我們使用pushl將資料入棧時,棧頂會移動,以容納新增加的值。實際上,我們能不斷將值入棧,棧會在記憶體中保持向下增長,知道存放 或資料的地方。那麼,我們如何知道棧頂位址呢?棧暫存器 esp總...

從oo角度看with的使用

乙個同事維護 delphi 的時候發現原來 的軟體內有很多 with 過多的 with 讓 難以除錯。引入 with 的本意在於節省重複出現的物件名。比如說,如果有這樣的呼叫 function foo begin objecta.prop1 a objecta.prop2 b objecta.run...