PHP開發搜尋引擎技術全解析

2022-09-16 08:21:13 字數 3249 閱讀 5946

談到網頁搜尋引擎時,很多人都會想到雅虎。的確,雅虎開創了乙個網際網路絡的搜尋時代。然而,雅虎目前用於搜尋網頁的技術卻並非該公司原先自己開發的。2023年8月,雅虎採用了google這家由史丹福大學學生建立的公司的技術。理由非常簡單,google的搜尋引擎比雅虎先前使用的技術能更快、更準確搜尋到所需要的資訊。

讓我們自己來設計、開發乙個強勁、高效的搜尋引擎和資料庫恐怕短時間內在技術、資金等方面是不可能的,不過,既然雅虎都在使用別人的技術,那麼我們是不是也可以使用別人現成的搜尋引擎**呢?

剖析程式設計思路

我們可以這樣設想:模擬乙個查詢,向某個搜尋引擎**發出相應格式的搜尋命令,然後傳回搜尋結果,對結果的html**進行分析,剝離多餘的字元和**,最後按所需要的格式顯示在我們自己的**頁面裡。

這樣,問題的關鍵就在於,我們要選定乙個搜尋資訊準確(這樣我們的搜尋才會更有意義啊)、速度快(因為我們分析搜尋結果並顯示需要額外的時間),搜尋結果簡潔(便於進行html源**分析和剝離)的搜尋**,由於新一代搜尋引擎google的各種優良特性,這裡我們選擇它為例,來看看用php怎樣實現後台對google搜尋、前台個性化顯示這一過程。

我們先來看看google的查詢命令的構成。進入google**,在查詢欄中輸入「abcd」,點選查詢按鈕,我們可以發現瀏覽器的位址列變成:" ",可見,google是通過表單的get方式來傳遞查詢引數並遞交查詢命令的。我們可以使用php中的file()函式來模擬這個查詢過程。

了解file( ) 函式

語法: array file(string filename);

返回值為陣列,將檔案全部讀入陣列變數中。這裡的檔案可以是本地的,也可以是遠端的,遠端檔案必須指明所使用的協議。例如: result=file(「 ... mp;hl=zh-cn&lr= 」),該語句將模擬我們在google上查詢單詞「abcd」的過程,並將搜尋結果以每行為元素,傳回到陣列變數 result中。因為這裡讀取的檔案是遠端的,所以協議名「http://」不能缺少。

如果要讓使用者輸入搜尋字元進行任意搜尋,我們可以做乙個輸入文字框和提交按鈕,並將上文中的被搜尋字元「abcd」用變數替換:

echo '

'; file://沒有引數的form,預設提交方式為get,提交到本身

echo '; file://構造乙個文字輸入框

echo '; file://構造乙個提交查詢按鈕

echo '

if (isset( keywords)) file://提交後php會生成變數 kwywords,即要求下面的程式在提交後執行

urlencode( keywords); file://對使用者輸入內容進行url編碼

result=file("". keywords."&btng=google%cb%d1%cb%f7&hl=zh-cn&lr=");

file://對查詢語句進行變數替換,將查詢結果儲存在陣列變數 result中

result_string=join(" ", result); file://將陣列$result合併成字串,各陣列元素之間用空格粘和

... file://進一步處理

上面的這段程式已經能按使用者輸入內容進行查詢,並將返回的結果合成乙個字串變數$result_string。請注意要使用urlencode()函式將使用者輸入內容進行url編碼,才可以正常地對輸入的漢字、空格以及其他特殊字元進行查詢,這樣做也是盡可能逼真地模擬google的查詢命令,保證搜尋結果的正確性。

對google的分析

為了便於理解,現在假設我們所真正需要的東西是:搜尋結果的標題。**和簡介等,這是乙個簡潔而典型的需求。這樣,我們所要做的便是:去除google搜尋結果的臺頭和腳注,包括乙個google的標誌、再次搜尋的輸入框和搜尋結果說明等,並且在剩餘的搜尋結果各項條目中剝離原來的html格式標記,替換成我們想要的格式。

要做到這一點,我們必須仔細地分析google搜尋結果的html原始碼,找到其中的規律。不難發現,在google的搜尋結果的正文總是包含在原始碼的第乙個

標記和倒數第二個

標記之間,並且倒數第二個

標記後緊跟table字元,而且這個組合「

以下所有程式均依次接續在上文程式的「進一步處理」處。

result_string = strstr( result_string, " ");

file://取 result_string從第乙個開始後的字串,以去除google臺頭

position= strpos( result_string," table符號的位置

result_string= substr( result_string,0, position);//擷取第乙個table符號之前的字串,以去除腳注

應用與實現

現在我們已經得到有用的html原始碼主幹了,剩下的問題是如何自主地顯示這些內容。我們再分析一下這些搜尋結果條目,發現每個條目之間也是很有規律的用分隔,也就是各成乙個段落,按這個特點我們用explode()函式把每個條目切開:

語法:explode(string separator, string string);

返回乙個陣列,按separator切開後的各個小字串被儲存在陣列中。

於是:result_array=explode(" ", result_string); file://用字串" "把結果切開

我們就得到乙個陣列 result_array,其中每個元素都是乙個搜尋結果條目。我們所要做的僅僅是研究每個條目及其html顯示格式**,然後按要求替換就行了。下面用迴圈來處理 result_array中的每個條目。

for( i=0; i {

... file://處理每個條目

every_item=explode(" ", result_array[ i]);

echo eregi_replace(' {

... file://處理每個條目中除去第一項(第一項為標題,已經顯示)的每一項

... file://更多格式修改

這樣就修改了鏈結屬性,其餘很多顯示格式的修改、剝離、替換都能用正則替換eregi_replace()來完成。

至此我們已經得到了每個搜尋條目的每一項,並能任意修改每項的格式,甚至可以給他套上漂亮的**。然而乙個好的程式應該能適應各種執行環境的,這裡也不例外,我們其實還只是討論了搜尋結果的html剝離的一種框架方法,真正要做得完美,還要考慮很多內容,比如要顯示一共搜尋出多少結果,分成多少頁等等,甚至還可以刨除與google相關的那些「類別」、「簡介」等**,讓客戶根本看不到原始**。不過這些內容和要求我們都能通過分析html進行剝離得到。現在大家完全能自己動手,做個極富個性化的搜尋引擎。

PHP搜尋引擎

簡單php搜尋引擎源 需要開啟php的curl擴充套件。功能 對某一 進行檢索,獲取 基本資訊,同時提取 的所有連線。class engine 啟動引擎 public function start 獲取meta內容 public function getmeta content 獲取body內容 p...

搜尋引擎技術核心揭密 PHP

搜尋引擎技術核心揭密 php 談到網頁搜尋引擎時,大多數人都會想到雅虎。的確,雅虎開創了乙個網際網路絡的搜尋時代。然而,雅虎目前用於搜尋網頁的技術卻並非該公司原先自己開發的。2000年8月,雅虎採用了google google.這家由史丹福大學學生建立的風險公司的技術。理由非常簡單,google的搜...

搜尋引擎技術核心揭密 PHP

搜尋引擎技術核心揭密 php 談到網頁搜尋引擎時,大多數人都會想到雅虎。的確,雅虎開創了乙個網際網路絡的搜尋時代。然而,雅虎目前用於搜尋網頁的技術卻並非該公司原先自己開發的。2000年8月,雅虎採用了google www.google.com 這家由史丹福大學學生建立的風險公司的技術。理由非常簡單,...