大多數的應用程式將資料儲存在關聯式資料庫、xml檔案中。對這樣的資料進行搜尋是很常見的應用。所謂的dataimporthandler提供一種可配置的方式向solr匯入資料,可以一次全部匯入,也可以增量匯入。
他可以實現
能夠讀取關聯式資料庫中的資料。
通過可配置的方式,能夠將資料庫中多列、多表的資料生成solr文件
能夠通過solr文件更新solr
提供通過配置檔案就能夠匯入所有資料的能力
能夠發現並處理 由insert、update帶來的變化(我們假定在表中有乙個叫做「last-modified的列」)
能夠配置"完全匯入"和"增量匯入"的時間
讓讀取xml檔案,並建立索引成為可配置。
能夠將 其他的資料來源(例如:ftp,scp,etc)或者其他格式的文件(json,csv)以外掛程式的形式整合到專案中。
這個 handler首先要在solrconfig.xml檔案中配置下,如下所示。
/home/username/data-config.xml
從它的名字上,我們或許也可以猜到,
dataimporthandler正是requesthandler的實現。我們一共需要在兩個地方配置檔案中進行一些配置。
solrconfig.xml 。 data-config.xml必須在這個檔案中配置,datasource也可以。不過,一般將datasource放在data- config.xml檔案中。
下面幾個步驟是必要的.
1.定義乙個data-config.xml 檔案,並這個它的路徑配置到solrconfig.xml中關於dataimporthandler的配置中。給出connection的資訊(假設你選擇在solrconfig中配置datasource)
屬性type 指定了實現的型別。它是可選的。預設的實現是jdbcdatasource。
乙個配置檔案可以配置多個資料來源。增加乙個datasource元素就可以增加乙個資料來源了。name屬性可以區分不同的資料來源。如果配 置了多於乙個的資料來源,那麼要注意將name配置成唯一的。
例如:
然後這樣使用 :
..
2.開啟dataimporthandler頁面去驗證,是否該配置的都配置好了。http://localhost:8983/solr/dataimport
2.1.使用「完全匯入」命令將資料從資料庫中匯出,並提交給solr建立索引
2.2.使用「增量匯入」命令對資料庫發生的變化的資料匯出,並提交給solr建立索引。
參考:
mysql資料匯入solr
在solrconfig.xml配置資料匯入用的requesthandler和資料匯入使用的jar包 dih data config.xml 配置檔案可以是絕對路徑 或相對集合 conf 的相對路徑 deltaimportquery select from t product where prod i...
跟著官網學solr(三) 資料匯入
前面簡單介紹了索引的主要組成部分,本篇主要是記錄下匯入資料構建索引的幾種配置方法。匯入資料的命令 bin solr e dih 待索引資料主要分為三類 資料庫資料 檔案資料 網頁資料。這三類資料對應的solrconfig.xml的配置是一致的,修改solrconfig.xml,增加所需lib包及以下...
solr系列二 solr匯入資料庫資料
2.找到d solr home catalog conf schema.xml來配置solr和資料庫的對應字段。uniquekey是文件的唯一標識,必須標識對應的字段,否則solr建立索引報錯。此處的field的name屬性最好和資料庫的字段保持一致,這樣我們可以減少一些對映配置。具體配置如下 ca...