tantivy lucene功能,寫入效能對比

2022-07-08 18:42:24 字數 2095 閱讀 3282

硬體概述:cpu:24,記憶體:20g,磁碟:10*2.7t。

寫入效能:(不對ip進行新增geo資訊)。

寫入效能對比

速度commit耗時(秒)

500*1000條

bulk耗時(秒)

1000條dns

bulk耗時(秒)

1000條tcpflow

bulk耗時(秒)

1000條weblog

cpu占用

磁碟使用

資料量tcpflow

執行緒配置

tantivy

155272

6-19

0.01-0.06

0.1-0.2

0.1-0.2

40-80 us, 5-15 sy

20-90

4_000_000條,870m

10*2+10*2*3

lucene

3-40.2-0.3

1.3-1.4

1.3-1.4

60-80 us, 5sy

20-90

4_500_000條,1.3g

10*5

功能:

query:查詢功能。

query

termquery

booleanquery

wildcardquery

phrasequery

rangequery

fuzzyquery

regexpquery

constantscorequery

prefixquery

tantivyyy

yyyy

yynluceneyy

yyyy

yyycollector:用來在查詢時獲取doc的field資訊,用來排序,過濾,聚合等。

collector

topcollector

timelimitingcollector

countcollector

tantivy

y

n

y

lucene

y

y

n

docvalues/fastfield:通過docvalues獲取doc的field資訊,用來排序,過濾,聚合等。

docvalues/fastfield

tantivy

fastfield(目前僅支援數字)

lucene

docvalues

indexwriter:寫資料。

indexwriter

flush(不fsync,資料可能在buffer)

commit(fsync到磁碟)

tantivy

n(目前未發現)

yluceneyy

總結:

功能

tantivy已實現了lucene的大多數功能。具體差異見上表。

寫入效能

整體寫入效能相近。

bulk索引資料時,tantivy速度快於lucene。

執行commit時,tantivy不如lucene,詳見寫入效能。

磁碟占用

磁碟占用相差不大,詳見寫入效能。

ORACLE功能GREATEST功能說明具體例項

1語法 greatest expr 1,expr 2,expr n 2說明greatest expr 1,expr 2,expr n 函式從表示式 列 常量 計算值 expr 1,expr 2,expr n 等中找出最大的數返回。在比較時。oracie 會自己主動按表示式的資料型別進行比較,以 ex...

CUDA功能和通用功能

cuda功能和通用功能 本文描述了類似於cuda ufunc的物件。為了支援cuda程式的程式設計模式,cuda vectorize和guvectorize無法產生常規的ufunc。而是返回類似ufunc的物件。該物件是乙個近似的物件,但與常規的numpy ufunc不完全相容。cuda ufunc...

樣式功能以及設計功能

目錄 設計樣式 樣式選單功能主要是用來簡化的重複性的文字標題格式處理工作,利用樣式選單裡面的選項卡選擇適合的樣式對目標標題進行修改。樣式選單功能在開始選單裡面。1.單行修改標題只需要將游標放在標題的最後。2.選擇點選合適的標題樣式。1.選中要修改的多行標題。2.選擇點選合適的標題樣式。檢視標題目錄可...