持續更新。
fb search框架
php寫的browse layer,負責同client對話以及param處理和passing等。
c++寫的backend,最大的一坨叫做topaggregator,主要負責三件事 a)rewrite query to get better search results (e.g. force retrieval); b)和每個vertical的rackaggregator對話,比如posts,web,people等,從這些分支收集response; c)對response做twiddling,所以有一堆twiddlers比如web twiddler
每個rackaggregator做的事主要就是和index對話,從各個shards拿結果(用reverse index做retrieval, top m, determined by static rank),以及score results(用forward index / docdata做ranking)。
然後再返回php的middle tier,做caching, privacy check等等。
forward index和reverse index
f index主要是給id找doc,r index主要是給出terms找list
index build:
也是分batch pipeline (base index build)和live update pipeline (realtime)。
技術性 Search知識
持續更新。fb search框架 php寫的browse layer,負責同client對話以及param處理和passing等。c 寫的backend,最大的一坨叫做topaggregator,主要負責三件事 a rewrite query to get better search results...
技術性 Search知識
持續更新。fb search框架 php寫的browse layer,負責同client對話以及param處理和passing等。c 寫的backend,最大的一坨叫做topaggregator,主要負責三件事 a rewrite query to get better search results...
技術性 OO語言知識
持續更新。c 篇 分布計算提高效率的庫及庫函式,比如fb的folly庫就有folly gen一大堆函式,e.g.auto results from ids get 0 as 本質上和e.g.pyspark的分布式計算的底層思想是一致的。python篇 python特別適用於搭data pipelin...