當處理大規模資料時，例如進行全文搜尋，近似文件搜尋，資料探勘等工作時，rdbms往往不能滿足我們的需求了。那麼我們應該怎麼做呢？ 一種解決方案是：利用批處理從rdbms中取出資料，建立索引伺服器再讓web應用程式通過rpc（remote procedure call）或者web api（http + json)進行查詢。
我們稱上述方法為「特殊用途索引」。建立特殊索引後就能處理rdbms難以處理的事情。rdbms是通用系統，能夠進行資料排序、統計處理、join等，其目的多種多樣，如果僅為了特定目的，那麼專門對資料結構進行調優，就會比rdbms快得多。搜尋用的倒排索引就是最典型的例子，索引之前先進行自然語言處理方法處理，無須查詢rdbms中全部資料，就能瞬間實現查詢。
特殊用途索引：
定期取出資料
根據取出的資料建立資料結構
搜尋用的逆向索引
關鍵字鏈結用的trie等
用c++開發儲存結構化資料的伺服器，通過rpc或者web api訪問。
rdbms->資訊搜尋
大資料處理
大資料處理的流程主要包括以下四個環節 採集 匯入 預處理 統計 分析 挖掘，下面針對這四環節進行簡單闡述。大資料處理之一 採集 在大資料的採集過程中，其主要特點和挑戰是併發數高，因為同時有可能會有成千上萬的使用者來進行訪問和操作，比如火車票售票 和 它們併發的訪問量在峰值時達到上百萬，所以需要在採集...
大資料處理隨筆
1.mssql當資料庫資料超過1000萬的時候超時是正常的，所以當表資料到1000萬時候注意delete 2.今天遇到資料庫時間格式2014021000 當然是int型別哦 3.聯合索引使用 開始時間與結束時間這樣一起查詢的要建成索引 4.訂閱資料庫，只可以查詢操作，這樣的話可以在這個表上面建立索引...
大資料處理方案
假設目前有一千萬個記錄 這些查詢串的重複度比較高，雖然總數是1千萬，但如果除去重複後，不超過3百萬個。乙個查詢串的重複度越高，說明查詢它的使用者越多，也就是越熱門。請你統計最熱門的10個查詢串，要求使用的記憶體不能超過1g。2 32為40億多，所以給定乙個數可能在，也可能不在其中 這裡我們把40億個...