上週有個需求,就是要做乙個檢索庫:
1 3億個手機號碼,並且每個號碼20個左右的屬性例:地區,訂閱等資訊。
2 在最短的時候內select出來(5分鐘,10分鐘)[最重要]
3 允許更新。對這些號碼進行傳送資訊後,狀態改變。[可以讓他慢慢更新]
和幾個同事討論了一下,具體要注意以下幾點:
1 如果傳送下去狀態改變,但是只傳送一半,但狀態改變了如何辦?
2 如果多個產品線一起下發,狀態會不會混亂。
解決以上第二個問題,決定採用,佇列等待的方式。第乙個問題沒想到好的解決辦法,回滾也想過了,但感覺不是很現實!
解決方案:
經過實驗500w條的資料在用plsql直接select,只需要0.2秒,所以總體採用分表的方式,每500w條分乙個表,然後同時查詢!
但總感覺不是很好,拋磚引玉(真的很磚 :d )。不知道大家有沒有更好的解決方案!
-----------------------------------------重新描述一下需求-------------------------------
很多人說需求不是很的清楚,這裡重新整理了一下!
不過要注意的是資料庫裡已經有3億個手機基數了!
一. 號碼入庫。
二. 入庫手機號原始檔管理
入庫手機號原始檔要以檔案形式儲存在伺服器上。
三. 按需要提取號碼(最關鍵部分)
要按照需求提取所需的號碼。
例如:提號要求:
1.此號碼非黑名單使用者。
2.此號碼為的訂購和退訂使用者。
3.此號碼2個月內沒有活動。
4.省份要求:遼寧,雲南,廣東
5.號段要求:137和138和139號段
6.數量要求:每個省10w
7.是否支援彩信:是(是,否,忽略三種情況)
……注:檔案格式如下:
139***85185#09#0
139***71283
139***33190
第1列:手機號
第2列:產品型別(#09)
第3列:是否需要狀態報告(#0)
四. 統計功能
一.號碼情況統計
1.統計當前號碼總量。
2.按照2個基本要求,統計現在庫中可以使用的號碼數量。
注:統計需要顯示,全國總量,各省總量,各省省會總量,各省去除省會總量,各省7天未下發總量(省會與其他城市分開顯示),各省可以傳送總量(省會與其他城市分開顯示,所以單獨列出來)。
二.傳送產品統計
1.按時間段、業務線等統計傳送產品的情況,如:傳送時間,最終傳送檔案等
五. 黑名單及特殊號碼管理
1. 新增黑名單
2. 去除黑名單
3. 過濾黑名單
4. 查詢黑名單
以上除黑名單外都是迫切需要的,黑名單功能可以以後完善。
Jquery實現列表項的快速檢索
html type text id shopsearchinput class list style shop address data word 北京市朝陽區 北京市朝陽區 路 街道li data word 上海市浦東新區 上海市浦東新區張江鎮 弄 號li data word 廣東省深圳市 廣東省...
如何快速實現高併發短文檢索
一 需求緣起 某併發量很大,資料量適中的業務線需要實現乙個 標題檢索 的功能 1 併發量較大,每秒20w次 2 資料量適中,大概200w資料 3 是否需要分詞 是 4 資料是否實時更新 否 二 常見潛在解決方案及優劣 1 資料庫搜尋法 具體方法 將標題資料存放在資料庫中,使用like來檢索 優點 方...
mysql資料庫實現億級資料快速清理
今天收到磁碟報警異常,50g的磁碟被撐爆了,分析解決過程如下 1.進入linux伺服器,檢視 mysql 資料夾中各個資料庫所佔的磁碟空間大小 看到了嗎,光olderdb就佔了 25g2.用sqlyog登入 mysql 資料庫,檢視資料庫各個表的占用空間情況 select concat table ...