資料庫大概儲存幾十萬條ip記錄,記錄集如下:
+———-+———-+————+———+———+——–+——–+
| ip_begin | ip_end | country_id | prov_id | city_id | isp_id | netbar |
+———-+———-+————+———+———+——–+——–+
| 0 | 16777215 | 2 | 0 | 0 | 0 | 0 |
| 16777216 | 33554431 | 2 | 0 | 0 | 0 | 0 |
| 33554432 | 50331647 | 2 | 0 | 0 | 0 | 0 |
| 50331648 | 67108863 | 3 | 0 | 0 | 0 | 0 |
| 67108864 | 67829759 | 3 | 0 | 0 | 0 | 0 |
+———-+———-+————+———+———+——–+——–+
這樣做查詢需要用到如下sql:
<?php
$sql = 『select * from i_m_ip where ip_begin <= $client_ip and ip_end >= $client_ip』;
?>
這樣的檢索顯然用不到索引,即使用到,mysql查詢效率也不大可能達到每秒500次以上,我做了很多併發優化,最終平均查詢效率也只有每秒200次左右,實在是頭痛。一開始我也有想到借鑑純真ip庫的檢索方法,但是我一直對演算法有牴觸,也以為二分法很難,所以就沒有嘗試使用,直到最後沒有辦法了,才最終實現了二分法的ip位址檢索。
從上表可以看到ip庫是從0到4294967295的乙個連續數值,這個數值要是拆開儲存,會有幾百g的資料,所以沒辦法使用索引也沒辦法雜湊。最終我使用php將這些東東轉為二進位制儲存,拋棄了資料庫的檢索。可以看到ip起止長度為乙個4位元組的長整型,後面的國家id、省份id等,可以使用2個位元組的短整型來儲存,總共一行資料就有18個位元組,總共31萬條資料,算起來也就5m的樣子。具體ip庫生成**如下:
<?php
/* ip檔案格式:
3741319168 3758096383 182 0 0 0 0
3758096384 3774873599 3 0 0 0 0
3774873600 4026531839 182 0 0 0 0
4026531840 4278190079 182 0 0 0 0
4294967040 4294967295 312 0 0 0 0
*/ set_time_limit(0);
$handle = fopen(『./ip.txt』, 『rb』);
$fp = fopen(「./ip.dat」, 『ab』);
if ($handle)
$str = pack(『l』, $buffer[0]);
$str .= pack(『l』, $buffer[1]);
$str .= pack(『s』, $buffer[2]);
$str .= pack(『s』, $buffer[3]);
$str .= pack(『s』, $buffer[4]);
$str .= pack(『s』, $buffer[5]);
$str .= pack(『s』, $buffer[6]);
fwrite($fp, $str);
} }
?>
這樣ip就按照順序每18位元組乙個單位排列了,所以很容易就使用二分法來檢索出ip資訊:
function getip($ip, $fp)
$middle_seek = ceil((($end – $begin) / 18) / 2) * 18 + $begin;
fseek($fp, $middle_seek);
$middle_ip = implode(」, unpack(『l』, fread($fp, 4)));
$middle_ip = sprintf(『%u』, $middle_ip);
if ($ip >= $middle_ip) else
} while (true);
}以上$fp為開啟ip.dat的檔案控制代碼,由於是迴圈檢索,所以寫在函式外面,免得每次檢索都要開啟一次檔案,30w行資料二分法最多也只需要迴圈7次(2^7)左右即可找到準確的ip資訊。之後本來還想將ip.dat放在記憶體中加快檢索速度,後來發現,字串定位函式的效率,根本和檔案指標的偏移定位不是在乙個數量級的,所以還是放棄使用記憶體來存放ip庫。
這個實現,使ip檢索效率提高了近百倍,只是乙個簡單的二分法的應用,從此演算法在web應用中不重要的觀念徹底打消了。其實要實現這個,我還請教了金狐,我一開始是請他幫我生成乙個純真格式的ip庫,然後用discuz的ip查詢函式來檢索,不過他不肯幫我,最後造就了我的這個實踐和學習。有時候,求人不如求己。
php 利用二分法查詢ip範圍
假如業務流程中需要驗證使用者的ip位址,隨著資料庫中儲存的授權ip不停的增加,如何快速便捷的查詢到對應的ip顯得至關緊要,本文利用ip轉為對應的整數,然後利用二分法查詢,實現業務需求 好記性不如爛筆頭 具體 示例 待驗證ip ip 58.33.179.25 業務中資料庫儲存類似的資料結構,業務目標是...
C 二分法查詢,遞迴二分法
用二分法來求需要查詢的值.includeusing namespace std 查詢key元素是否存在 int findkey const int buf 100 const int ilen,const int key else right left mid 1 查詢失敗 return 1 查詢k...
python二分法查詢 Python 二分法查詢
二分法查詢主要的作用就是查詢元素 lst 1,3,5,7,12,36,68,79 資料集 百萬級資料 num int input 請輸入你要查詢的元素資訊 for el in lst if num el print 存在 break else print 不存在 len lst 0 1 2 3 4 ...