前些日子，在公司碰到了個比較煩的小問題(關於大資料量分頁的問題)。有朋友會說了，那不簡單啊，用儲存過程，網上下個，就是你顯示幾頁，查幾頁，在資料庫中分頁，查詢出來結果集，繫結下就ok了。呵呵，我一般情況這樣是可行的，但是我的專案要求，不適合這樣。說說我的這小問題的特點要求吧.
首先是，它的訪問量並不很大，顯示時間很短暫，大約只有1分鐘這樣，也就是工作人員查詢下就ok了。
其次是，資料從資料庫中取出時，需要程式控制，結合，後在形成使用者需要的結果集。
最後是，資料量還滿大的，大概有80萬目前，並且在每分鐘新增6條資料進庫。大概就是這樣了。
當時做的時候頁沒有怎麼關心效能問題，等測試的時候，才發現，資料超過10萬的時候，翻頁很慢，
從第一頁到第二頁，大概用了15分鐘左右，嚇死我了。要是這樣拿出給使用者用的話，那不被使用者罵死才怪。
於是，對**做了大量的優化，發現還是很慢，提高不了多少。難道就這麼放棄了嗎？不，一定還有解決的
辦法。功夫不負有心人，當天晚上，被我想出個就目前來說比較快，效能比較高的辦法，把問題解決了。
對於我這專案小問題，還沒有想到比較完善的解決方案，還請廣大朋友們給予我支援。
下邊說說我解決效果吧。資料量大概是40萬，電腦配置是單核，處理器2.0，硬碟60g，從第1頁到第2萬頁
速度不到2秒，效能還是可以的吧。
php Mysql 優化，百萬至千萬級快速分頁
mysql 效能到底能有多高？用了php半年多，真正如此深入的去思考這個問題還是從前天開始。有過痛苦有過絕望，到現在充滿信心！mysql 這個資料庫絕對是適合dba級的高手去玩的，一般做一點1萬篇新聞的小型系統怎麼寫都可以，用xx框架可以實現快速開發。可是資料量到了10萬，百萬至千萬，他的效能還能那...
php Mysql 優化，百萬至千萬級快速分頁
mysql 效能到底能有多高？用了php半年多，真正如此深入的去思考這個問題還是從前天開始。有過痛苦有過絕望，到現在充滿信心！mysql 這個資料庫絕對是適合dba級的高手去玩的，一般做一點1萬篇新聞的小型系統怎麼寫都可以，用xx框架可以實現快速開發。可是資料量到了10萬，百萬至千 萬，他的效能還能...
百萬級經過驗證的分詞詞庫，千萬級Ngram
因工作需要，最近在做自然語言處理方面的研究，第一步需要實現中文分詞，市面上有許多開源的分詞元件，本人使用的是word分詞，但這些開源元件中的詞庫都比較小，因此這段時間主要是在網上爬了各種詞庫，並通過xx詞典校驗，挑選在xx詞典中收錄的 耗費相當多的精力 彙總詞庫 驗證過的詞庫 分類詞庫 根據行業分類...