演算法 海量資料

2021-09-26 12:29:09 字數 473 閱讀 1542

目錄

公共部分

《王道程式設計師求職寶典》:兩個檔案共同的url(hash 分治)

頻率最高

《王道程式設計師求職寶典》:按頻率排序多個檔案中的query記錄(hash 分治)

《王道程式設計師求職寶典》:找出檔案中頻率最高的100個詞(top k hash 分治)

中位數

bat面試經典題:100億個整數的中位數(二分查詢 分桶) 位圖

《王道程式設計師求職寶典》:實現位圖(位圖)

《王道程式設計師求職寶典》:統計不同號碼的個數(位圖)

《王道程式設計師求職寶典》:查詢某個數是否在40億個數當中(位圖)

《王道程式設計師求職寶典》:2.5億整數中只出現一次的整數(位圖) 其它

《王道程式設計師求職寶典》:布隆過濾器

《王道程式設計師求職寶典》:倒排索引法

hash分治

演算法 海量資料處理

在面試中我們會經常遇到和海量資料處理相關的問題,在這裡我們將問題進行乙個彙總,保證將來我們在遇到海量資料相關問題的時候能夠快速解答。改文章參考 如果記憶體能夠全部裝下 直接使用快速排序。如果記憶體不能夠全部裝下 先將第乙個位元組,也就是前8位進行分桶,可以分為256個桶,也就是將100億的整數分別按...

sql server查詢優化方法(海量資料)

此方法只適用於對海量資料查詢的優化,對於資料量較少的查詢不具有參考性 一 盡量避免全表掃瞄,使用索引 1.在常用字段上面建立索引,方便查詢 2.避免null值判斷。eg where xx is null。改進 可以設定預設值代替null 3.避免使用不等於操作符,如!4.避免使用or。可以使用uni...

演算法 海島個數問題

乙個矩陣中只有0和1兩種值,每個位置都可以和自己的上 下 左 右四個位置相連,如果有一片1連在一起,這個部分叫做乙個島,求乙個矩陣中有多少個島?public class islands return land public static void g do int arr,int row,int l...