3. hyperloglog基數統計演算法是什麼？
4. hll驗證
5. 如何應用到需求中？
這是一兩年前的任務單了，來得比較突然，就是需要知道一下目前平台中資料總量（儲存量和條數），每日新增資料量，表中字段有值率。
哇，接到這個任務，感覺儲存量直接看集群統計總容量就好，條數怎麼整？
下面我就針對hbase庫中的條數，每日新增條數，字段個數來講講我們當年走過的彎路，填過的坑。
統計每張hbase表的資料量，精確到字段級別，還有統計每日新增條數。
分析一下hbase的表，每張表有儲存週期ttl，表有不同的入庫型別，如果是全量表還好，每次直接統計，但是又有增量標識的表，此表示堆積的過程，需要統計歷史條數，再在累加新增，於此同時還需要將ttl過後的資料除去，好複雜啊~
看到這種需求，那肯定拿出hadoop最有歷史的mr來實現，然後我們乙個兄弟吭哧吭哧設計了好久，還讓其他兄弟幫他拿現場資料驗證，發現現場表太多了，預估跑2-3天都不一定跑完歷史資料，更別說新增，也別說去除ttl後的資料，者方案直接耗時1個月，寫方案到驗證，我能說簡直無法使用，並且被一通批，那兄弟實在搞不定的情況下，轉交到我手上了。
hyperloglog（下文簡稱為 hll）是 redis 2.8.9 版本新增的資料結構，它用於高效能的基數（去重）統計功能，它的缺點就是存在極低的誤差率。
。。待填充
驗證**如下：
如何優化操作大資料量資料庫（幾十
聚集索引的重要性和如何選擇聚集索引 在上一節的標題中，筆者寫的是 實現小資料量和海量資料的通用分頁顯示儲存過程。這是因為在將本儲存過程應用於 辦公自動化 系統的實踐中時，筆者發現這第三種儲存過程在小資料量的情況下，有如下現象 1 分頁速度一般維持在1秒和3秒之間。2 在查詢最後一頁時，速度一般為5秒...
ORACLE和SQL查詢庫資料量
oracle根據賬號查詢每張表資料量 select t.table name,t.num rows from user tables t order by num rows desc sql server查詢總資料量 select sum 記錄條數 as 總記錄數 from select top 1...
大資料量的系統的資料庫結構如何設計？
1 把你表中經常查詢的和不常用的分開幾個表，也就是橫向切分 2 把不同型別的分成幾個表，縱向切分 3 常用聯接的建索引 4 伺服器放幾個硬碟，把資料 日誌 索引分盤存放，這樣可以提高io吞吐率 5 用優化器，優化你的查詢 6 考慮冗餘，這樣可以減少連線 7 可以考慮建立統計表，就是實時生成總計表，這...