1.list資料訪問模型常見的有哪兩種方式?
2.本文提出的方案有什麼不足？
在list長度較少時候，我們可以直接的使用資料庫的翻頁功能，如
select * from list_table limit offset, row_count;複製**
根據經驗，在大部分場景下，單個業務的list資料長度99%在1000條以下，在資料規模較小時候，上面的方法非常適合。但剩下的1%的資料可能多達100萬條，在資料規模較大的時候，當訪問offset較大的資料，上述方法非常低效(可參看why does mysql higher limit offset slow the query down?)，但在實現方案的時候不能忽視這些超大資料集的問題，因此要實現乙個適合各種變長list的翻頁方案，考慮到資料的長尾問題，並沒有簡單高效的方案。這也體現了常說的80%+的時間在優化20%-的功能。
list資料訪問模型常見的有兩種方式1. 扶梯方式
2015-1-2 21:56 上傳
(圖：blogspot的導航條)
2015-1-2 21:56 上傳
(圖：很多瀑布流式的產品只提供乙個more的導航條)
扶梯方式在技術實現上比較簡單及高效，根據當前頁最後一條的偏移往後獲取一頁即可，在mysql可使用以下方法實現。
select * from list_table where id > offset_id limit n;複製**
由於where條件中指定了位置，因此演算法複雜度是o(log n)2. 電梯方式
另外一種資料獲取方式在產品上體現成精確的翻頁方式，如1,2,3……n，同時在導航上也可以由使用者輸入直達n頁。國內大部分產品經理對電梯方式有特殊的喜好，如圖
2015-1-2 21:56 上傳
但電梯方式在技術實現上相對成本較高，當使用以下sql時
select * from list_table limit offset, row_count;複製**
我們可以使用mysql explain來分析，從下文可以看到，當offset=10000時候，實際上mysql也掃瞄了10000行記錄。
2015-1-2 21:56 上傳
為什麼會這樣？在mysql中，索引通常是b-tree方式(但儲存引擎如innodb實際是b+tree)，如圖
2015-1-2 21:57 上傳
從圖中可以看到，使用電梯方式時候，當使用者指定翻到第n頁時候，並沒有直接方法定址到該位置，而是需要從第一樓逐個count，scan到count*page時候，獲取資料才真正開始，所以導致效率不高。對應的演算法複雜度是o(n)，n指offset，也就是page*count。
另外offset並不能有效的快取，這是由於
1、在資料存在新增及刪除的情況下，只要有一條變化，原先的樓層可能會全部發生變化。在乙個使用者併發訪問的場景，頻繁變化的場景比較常見。
2、電梯使用比較離散，可能乙個20萬條的list，使用者使用了一次電梯直達100樓之後就走了，這樣即使快取100樓之下全部資料也不能得到有效利用。
以上描述的場景屬於單機版本，在資料規模較大時候，網際網路系統通常使用分庫的方式來儲存，實現方法更為複雜。
在面向使用者的產品中，資料分片通常會將同一使用者的資料存在相同的分割槽，以便更有效率的獲取當前使用者的資料。如下圖所示
2015-1-2 21:57 上傳
(圖：資料按使用者uid進行hash拆分)
圖中的不同年份的資料的格仔是邏輯概念，實際上同一使用者的資料是儲存在一張表中。因此方案在常見的使用場景中存在很大不足，大部分產品使用者只訪問最近產生的資料，歷史的資料只有極小的概率被訪問到，因此同乙個區域內部的資料訪問是非常不均勻，如圖中2023年生成的屬於熱資料，2023年以前的屬於冷資料，只有極低的概率被訪問到。但為了承擔紅色部分的訪問，資料庫通常需要高速昂貴的裝置如ssd，因此上面方案所有的資料都需要存在ssd裝置中，即使這些資料已經不被訪問。
簡單的解決方案是按時間遠近將資料進行進一步分割槽，如圖。
2015-1-2 21:57 上傳
注意在上圖中使用時間方式sharding之後，在乙個時間分區內，也需要用前一種方案將資料進行sharding，因為乙個時間片區通常也無法用一台伺服器容納。
上面的方案較好的解決了具體場景對於key list訪問效能及成本的平衡，但是它存在以下不足資料按時間進行滾動無法全自動，需要較多人為介入或干預
資料時間維度需要根據訪問資料及模型進行精巧的設計，如果希望實現乙個公用的key-list服務來儲存所有業務的資料，這個公用服務可能很難實現
為了實現電梯直達功能，需要增加額外的二級索引，比如2023年某使用者總共有多少條記錄
由於以上問題，尤其是二級索引的引入，顯然它不是理想中的key list實現，後文繼續介紹適合大資料翻頁key list設計的一些思路及嘗試。
什麼是大資料平台和大資料
大資料 時下乙個熱門的詞語，近幾年來，關於大資料的著作和文章鋪天蓋地，似乎也在共同在傳遞乙個資訊 越來越多的行業 人士開始關注並實際探索大資料的應用，我們正在一起描繪著大資料巨大效用的藍圖，但在實踐的路上，我們都處在孩子起步階段小步前行。一 什麼是大資料 大資料 big data 指無法在一定時間範...
大資料時代 大資料的應用
大資料應用的關鍵，也是其必要條件，就在於 it 與 經營 的融合，當然，這裡的經營的內涵可以非常廣泛，小至乙個零售門店的經營，大至乙個城市的經營。以下是我整理的關於各行各業，不同的組織機構在大資料方面的應用的案例，在此申明，以下案例均 於網路，本文僅作引用，並在此基礎上作簡單的梳理和分類。通訊行業 ...
大資料 大資料的前世今生
隨著資料對生產 生活越來越重要，資料分析也逐漸成為一門顯學，在各個領域中都發揮著重要的作用。那麼你了解資料分析的發展歷史嗎？從國家現狀衍生出的統計學，從博彩誕生而來的概率論，為資料分析奠定了堅實的基礎。伴隨著各路大神的粉墨登場，資料分析也活色生香起來，從霍亂神醫 到護理之祖南丁格爾，從二戰日本的自殺...