rdbms
nosql
hadoop
【hbase】
hbase以big table為藍本，以鍵值對儲存，實現快速在主機內億級記錄中定位到所需的資料並訪問它。
hbase彌補了hadoop無法隨即讀寫的缺陷，如果需要實時的訪問資料，就把資料存入hbase。
hbase常應用於建立網際網路索引、推薦系統後台、瀏覽歷史及監控資料的儲存和查詢等場景。
【hive】
將結構化的資料庫檔案對映成資料庫表，擅長sql的開發者可以使用hive離線的對資料進行處理分析。
任務跑在hadoop上，擅長sql又不想寫mapreduce的同學可以考慮hive進行資料分析
【flume】
輕量級日誌收集工具
【sqoop】
可以使用sqoop將mysql資料匯入到hive或者hbase。hive可以使用hbase外部資料建立表。
【kafka】
kafka是由linkedin開源出來的一套高擴充套件的分布式訊息系統，一套基於分割槽的發布/訂閱系統，leader/follower。
利用kafka系統，使用者可以發布大量的訊息，同時也能實時訂閱消費訊息
生產者會把資料記錄發布到乙個
topic下面的分割槽中，具體方式是輪詢或者基於主鍵做分割槽，而消費者會處理topic中發布出來的資料記錄。
【flink】
【storm】
【spark】
mysql資料儲存 mysql資料儲存
頁 從磁碟讀取或者寫入資料時，我們通常會指定乙個緩衝區大小，達到緩衝區域大小才會寫入一次資料，較少io操作次數。同樣的從磁碟讀取資料時候，就作業系統而言，讀取一條較小的資料時，並不是只會返回我們需要的資料，而是會將這個資料前後的部分資料一併讀取到記憶體中，以備之後使用。這個從磁碟讀取的最小量的資料被...
資料儲存模型
在網際網路行業，通常需要高併發 高效能 高可用性的資料庫系統。在處理大資料時，關係型資料庫遭遇了瓶頸，這就促使我們思考從資料模型的根源入手，來解決效能上的問題。根據資料的儲存模型和特點，nosql資料庫分為很多種類，主要分為以下四個型別 鍵值模型 列式模型 文件模型與圖形模型。鍵值模型 例項 dyn...
Hadoop系列 7 資料儲存之資料儲存模型
1 關係模型 主要以表的形式儲存資料，表中每一行 row 為乙個記錄，每列都有名稱和型別 2 nosql模型 1 鍵值對資料模型 有乙個特定的key和乙個value指標，指向特定的資料。適用 通過key對資料進行查詢和修改等操作 不適用 側重於批量查詢 更新的海量儲存系統，以及複雜邏輯操作 優點 資...