快閃儲存器、pcm等新型儲存介質的引入使得大資料儲存架構有了多種選擇。但由於新型儲存介質在**、壽命等方面與傳統的磁碟相比不具優勢，因此目前主流的觀點是在大資料儲存系統中同時使用新型儲存介質和傳統儲存介質，由此產生了多種基於新型儲存的大資料儲存架構，如基於pcm的主存架構、基於快閃儲存器的主存擴充套件架構、基於多儲存介質的分層儲存架構等。
由於pcm儲存密度高、容量大、耗電低，而且訪問速度接近記憶體，因此工業界和學術界都開展了將pcm作為主存系統的研究。與快閃儲存器相比，pcm訪問延遲更短，而且可以直接按位訪問，因此能夠被cpu直接訪問，更適合作為dram的擴充套件。與dram相比，pcm具有非易失性特點，因此適合儲存檔案等靜態資料。
在利用pcm替代dram方面，目前的研究重點主要集中在利用dram減少對pcm的寫操作以及負載均衡等專案。對於利用dram來減少對pcm寫操作的方法，研究者往往借助dram快取來延遲對pcm的寫操作從而達到減少pcm寫次數的目的［42］。負載均衡思想是通過增加一層位址對映，將pcm的寫操作均勻地分配給所有的儲存單元，以盡可能地達到pcm的最大使用壽命。
在針對大資料儲存的集群架構中，負載均衡主要通過適合pcm的資料劃分演算法實現。pcm作為主存系統的思想對於大資料管理與分析有著重要的意義。雖然大資料應用中涉及的原始資料量非常大，但真正有價值的資料以及應用每次需要訪問的資料量仍是有限的，因此我們可以利用pcm的高效能、非易失、按位訪問等特性，將應用需要實時訪問的**值資料儲存在pcm中，將pcm與dram混合形成高效能資料處理系統，同時將大規模的原始資料儲存在磁碟和ssd中。因此，將pcm引入目前的儲存架構中將有望解決大資料管理與分析中的效能問題。
與pcm相比，目前快閃儲存器的應用更為廣泛。高速大容量ssd裝置的不斷出現，使得ssd在儲存架構中的地位也得以提公升。在大資料管理方面，目前ssd的儲存容量還達不到大資料的pb級別儲存需求，因此近年來主要的工作集中在利用高階ssd進行主存擴充套件的研究上。
普林斯頓大學的研究人員提出了一種利用ssd進行記憶體擴充套件的主存管理系統——ssdalloc。ssdalloc在儲存體系中將ssd提公升到乙個更高的層次，它把ssd當作乙個更大、稍慢的dram而不是將它當作磁碟的快取。為了提高資料庫系統的整體效能，研究者以nosql資料庫系統redis為基礎平台，用ssd代替磁碟作為虛擬記憶體中的交換裝置，擴大虛擬記憶體的同時幫助nosql資料庫減少資料讀延遲。考慮到當將ssd作為虛擬交換裝置時，頁面交換的代價依然較大，一種基於dram與ssd的混合主存架構被設計出來，其將ssd作為主存，將dram作為ssd的高速緩衝，並將這種混合主存結構融入memcached，大幅提公升了memcached效能。
基於不同儲存介質的分層儲存架構目前主要集中在dram、快閃儲存器、磁碟的混合儲存上。一種觀點是將快閃儲存器作為記憶體與磁碟之間的快取。例如，flashcache［43］是facebook為innodb設計的塊快取應用，它將快閃儲存器劃分為乙個邏輯集合，基於組相聯對映的思想將磁碟上的塊資料對映到快閃儲存器中。當i/o請求到達時，flashcache會先在快閃儲存器中查詢該資料是否已被快取，如果有則直接進行讀操作，否則訪問磁碟。將快閃儲存器作為dram與磁碟之間的快取進行資料預取［44］或者預寫［45,46］，可以充分發揮快閃儲存器讀效能好的優點，減少對磁碟的寫操作，同時減少系統能耗。另一種觀點是將快閃儲存器與磁碟一樣作為二級儲存介質，手動或者自動地將不同類別的資料分配到快閃儲存器或磁碟上［47］。由於不同的儲存分配策略以及儲存介質組合方式對於此類系統的效能有著決定性影響。
在儲存分配方面，已有研究傾向於根據i/o特性和資料的「冷熱」程度來進行儲存分配，將讀傾向負載的資料或者熱點資料存放在ssd上，而寫傾向負載或非熱點資料等則存放在磁碟上。ibm在其企業級儲存裝置ds8000上增加了easytier自動封存儲存功能［48］，將較大的邏輯卷進行劃分，並對劃分後的子捲進行熱度檢測，如果是熱點卷，就將其遷移到ssd上，同時把ssd的非熱點卷遷移到磁碟上。
此外，面向分層儲存的儲存分配方法還應用在大資料檔案系統的元資料管理上。在面向大資料管理的分布式檔案系統中，利用分層系統儲存分配的思想進行元資料管理，可以提公升元資料訪問效能。其基本思路是採用在元資料伺服器上使用ssd作為儲存裝置的方法來加速檔案系統。
在儲存介質用量組合方面，基本思想是將有限的快閃儲存器儲存資源在複雜的工作負載下進行有效分配，在減少成本的同時滿足系統的效能要求。在大資料環境中，儲存介質用量組合研究需要考慮複雜的資料負載、系統的可靠性、能耗等多個方面的因素。
google設計了一款基於colossus檔案系統的快閃儲存器分配推薦系統——janus［49］。他們通過實驗發現大資料儲存中i/o訪問主要集中於新建檔案，故此系統將新建檔案儲存在快閃儲存器層，然後使用fifo或者lru演算法將檔案遷移到磁碟進行儲存，他們還設計了快取性評估方程、經濟性評估方程來評估不同的負載需求，進而進行快閃儲存器用量推薦。其實驗結果表明，經過janus的優化，快閃儲存器層儲存了1%的資料，服務了28%的讀操作，顯著提高了系統的讀效能。
由於目前快閃儲存器、pcm等新型儲存介質與dram、磁碟等傳統儲存介質處於共存的局面，預計在較長的時間內新型儲存介質將與傳統介質同時出現在儲存系統中。尤其對於大資料儲存環境，其資料的使用頻率、規模等都不允許將所有資料都統一儲存在集中式的儲存裝置上，因此基於分層儲存的多介質混合儲存技術將越來越受到研究者們的重視。但由於多種儲存介質的分層儲存存在著多種組合方式，哪種混合儲存策略適合大資料應用、在多介質混合儲存系統中如何有效地實現資料分配與遷移等仍有待進一步探索。
目前，基於分布式觀點的資料管理是大資料儲存與管理研究中的乙個熱點。一種觀點是將快閃儲存器應用於分布式檔案系統中進行元資料儲存。元資料對於整個大資料管理系統的效能起著決定性作用，對於大資料解析、大資料統計、大資料操作優化等有著重要作用。基於快閃儲存器的分布式檔案系統元資料管理的基本思路是在元資料伺服器上使用ssd作為儲存裝置來加速檔案系統。例如，在lustre分布式檔案系統架構中的元資料伺服器（metadata server，mds）上使用快閃儲存器作為儲存介質，加速元資料的讀寫速度［50］。此外，基於memcached的記憶體分布式快取技術也被廣泛用來加速大規模資料的訪問，而在更為複雜的大資料環境下，其侷限性主要體現在：一方面記憶體分布式快取受限於集群記憶體容量，只能服務容量較小的熱點資料，會造成效能下降；另一方面，如果採取擴大集群記憶體容量來滿足更多資料快取需求的話，會帶來高額的成本和巨大的能耗。現階段解決方法是將小容量、高i/o負載的快取處理與大容量、中低等i/o負載的快取處理分離，形成「熱快取」與「冷快取」的快取策略，其中在「冷快取」方面主要採用了快閃儲存器技術。例如，facebook設計了基於快閃儲存器的mcdipper鍵-值儲存系統［51］，代替memcached為大量訪問頻率較低的提供快取服務，降低成本和能耗，為了減少快閃儲存器i/o延遲，將快閃儲存器層分成兩個區域，乙個區域存放資料，另乙個區域配置了「雜湊桶」存放鍵值資料的指標，並將「雜湊桶」元資料放入了記憶體。
《大資料管理概論》一導讀
叢書前言 前言作者簡介 第1章 概述 1.1 大資料的基本概念 1.2 大資料的演變過程 1.3 大資料應用 1.4 大資料的處理模式 1.4.1 批處理 1.4.2 流處理 1.5 大資料管理的關鍵技術 1.5.1 大資料融合 1.5.2 大資料分析 1.5.3 大資料隱私 1.5.4 大資料能耗...
《大資料管理概論》一1 2 大資料的演變過程
從資料庫 database，db 到大資料 big data，bd 看似只是乙個簡單的技術演進，但細細考究不難發現兩者有著本質上的差別。大資料的出現必將顛覆傳統的資料管理方式，在資料 資料處理方式和資料思維等方面都會帶來革命性變化。如果要用簡單的方式來比較傳統的資料庫和大資料的區別的話，我們認為 池...
大資料管理
1 資料治理 概念 業務中涉及資料使用的一整套管理行為，如何制定和實施針對整個企業內部資料的商業應用和技術管理的一系列政策和流程.組成部分 元資料管理 主資料管理 大資料質量管理 大資料資產化 大資料共享發布 大資料標準 大資料交換整合 元資料管理 收集元資料，對元資料進行查詢 分析 版本管理 後期...