分析的基礎概念和實踐都是通用的，這些概念和實踐可以應用於重複型分析。分析有兩種不同的型別：開放式連續分析和基於專案的分析。開放式連續分析常用於企業的結構化資料領域，但是在重複型資料領域很少使用。在開放式連續分析中，分析是從資料的收集開始，對資料進行提煉和分析，當完成資料分析後就會根據分析結果做出決策，通過決策的使用收集更多的原始資料重複分析過程。另一種型別的分析系統是基於專案的分析，對於基於專案的分析而言，其目的是僅做一次分析。
乙個調查究竟 應該進行一次還是經常進行卻決於圍繞著該調查的基礎設施。對於連續性的調查，需要建立一種持續性的基礎設施；而在一次性調查中，則需要建立一種極為不同的基礎設施。對於任何一種調查一般都需要尋找模式，組織需要識別導致結論產生的模式，通過了解這些模式，組織可以獲得洞察力，能夠更高效、更加安全或者更加經濟地進行自我管理。模式可以以不同的形式出現，模式可以以測量事件的形式出現，有時會對某個變數進行連續測量。在有離散事件的地方，可以通過散點圖來表現這些事件，資料統計師應該確定散點圖上那些點的準確性和完整性；另一種尋找模式的形式是觀察某個連續測量的變數，對於這種情況，一般都會對關注的閾值劃分層級，當超出閾值的乙個或者多個層級時，就應該對資料進行關注。分析處理與其它型別的處理有著根本性的不同，一般可以將分析處理視為啟發式處理。在啟發式處理中，分析需求是從當前這一輪處理的結果中發現的。啟發式過程的特徵之一就是剛開始是無法直到有多少次重新開發迭代過程，而且也無法直到啟發式分析的過程要花費的時間；啟發式過程的另乙個特徵是在啟發式過程的週期內，需求改變既可能很小也可能完全改變。啟發式過程有時需要對資料進行「凍結」，在啟發式過程中，處理資料的演算法是不斷變化的，如果正在被操作的資料同時也在發生變化，那麼分析時就無法判斷結果的產生**，因此，針對資料演算法變化的情況需要將其操作的資料凍結起來。
啟發式處理是在沙箱中進行的，沙箱是一種供分析師檢視和研究資料的環境，採用沙箱會減少分析師在處理型別或者數量方面受到的限制。需要沙箱的原因在於：在標準企業處理中需要對處理過程進行嚴密的控制，而在沙箱中對分析師並沒有這種限制，沙箱環境中並不需要高效能，分析師可以自由地進行想要做的分析研究。沙箱環境的存在還有另乙個原因，那就是在標準作業環境中，需要對資料訪問和計算進行嚴格控制，因為在標準環境中，需要考慮安全性和資料治理方面的事項，在沙箱中則不需要考慮這些。沙箱處理還有相反的一面，由於在沙箱環境中沒有控制機制，沙箱環境中的處理結果不應該在正式場合中採用，沙箱中的結果可以產生全新且重要的洞察力，但是當獲取這種洞察力之後，就應該將其轉換成乙個更為正式的系統，使之融入標準作業環境中。
分析師需要設計標準概況，標準概況是被分析物件的構成情況。企業的標準概況一般包括企業的規模、位址、產品、服務型別以及收入情況等。使用標準概況的原因之一就是事務的概況可以使管理人員對系統中將要出現的狀況一目了然，然而標準概況非常有用的另乙個原因使在研究大規模資料時，檢視單個記錄並且度量其距離標準記錄有多遠通常是非常必要的，因為無法確定單個記錄舉例標準記錄有多遠。當針對重複型大資料環境做分析時，處理的型別可以分為兩種，一種叫做提煉處理，另一種叫做篩選處理。在提煉處理中，處理的結果是單一結果集；對於篩選處理，處理結果是對多個記錄的選擇和精煉。篩選處理的目標是找出所有滿足某種準則的記錄，一旦找到了這些記錄，那麼就可以對其進行編輯、操作或者做其它變換使之適應分析需求。
篩選的結果之一就是建立資料的子集，當讀取和篩選重複型資料時，結果就是為資料建立不同的子集，當讀取和篩選重複型資料時，結果就是為資料建立不同的子集，建立的原因有以下幾方面：
對於重複型資料來說，一般很容易獲取其語境，原因是重複型資料的資料出現的頻次很高，而且結構相似。對於大資料環境來說，因為資料是非結構化的，所以在使用前必須將這些資料解析。重複型記錄本身就有價值，但是有時候還可以將重複型記錄鏈結到一起形成乙個更大的圖，從圖中的邏輯關係可以推導出更加複雜的內容。重覆記錄鏈結的方式有很多種，最常用的方式是鏈結資料值。重複型大資料環境中的資料看起來就像是將大量資料單元首尾相連、疊放在一起，將重複型資料看作是以資料塊、記錄和屬性等形式來組織。資料塊是一種比較大的空間分配，資料塊中裝載了資料單元。可以將這些資料單元視為記錄，資料屬性存在記錄當中。大資料中最常見的一種形式就是日誌資料，當檢視日誌資料時會發現，從結構上來看，日誌資料也是重複型資料，直接訪問大資料中資料的技術主要是：
資料的讀取和解釋
大規模資料的管理
大資料的管理很消耗資源，並且需要先建立一種資料結構。為資料建立不同型別的索引是最有效的。大多數索引的建立都是從使用者的資料訪問需求開始的，當建立索引時，可以將其稱作主動式索引。然而，還可以建立另一種型別索引被稱為被動索引。被動式索引並不是從使用者需求出發的，這些索引是按照資料的組織方式建立的，以備後期訪問資料時使用。使用索引是需要代價的，索引的代價體現在：
大資料環境中另一種非常重要的資料型別就是元資料。元資料有很多形式，每個形式都有其重要的原因。比較重要的兩種元資料的形式是原始元資料和匯出元資料。原始元資料是指那些能夠滿足資料的直接描述性需求的元資料，典型的原始元資料報括以下資訊：
原始元資料用於表示和描述大資料環境中儲存的資料。匯出元資料有很多種形式，包括以下這些：
對於大資料環境中儲存的元資料而言，這些元資料的存放位置則是需要考慮的問題。通常可以將元資料存放在乙個單獨的儲存庫當中，而該儲存庫的存放是與資料本身物理隔離的。在大資料環境下，在物理上將描述性元資料與其所描述得資料存放在同一位置和同一資料集中通常是有意義的。在物理上將元資料與資料本身存放在同一物理位置上的原因包括：
將元資料直接與大資料中的資料儲存到一起的做法並不意味著不存在為大資料建立乙個元資料儲存庫的可能性，可以將無法在大資料環境中儲存的元資料存放在某個儲存庫中。
由於大資料儲存成本低廉，所以將來自內部資料來源以外的資料儲存起來也非常方便。擋在大資料環境中儲存資料並且使用文字消岐處理將資料轉換成標準資料庫格式時，就出現了通用識別符號或者通用度量這樣的主題。因為資料有多樣的**，在不同的資料來源中資料缺乏或者沒有準則和統一性，而且因為要將資料與通用度量關聯起來，所以需要在所有資料**之上建立統一的度量特徵。以下資料可能包含的三種標準：
對於資料而言，資料安全性是重點，資料保護的原因有以下幾方面：
對於安全性來說，最有效也是最簡單的方式就是加密。加密過程就是獲取資料並且將實際值替換成加密值的過程。安全性除了資料本身以外還有對資料訪問許可權的控制。在分析重複型資料時，有兩種基本的處理方式即提煉和篩選。在資料的提煉過程中，可以選擇和讀取重複型記錄，之後分析資料、查詢平均值、總值、異常值等。在完成分析之後會得到單一的結果，這樣就完成了提煉過程。針對重複型資料的另一種處理就是篩選和重組重複型資料，在資料的選擇和分析方面，篩選過程與提煉過程非常相似。但是資料篩選的輸出是不同的。在篩選處理中，輸出可以有很多記錄，而且篩選是規律、按照時間表進行。
大多數針對重複型資料所做的分析處理會因為專案的不同而不同，因此，在專案結束之後建立乙個存檔是非常有用的。存檔時需要考慮的資訊一般有以下這些：
在重複型分析開始時，很有必要建立一些指標用來確定乙個專案是否已經達到了目標。概述指標的最佳時期就是專案剛開始的時候。指標的確立可以檢測專案在每個階段的實施情況，也可以作為專案階段性驗收的標準。
以上全部內容就是重複型資料分析。
大資料架構分析
最近，我再整理學習的大資料的架構知識。大資料，只是的對大量數量的儲存，分析 計算 應用 處理 大資料採取非關係型儲存。monogo居多。比較系統。1.kafak分布式寫入採集系統。2.hbase寫入資訊。3.storm處理資料。4.結果儲存mysql。日誌系統 1.日誌寫入。2.hbase儲存。3....
大資料架構分析
1.典型應用 ab test 平台 指標計算 指標 orderid,passenger 等.cube 演算法,快速生成 n 個維度的資料,可隨意的下探上放.其他細節 見個人日記 監控統計 報表展現 異常檢測 餘弦定理 apollo採用箱線圖 boxplot 2.cboard 前端展現平台,拖拽 維度...
關係型資料庫架構
將資料持久化存入磁碟中 用邏輯結構對映出物理結構，並且在程式中提供獲取 管理資料的方式以及必要的問題追蹤機制。程式例項一般包括以下八個模組 資料處理是在程式所在的記憶體中發生的，所以資料應該從磁碟匯入到記憶體中，但是在這個匯入的過程中會發生 i o 而i o的速率是程式執行快慢的瓶頸。所以資料庫的儲...