本篇主要講述運算元據儲存（ods）系統產生的背景、定義、特點，以及它與資料倉儲的區別。
ods中的資料具有以下4個基本特徵：
（1）實現企業級的oltp操作：
傳統的操作型資料庫往往只存放企業某一類業務或者某乙個部門的資料，因此無法面向企業全域性資料的oltp，而ods可以實現。因為ods的資料是面向整個企業進行整合彙總的，克服了原來面向應用的操作型資料庫資料分散的缺陷。
（2）實現即時的olap操作：
在資料倉儲上進行oalp，往往由於資料量十分龐大而需要較長的時間。而在企業實際應用中，對於一些較低層次的決策，往往並不需要太多的歷史資料，可能只需要參考當前的或者接近當前的資料就可以完成，並且要求具有較快的響應時間，因此資料倉儲顯然無法滿足這樣的要求，但是ods可以實現。ods中不僅有面向企業全域性的細節資料和彙總資料，而且規模比資料倉儲小，具有較強的實時響應能力。
總結：ods是這樣一種資料儲存系統，它將來自不同資料來源的資料（各種操作型資料庫、外部資料來源等）通過etl過程匯聚整合成面向主題的、整合的、企業全域性的、一致的資料集合（主要是最新的或者最近的細節資料以及可能需要的彙總資料），用於滿足企業準實時的olap操作和企業全域性的oltp操作，並為資料倉儲提供整合後的資料，將資料倉儲系統中的etl過程下沉到ods中完成以減輕資料倉儲的壓力。
ods和dw面向不同的使用者，為不同的需求產生，因此都有不可替代的作用，兩者相互結合、相互補充。
ods在三層體系結構中扮演著承上啟下的作用,
一方面，ods在原來獨立的各個db的基礎上建立了乙個一致的、企業全域性的、面向主題的資料環境，使原有的db系統得到改造。另一方面，ods使dw卸去了資料整合、結構轉換等一系列負擔，對dw的資料追加通過ods完成，大大簡化的dw的資料傳輸介面和dw管理資料的複雜度。ods系統的建設，彌補了db~dw兩層體系結構的不足，但是ods並不是必需的，當企業並不需要操作型整合資訊時，基於db~dw兩層體系結構是較優的，如果需要，那麼db~ods~dw三層體系結構則是較優的。
ods在db~ods~dw三層體系結構中起到乙個承上啟下的作用。
ods中的資料雖然具有dw中的資料的面向主題的、整合的特點，但是也有很多區別。
（1）存放的資料內容不同：
ods中主要存放當前或接近當前的資料、細節資料，可以進行聯機更新。
dw中主要存放細節資料和歷史資料，以及各種程度的綜合資料，不能進行聯機更新。
ods中也可以存放綜合資料，但只在需要的時候生成。
（2）資料規模不同：
由於存放的資料內容不同，因此dw的資料規模遠遠超過ods。
（3）技術支援不同：
ods需要支援面向記錄的聯機更新，並隨時保證其資料與資料來源中的資料一致。
dw則需要支援etl技術和資料快速訪問技術等。
（4）面向的需求不同：
ods主要面向兩個需求：一是用於滿足企業進行全域性應用的需要，即企業級的oltp和即時的olap；二是向資料倉儲提供一致的資料環境用於資料抽取。
dw主要用於高層戰略決策，供挖掘分析使用。
（5）使用者不同：
ods主要使用者是企業中層管理人員，他們使用ods進行企業日常管理和控制。
dw主要使用者是企業高層和資料分析人員。
（1）運營商為什麼要建ods？
隨著市場的不斷變化，電信運營商需要以「產品」為中心向以「客戶」為中心轉型，而這種轉型需要建立客戶統一檢視資訊，並實現資訊在各渠道、前後端的共享，但是目前這些資料分布在各個生產系統中，並存在各種資料不一致的現象。因此，提出了以ods系統來解決這一問題。具體地說，希望通過ods系統來滿足以下三種需求：
① 建立企業全域性的客戶統一檢視資訊，指導客戶品牌經營和精確管理；
② 建立統一的資料共享平台，快速支撐跨系統應用，促進企業資料模型的落地，形成企業標準資料；
③ 提公升企業資料質量，解決生產系統之間資料不一致、資料質量差的問題。
（2）ods的系統定位：
ods系統是乙個跨系統的資料共享平台，承接操作環境和分析環境
企業資料架構建立在統一的資料模型的基礎上，由生產系統自有資料庫、運算元據儲存（ods）、企業資料倉儲（edw）三個層面組成。其中，ods儲存按主題分類的面向運營的準實時資料，提供統一的企業資料檢視；生產系統自有資料庫儲存該生產系統內部實時交易資料；edw儲存面向經營決策分析的歷史資料和綜合資料。
ods對生產系統產生的資料進行清洗、過濾、轉換、整合，是提供給edw高質量資料的重要**之一，同時為各個生產系統提供準實時的運營報表等跨系統共享資料服務。另外，在企業運營層，對於需要同時利用跨系統的操作型資料和相關分析結果資料的協作性應用需求，ods也起到關鍵支撐作用。
（3）ods的業務目標：
① 統一準實時的資料共享
② 生產經營資料質量檢查
③ 統一客戶檢視的提供與展示
④ 生產經營報表統一的提供與展示
⑤ 關鍵生產經營績效指標與經營風險的監控
⑥ 跨系統的批量計算
（4）ods與生產系統的比較：
相同點：
① 均包含當前的細粒度運營資料；
② 使用者都是一線的生產和管理人員；
③ 都是資料質量管理閉環流程中的乙個環節（ods對所儲存的資料進行一致性、完整性、正確性的校驗，形成資料校驗結果並返回給源系統進行修正）；
不同點：
① ods不產生運營資料，運營資料由各個生產系統產生；
② 在資料質量管理閉環流程中，ods負責發現資料質量問題，生產系統負責解決資料質量問題；
③ ods為其他系統提供準實時的資料共享服務，生產系統提供實時的資料共享服務；
④ ods提供基於跨系統資料的查詢應用，生產系統通過與ods合作提供跨系統的準實時查詢應用；
⑤ ods系統提供基於跨系統資料的固定或者動態報表，生產系統提供基於單系統的、實時性要求高的固定或動態報表；
⑥ ods負責批量資料的計算，生產系統負責事務驅動的資料計算。
（5）ods與edw的比較：
相同點：
① ods和edw都不是運營資料的產生系統，都是通過etl等過程從各種資料來源中載入資料；
② ods和edw的資料都是分層儲存，既有細節資料，又有根據不同維度彙總的綜合資料；
③ ods和edw都可以提供基於跨系統整合後資料的報表類應用。
不同點：
① ods中的細節資料時效性高，並提供給其他系統共享，而edw中的細節資料時效性低，不提供給其他系統共享，只供自身挖掘分析使用；
② ods中的資料彙總維度較少，edw中資料彙總維度多。
③ ods提供的報表內容主要是面向生產運營過程中資料的統計與監控，不做進一步分析和挖掘，而edw中的報表內容主要是針對跨系統的資料進行深度分析和挖掘，著重趨勢分析並提供評估和決策功能；
④ ods面向一線生產的管理人員，edw面向專業分析人員和企業中高層管理人員；
⑤ ods中的運用資料**是生產系統，edw運營資料主要從ods中獲取，ods中沒有的才從生產系統中獲取；
⑥ ods中的資料儲存期限短於edw中的資料儲存期限。
1.資料調研
2.確定資料範圍 需要把上端應用需求與ods資料範圍進行驗證，以確保應用所需的資料都已經從業務系統中抽取出來，並且得到了很好的組織,以er模型表示資料主題關係 ；
3.根據資料範圍進行進一步的資料分析和主題定義 把第一步生成的每個er圖中的實體進行分解，分解的結果仍以er表示為佳 ；
4.定義主題元素 粒度、維、度量、儲存期限
a).定義維的概念特性：
維名稱，名稱應該能夠清晰表示出這個維的業務含義。
維成員，也就是這個維所代表的具體的資料，
維層次，維成員之間的隸屬與包含的層次關係，每個層次需要定義名稱
b).定義度量的概念特性：度量名稱，名稱應該能夠清晰標書這個度量的業務含義
c).定義主題的概念特性：主題名稱和含義，說明該主題主要包含哪些資料，用於什麼分析；
d).主題所包含的維和度量：主題的事實表，以及事實表的資料。
e).定義粒度：主題中事實表的資料粒度說明，這種粒度可以通過對維的層次限制加以說明，也可以通過對事實表資料的業務細節程度進行說明。
f). 定義儲存期限：主題中事實表中的資料儲存週期。
5.迭代，歸併維、度量的定義
具體的業務**所形成的各個維、以及維成員等需要進一步進行歸併，把概念統一的維定義成乙個維，不允許同乙個維存在不同的實體表示
6.物理實現
定義每個主題的資料抽取週期、抽取時間、抽取方式、資料介面，抽取流程和規則
7.對ods中的各個主題的事實資料進行時間上的彙總
按照時間維進行彙總，以實現初步的資訊沉澱
8.按照業務邏輯的規則，對資料進行歸併
9.把包含細節過多的交易記錄進行拆分
10.彙總、再彙總
ODS層載入資料指令碼
匯入資料 load data inpath origin data gmall log topic event 2019 12 10 into table gmall.ods event log partition dt 2019 12 10 hive中建表語句 建立輸入資料是lzo輸出是text，...
網路的七層和四層協議簡介
tcp ip層次結構 tcp ip協議 封裝層次 tcp ip協議族按照層次由上到下，層層包裝。最上面的是應用層，這裡面有http，ftp,等等我們熟悉的協議。而第二層則是傳輸層，著名的tcp和udp協議就在這個層次。第三層是網路層，ip協議就在這裡，它負責對資料加上ip位址和其他的資料以確定傳輸的...
間隔層裝置和過程層簡介
1.間隔層裝置包括 測控裝置，保護裝置，數字錄播器。2.繼電保護與智慧型終端採用goose點對點，保護之間採用goose組網傳輸方式。3.過程層裝置包括，非常規互感器，合併單元，智慧型操作箱。4.合併單元，對感測器傳來的三相電氣量進行合併和同步處理，並將處理後的數碼訊號按特定格式提供給間隔層裝置使用...