關於資料管理的一些思考

伴隨著網際網路、5g、大資料的蓬勃發展，資料儼然已成為企業不可或缺的重要資產，資料管理的意義愈發突出，但想要管理好資料卻並不是一件容易事，為什麼呢？

首先看一下資料的定義：

資料是通過觀測得到的數字型的特徵或資訊。——維基百科

其次，需明確資料管理的定義：

資料管理，即對資料資源的管理。按照 dama 的定義：「資料資源管理，致力於發展處理企業資料生命週期的適當的建構、策略、實踐和程式」。這是乙個高層而包含廣泛的定義，而並不一定直接涉及資料管理的具體操作。——維基百科

結合實際通俗來講，就是企業發展過程中資料量不斷攀公升，資料在幫助企業發展時，也帶來諸多問題，因此，企業需要有一套整體完備的理念、程式、架構管理資料，讓資料更好的為企業所用。

為什麼要管理資料？

企業管理資料，與我們普通人理財很相似。但一大重要不同點是：企業管理資料是希望資料能夠更高效且低成本運作以帶來商業收益。但正如理財有風險一樣，沒想清楚為什麼要管理資料前，不要直接上馬乙個資料管理專案，也不要去採購資料管理產品，首先需要搞清楚，資料管理的意義在**，能為企業帶來什麼價值？

管理資料的本質

那麼，怎麼來管理資料呢？

答案：用資料來管理資料。管理資料的前提是能把要做的事情量化，事情量化後也成了資料，並且我們需要用資料進行工作決策和管理。其次，還需要有一套行之有效的管理方法。

有了目的和方法後，就要開始制定資料規範

制定資料管理規範時比較難，需圍繞目標邊制定邊實踐，沒有最好的制度，只有最適合自己的。

下面做乙個衡量資料管理能力的評估題目，一要量化，二要靠機器回答，三要半小時內回答。

你會發現要回答這些問題，不僅是建個資料管理系統那麼簡單，需要制定相應的規範和標準。

如果需要知道每張表對於資料變現的價值，必須有應用跟表的關係，因此，開發上線的時候必須制定規範，起碼要提交對映關係，同時為了防止兩張皮現象，必須依賴自動化的系統。

如果需要知道每張表的資料質量報告，必須制定相關的質量指標，並能夠及時預警和處理，這個需要一套資料質量監控制度。

如果需要確定哪些錶能直接下線，必須制定一套資料表生命週期管理制度，需要有表的比如血緣和影響分析，否則怎麼知道有多大影響？

如果要讓運維人員知道這些表誰是誰，則必須有好的資料字典，明確表命名規範和口徑定義，以降低管理成本。

如果….

你看，所有的資料管理規章制度其實都是為了確保目的達成，由此會延伸出乙個龐大的資料管理體系，但還是要懂得能抓住本質。因為一開始，不可能想到這麼多，能做這麼多，需從本源開始思考從何入手。

工欲善其事必先利其器。當前資料量愈發龐大，靠人肉難以保證穩定且風險性巨大，因此資料管理工具在現代企業中越發重要。

之前微盟程式設計師刪庫跑路事件傳遍全網，幾行**，讓上市公司微盟的市值一天內蒸發超 10 億，數百萬使用者受影響，直接間接的損失難以計量。這個「段子」一樣的事件，無疑給各大公司敲響警鐘，尤其是資料管理並不規範的中小公司，如果這樣的刪庫跑路事件發生，產生的效果將無疑是毀滅性的。

可以看出，想要保證企業資料的穩定執行，資料的管控和審計無疑是非常重要的，對於資料管理者來講尤其如此。企業中對不同層級的開發人員需制定詳細的資料操作許可權，哪些允許，哪些不允許，應明確指出。而且使用者在許可權內對資料做了哪些事情，尤其是高危事件，應要做到詳細的審計分析，這兩點筆者認為是最必不可少的。

另外，資料管理的視覺化也非常重要，有些公司的 etl 任務多達成百上千個，能快速簡單的判斷任務是否執行成功也很重要，它將直接決定到運維的工作量和難易程度。

當前資料管理的產品並不少，但要想面對複雜多變的企業環境，不同的資料庫情況，不同使用者的操作習慣等，往往能達到的效果有限。

怎麼才能算是好的資料管理工具？

首先，一定是能夠融入到企業的生產環境中去，這是大前提。

其次，當前企業要用到的資料庫種類越來越多，如 nosql、newsql、國產資料庫等，所以要在乙個平台內支援常用的各類資料庫，而不需要開啟一大堆工具。

最後便是最重要的資料安全。對於 dba 而言，這裡最基本的兩項剛需功能可能是：許可權管控和審計。

資料管理的一些思考

資料管理是個系統性的工程，涉及到企業很多流程的再造和新機制的建立，比如規範開發流程等，影響也是全方面的，也需要贏得管理者的支援，不然也會舉步維艱。

另外，資料管理是個專業化的工作，要有專業化的人全力來對應，其他例如工具等都是輔助，離開專業的人才，往往也不會達到很好的效果。

總結未來時代，資料將會愈發龐大，資料管理工作也將更加複雜困難，這既是給資料從業者的挑戰，也是時代賦予的機會。

基於 web 的統一資料管控工具 cloudquery——

關於專案管理的一些思考

好記憶不如爛筆頭 所以還是要記錄下來的。關於專案管理，作如下的簡要描述，可以給自己乙個明確的提示。it 行業，一般的專案分為七大模組，分別為 需求分析，概要設計，詳細設計，和單元測試，系統測試，安裝和移植，專案管理等，當然還可以細分為其他的模組，不過主要可以從這些方面來著手。可是很多時候，我們在專案...

關於SpringIOC的一些思考

ioc是 依賴倒置原則 的乙個特例，說其是特例，就是說其具有 依賴倒置原則 的性質。依賴倒置原則強調的兩點是 上層模組和下次模組都依賴於抽象，二者之間通過這種抽象的東西聯絡在一起 具體可以依賴於抽象，而抽象不能依賴於具體。我認為spring提倡的 基於介面程式設計 就是為了遵循 依賴倒置原則 其中所...

關於sizeof 的一些思考

今天面試被問到sizeof，回來整理一下。1 定義 sizeof是c c 中的乙個操作符 operator 作用就是返回乙個物件或者型別所佔的記憶體位元組數。msdn上的解釋為 the sizeof keyword gives the amount of storage,in bytes,assoc...