dataops如何改善資料，分析和機器學習

您是否注意到大多數組織都在嘗試使用其資料做更多的事情？

[infoworld的要點：什麼是大資料分析？您需要了解的所有內容 • 什麼是資料探勘？分析如何發現見解。|通過infoworld大資料和分析報告時事通訊深入了解分析和大資料。]

圍繞資料和分析的許多任務作都是在從中獲得價值。這包括儀錶盤，報告以及決策中使用的其他資料視覺化；資料科學家建立的用於**結果的模型；或包含資料，分析和模型的應用程式。

有時被低估的是所有潛在的資料操作工作或資料操作，在資料準備好供人們分析並格式化為應用程式以呈現給終端使用者之前需要花費這些工作。

dataops包括所有工作，以獲取，處理，清理，儲存和管理資料。我們使用了複雜的術語來表示不同的功能，例如資料整合，資料整理，etl（提取，轉換和載入），資料準備，資料質量，主資料管理，資料遮蔽和測試資料管理。

但是汽車不僅僅是零件的總和。

dataops是乙個相對較新的統稱，用於收集資料管理實踐，其目的是使資料使用者（包括高管，資料科學家以及應用程式）成功地從資料中傳遞業務價值。

dataops共享敏捷方**的各個方面，因為它推動了資料處理指標和質量的迭代改進。它還共享一些開發方面的內容，尤其是在自動化資料流方面，可以更頻繁地更改資料處理功能，並減少響應資料操作事件時的恢復時間。

甚至還有已發布的dataops宣言，其中包含20條原則，涉及文化（不斷滿足您的客戶），團隊動態（自組織，每天互動），技術實踐（建立可使用的環境）和質量（顯示器質量和效能）。

您可能想知道為什麼需要或有用的術語。答案是，它簡化了對話並定義了此關鍵業務功能的角色。它有助於推動投資，調整團隊並確定圍繞業務成果的優先順序。

更好地理解新術語的一種方法是圍繞人員，過程，技術和文化進行定義。

dataops具有許多流程和紀律，但是組織投資和成熟的內容很大程度上取決於業務需求的性質，資料型別，資料複雜性，服務水平要求和合規性因素。

資料操作的一方面表示從源到傳遞的資料流。這是通過資料操作開發和操作過程管理的製造過程。可以在不同的資料整合技術，資料清理技術和資料管理平台上開發資料流或資料管道。這些過程不僅引入資料，還為資料管理者提供工具，以管理資料質量和主資料規則的異常，啟用資料沿襲和其他元資料功能以及執行資料歸檔和刪除過程。

資料操作的第二個方面是開發過程，通過該過程可以維護和增強資料流的各個方面。這篇文章很好地描述了這一過程：「 dataops不只是資料的開發者。」開發過程包括幾個階段：沙箱管理，開發，編排，測試，部署和監視。編排，測試和部署階段類似於devops ci / cd管道。

資料操作流程的最後方面涉及運營和管理基礎架構。像devop一樣，其中一些工作與管理生產資料流並確保其可靠性，安全性和效能有關。由於資料科學工作流（尤其是圍繞機器學習的工作流）變化很大，因此開發可伸縮，高效能，拆解開發和資料科學環境以支援各種工作負載也承擔著更具挑戰性的責任。

由於dataops涵蓋了大量的資料編排，處理和管理功能，因此許多技術都適用於此術語。此外，由於許多企業正在投資於大資料，資料科學和機器學習功能，因此在這一領域競爭的**商數量很多。

這是乙個簡短的起點：

dataops帶來了另乙個小組。資料科學家，儀表板開發人員，資料工程師，資料庫開發人員和其他工程師致力於資料流和資料質量。除了管理發布速度以及基礎架構的效能，可靠性和安全性之外，dataops團隊還推動了資料，分析，機器學習模型和其他資料可交付成果的競爭價值。

競爭價值由可交付的整體分析驅動，也由資料運營團隊如何處理複雜的資料來驅動。資料流過資料流的速度有多快？支援什麼資料量和什麼質量水平？團隊能夠以多快的速度整合新的資料來源？資料庫平台可滿足各種日益增長的資料建模需求的通用性如何？

這些只是dataops團隊必須檢查的問題和績效指標。隨著越來越多的組織從資料和分析投資中獲得業務價值，期望圍繞資料操作實踐和文化提出相應的需求。

from: