airflow platform是用於描述，執行和監控工作流的工具。
在airflow中，dag（或定向非迴圈圖）是您要執行的所有任務的集合，以反映其關係和依賴關係的方式進行組織。
例如，乙個簡單的dag可以包含三個任務：a，b和c.可以說a必須在b可以執行之前成功執行，但c可以隨時執行。 它可以說任務a在5分鐘後超時，並且b可以重新啟動最多5次以防它失敗。 它也可能會說工作流程將在每天晚上10點執行，但不應該在某個特定日期之前開始。
通過這種方式，dag描述_了_您希望如何執行工作流程; 但請注意，我們還沒有說過我們真正想做的事情！ a，b和c可以是任何東西。 當c傳送電子郵件時，也許a準備b進行分析的資料。 或者也許a監控你的位置，這樣b可以開啟你的車庫門，而c開啟你的房子燈。 重要的是，發展議程集團並不關心其組成任務的作用; 它的工作是確保無論他們做什麼在正確的時間，或正確的順序，或正確處理任何意外的問題。
dag在標準python檔案中定義，這些檔案放在airflow的dag_folder。 airflow將執行每個檔案中的**以動態構建dag物件。 您可以擁有任意數量的dag，每個dag都描述任意數量的任務。 通常，每個應該對應於單個邏輯工作流。
注意搜尋dag時，airflow將僅考慮字串「airflow」和「dag」都出現在.py檔案內容中的檔案。
範圍airflow將載入它可以從dag匯入的任何dag物件。 重要的是，這意味著dag必須出現在globals()。 考慮以下兩個dag。 只會載入dag_1; 另乙個只出現在本地範圍內。
閱讀全文／改進本文
Airflow 中文文件 安裝
安裝最新穩定版airflow的最簡單方法是使用pip pip install apache airflow您還可以安裝airflow，支援s3或postgres等額外功能 pip install apache airflow postgres,s3 注意 gpl依賴 預設情況下，apache air...
Airflow 中文文件 安全
預設情況下，所有門都開啟。限制對web應用程式的訪問的一種簡單方法是在網路級別或使用ssh隧道執行此操作。但是，可以通過使用其中乙個提供的後端或建立自己的後端來開啟身份驗證。請務必檢視experimental rest api以保護api。最簡單的身份驗證機制之一是要求使用者在登入前指定密碼。密碼身...
Airflow 中文文件 Lineage
注意 lineage 支援是非常實驗性的，可能會發生變化。airflow可以幫助跟蹤資料的 發生的事情以及資料隨時間的變化。這有助於實現審計跟蹤和資料治理，還可以除錯資料流。氣流通過任務的入口和出口跟蹤資料。讓我們從乙個例子開始，看看它是如何工作的。from airflow.operators.ba...