安裝最新穩定版airflow的最簡單方法是使用pip
:
pip install apache-airflow
您還可以安裝airflow,支援s3
或postgres
等額外功能:
pip install apache-airflow [ postgres,s3 ]
注意
gpl依賴
預設情況下,apache airflow的乙個依賴項是拉入gpl庫(『unidecode』)。 如果這是乙個問題,您可以通過發出export slugify_uses_text_unidecode=yes
強制非gpl庫,然後繼續正常安裝。 請注意,每次公升級都需要指定。 另請注意,如果系統中已存在unidecode,則仍將使用依賴關係。
閱讀全文/改進本文
Airflow 中文文件 概念
airflow platform是用於描述,執行和監控工作流的工具。在airflow中,dag 或定向非迴圈圖 是您要執行的所有任務的集合,以反映其關係和依賴關係的方式進行組織。例如,乙個簡單的dag可以包含三個任務 a,b和c.可以說a必須在b可以執行之前成功執行,但c可以隨時執行。它可以說任務a...
Airflow 中文文件 安全
預設情況下,所有門都開啟。限制對web應用程式的訪問的一種簡單方法是在網路級別或使用ssh隧道執行此操作。但是,可以通過使用其中乙個提供的後端或建立自己的後端來開啟身份驗證。請務必檢視experimental rest api以保護api。最簡單的身份驗證機制之一是要求使用者在登入前指定密碼。密碼身...
Airflow 中文文件 Lineage
注意 lineage 支援是非常實驗性的,可能會發生變化。airflow可以幫助跟蹤資料的 發生的事情以及資料隨時間的變化。這有助於實現審計跟蹤和資料治理,還可以除錯資料流。氣流通過任務的入口和出口跟蹤資料。讓我們從乙個例子開始,看看它是如何工作的。from airflow.operators.ba...