Airflow 中文文件 API 參考

2021-09-02 05:14:02 字數 1241 閱讀 7957

運算子允許生成某些型別的任務,這些任務在例項化時成為dag中的節點。 所有運算子都派生自baseoperator,並以這種方式繼承許多屬性和方法。 有關更多詳細資訊,請參閱baseoperator文件。

有三種主要型別的運營商:

所有運算子都派生自baseoperator並通過繼承獲得許多功能。 由於這是引擎的核心,因此值得花時間了解baseoperator的引數,以了解可在dag中使用的原始功能。

class airflow.models.baseoperator(task_id, owner='airflow', email=none, email_on_retry=true, email_on_failure=true, retries=0, retry_delay=datetime.timedelta(0, 300), retry_exponential_backoff=false, max_retry_delay=none, start_date=none, end_date=none, schedule_interval=none, depends_on_past=false, wait_for_downstream=false, dag=none, params=none, default_args=none, adhoc=false, priority_weight=1, weight_rule=u'downstream', queue='default', pool=none, sla=none, execution_timeout=none, on_failure_callback=none, on_success_callback=none, on_retry_callback=none, trigger_rule=u'all_success', resources=none, run_as_user=none, task_concurrency=none, executor_config=none, inlets=none, outlets=none, *args, **kwargs)
基礎:airflow.utils.log.logging_mixin.loggingmixin

所有運營商的抽象基類。 由於運算子建立的物件成為dag中的節點,因此baseoperator包含許多用於dag爬行行為的遞迴方法。 要派生此類,您需要覆蓋建構函式以及「execute」方法。

閱讀全文/改進本文

Airflow 中文文件 安裝

安裝最新穩定版airflow的最簡單方法是使用pip pip install apache airflow您還可以安裝airflow,支援s3或postgres等額外功能 pip install apache airflow postgres,s3 注意 gpl依賴 預設情況下,apache air...

Airflow 中文文件 概念

airflow platform是用於描述,執行和監控工作流的工具。在airflow中,dag 或定向非迴圈圖 是您要執行的所有任務的集合,以反映其關係和依賴關係的方式進行組織。例如,乙個簡單的dag可以包含三個任務 a,b和c.可以說a必須在b可以執行之前成功執行,但c可以隨時執行。它可以說任務a...

Airflow 中文文件 安全

預設情況下,所有門都開啟。限制對web應用程式的訪問的一種簡單方法是在網路級別或使用ssh隧道執行此操作。但是,可以通過使用其中乙個提供的後端或建立自己的後端來開啟身份驗證。請務必檢視experimental rest api以保護api。最簡單的身份驗證機制之一是要求使用者在登入前指定密碼。密碼身...