Airflow學習之路一 概念

2021-10-20 17:51:04 字數 1031 閱讀 7161

dag runs

operators

tasks

task instances

dag是乙個由n(n⩾1

n\geqslant1

n⩾1)個task構成的有向無環圖。它記錄了任務之間的邏輯關係,排程時間,任務狀態等等。

以字典的形式將引數傳入dag中。官方文件1

中將引數統一放置於default_args中,其適用於任意例項化運算子。

它是dag的例項化,是具有特性執行時間(execution_date)的任務例項,通過airflow scheduler來建立。

execution_date是dag執行及其任務例項執行的邏輯時間。該時間可以是過去也可以是將來的某乙個時間。

operators決定了每個任務的完成情況,它定義了每乙個task執行的具體內容。

常見的operators有如下:

bashoperator: 執行bash命令

pythonoperator: 執行python指令碼

emailoperator: 傳送電子郵件

******httpoperator: 傳送簡單的http請求

sqliteoperator: sqlite資料庫操作

tasks作為dags中的乙個節點,它是operators中的乙個例項。可以執行某段pyhon**,也可以執行某個bash命令。每個任務之間都有相應的依賴關係。例如:

t1 >> [t2, t3]

# 等同於

t2.set_upstream(t1)

t3.set_upstream(t1)

or

t1.set_downstream(t2)

t1.set_downstream(t3)

上述示例中表明,任務2依賴於任務1;任務3依賴於任務1。

它是tasks的例項。每個例項都有指示性狀態,有 「執行」, 「成功」, 「失敗」, 「跳過」, 「等待重試」等。

airflow官方文件↩︎

HTTP協議學習 一 概念篇

1 不同版本概述 http 協議始於三十年前蒂姆 伯納斯 李的一篇 http 0.9 是個簡單的文字協議,只能獲取文字資源 http 1.0 確立了大部分現在使用的技術,但它不是正式標準 http 1.1 是目前網際網路上使用最廣泛的協議,功能也非常完善 文字傳輸,即使檔案等 上傳本身是二進位制,但...

C 學習之路 運算子過載(一)概念 方法及規則

先來說下什麼是過載吧!所謂過載,就是賦予新的含義。過載包括函式過載和運算子過載。函式過載就是對乙個已有的函式賦予新的含義,使之實現新的功能,因此,同乙個函式名就可以用來代表不同功能的函式,也就是一名多用。函式過載在以後的部落格中會陸續介紹,這個系列先只介紹運算子過載。運算子也可以過載,實際上,我們已...

面試總結一(概念)

1.定義和宣告的區別 宣告是告訴編譯器這個函式或者變數可以在 找到,它的模樣是什麼。而定義是告訴編譯器 在這裡建立函式或變數,並為他們分配記憶體空間。變數的宣告 extern int a 變數的定義 int a 如果在此之前沒有對變數的宣告,則這裡既是宣告也是定義。編譯器會為其分配對應的記憶體。2....