dag runs
operators
tasks
task instances
dag是乙個由n(n⩾1
n\geqslant1
n⩾1)個task構成的有向無環圖。它記錄了任務之間的邏輯關係,排程時間,任務狀態等等。
以字典的形式將引數傳入dag中。官方文件1
中將引數統一放置於default_args中,其適用於任意例項化運算子。
它是dag的例項化,是具有特性執行時間(execution_date)的任務例項,通過airflow scheduler來建立。
execution_date是dag執行及其任務例項執行的邏輯時間。該時間可以是過去也可以是將來的某乙個時間。
operators決定了每個任務的完成情況,它定義了每乙個task執行的具體內容。
常見的operators有如下:
bashoperator: 執行bash命令
pythonoperator: 執行python指令碼
emailoperator: 傳送電子郵件
******httpoperator: 傳送簡單的http請求
sqliteoperator: sqlite資料庫操作
tasks作為dags中的乙個節點,它是operators中的乙個例項。可以執行某段pyhon**,也可以執行某個bash命令。每個任務之間都有相應的依賴關係。例如:
t1 >> [t2, t3]
# 等同於
t2.set_upstream(t1)
t3.set_upstream(t1)
or
t1.set_downstream(t2)
t1.set_downstream(t3)
上述示例中表明,任務2依賴於任務1;任務3依賴於任務1。
它是tasks的例項。每個例項都有指示性狀態,有 「執行」, 「成功」, 「失敗」, 「跳過」, 「等待重試」等。
airflow官方文件↩︎
HTTP協議學習 一 概念篇
1 不同版本概述 http 協議始於三十年前蒂姆 伯納斯 李的一篇 http 0.9 是個簡單的文字協議,只能獲取文字資源 http 1.0 確立了大部分現在使用的技術,但它不是正式標準 http 1.1 是目前網際網路上使用最廣泛的協議,功能也非常完善 文字傳輸,即使檔案等 上傳本身是二進位制,但...
C 學習之路 運算子過載(一)概念 方法及規則
先來說下什麼是過載吧!所謂過載,就是賦予新的含義。過載包括函式過載和運算子過載。函式過載就是對乙個已有的函式賦予新的含義,使之實現新的功能,因此,同乙個函式名就可以用來代表不同功能的函式,也就是一名多用。函式過載在以後的部落格中會陸續介紹,這個系列先只介紹運算子過載。運算子也可以過載,實際上,我們已...
面試總結一(概念)
1.定義和宣告的區別 宣告是告訴編譯器這個函式或者變數可以在 找到,它的模樣是什麼。而定義是告訴編譯器 在這裡建立函式或變數,並為他們分配記憶體空間。變數的宣告 extern int a 變數的定義 int a 如果在此之前沒有對變數的宣告,則這裡既是宣告也是定義。編譯器會為其分配對應的記憶體。2....