目錄學長之前談過這個排程工具，沒想到還沒過1周，我就被迫使用了。聽同事講了以下，感覺還是不錯的。
airflow顧名思義就是工作流的意思
airflow 通過 dag 也即是有向非迴圈圖來定義整個工作流，因而具有非常強大的表達能力。
乙個工作流可以用乙個 dag 來表示，在 dag 中將完整得記錄整個工作流中每個作業之間的依賴關係、條件分支等內容，並可以記錄執行狀態。通過 dag，我們可以精準的得到各個作業之間的依賴關係。
可以理解為有先後任務的執行乙個工作
airflow排程安裝
1.安裝gcc yum install gcc y 後續安裝airflow如果不成功，可以再次執行，它會更新包 2.安裝setuptools4.環境配置 安裝依賴的環境 yum y install zlib devel bzip2 devel openssl devel ncurses devel ...
airflow排程問題排查
現在公司使用的airflow排程器很慢，每次clear乙個task之後，這個task要過一段時間才會被排程器排程到，這個時間大約需要15 30s。使用的airflow版本較老 v1.7.1.3 上面這些引數在jobs.py這個檔案裡面都可以看到相關的使用，其中最後乙個refresh dags eve...
排程系統Airflow的第乙個DAG
考慮了很久,要不要記錄airflow相關的東西,應該怎麼記錄.官方文件已經有比較詳細的介紹了,還有各種部落格,我需要有乙份自己的筆記嗎?答案就從本文開始了.本文將從乙個陌生視角開始認知airflow,順帶勾勒出應該如何一步步搭建我們的資料排程系統.現在是9102年9月上旬,airflow最近的乙個版...