1.安裝gcc
yum install gcc -y
後續安裝airflow如果不成功，可以再次執行，它會更新包
2.安裝setuptools4.環境配置
安裝依賴的環境
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel
進行airflow安裝
5.airflow配置
airflow db init
grant all privileges on airflow.* to 『airflow』@』%』 identified by 『airflow』 with grant option;
設定airflow執行模式
set @@global.explicit_defaults_for_timestamp=on;
vim airflow/airflow.cfg
executor = localexecutor
sql_alchemy_conn = mysql+pymysql://airflow:airflow@localhost:3306/airflow
排程工具Airflow
目錄學長之前談過這個排程工具，沒想到還沒過1周，我就被迫使用了。聽同事講了以下，感覺還是不錯的。airflow顧名思義就是工作流的意思 airflow 通過 dag 也即是有向非迴圈圖來定義整個工作流，因而具有非常強大的表達能力。乙個工作流可以用乙個 dag 來表示，在 dag 中將完整得記錄整個工...
airflow排程問題排查
現在公司使用的airflow排程器很慢，每次clear乙個task之後，這個task要過一段時間才會被排程器排程到，這個時間大約需要15 30s。使用的airflow版本較老 v1.7.1.3 上面這些引數在jobs.py這個檔案裡面都可以看到相關的使用，其中最後乙個refresh dags eve...
Airflow安裝部署
新聞資訊是通過爬蟲獲取，使用scrapy框架進行爬蟲任務 使用airflow工作流監控平台對爬蟲任務進行管理 監控 可使用celeryexecutor分布式，也可使用localexecutor多程序進行資料採集 以下主要是對airflow的安裝和配置。目前使用的系統環境為centos linux r...