Airflow分布式部署

airflow分布式部署所依賴的元件有mysql，redis，web-server，scheduler，worker等，可以將這些元件部署在不同的機器上，來減低單台機器的壓力

單機安裝請參考：ubuntu16.04安裝apache-airflow

然後在不同的機器上啟動不同的元件

airflow webserver -d

airflow scheduler -d
airflow worker -d

安裝airflow其他支援元件，比如airflow-kerberos，參考

airflow啟用kerberos，參考

airflow分布式部署（二）mysql安裝

airflow生產環境一般以mysql作為元資料庫，所以需要安裝mysql 通過rpm安裝 rpm ivh mysql community release el7 5 noarch.rpm 安裝mysql yuminstall mysql server 授權chown r mysql mysql v...

分布式部署

一 分布式架構和部署 1 如何進行分布式部署 2 系統拆分後，模組之間如何相互呼叫 3 如何進行統一的會話 session 管理 4 如何實現單點登入 5 如何保證一致性更新 6 如何規劃和處理分布式事務 7 如何對重要服務實現ha 二 高併發和web層的效能優化 1 高併發的處理 2 nginx的...

solr分布式部署

solr 分布式部署 solr複製模式，是一種在分布式環境下用於同步主從伺服器的一種實現方式，因之前提到的基於rsync的solr不同方式部署成本過高，被solr1.4版本所替換，取而代之的就是基於http協議的索引檔案傳輸機制，該方式部署簡單，只需配置乙個檔案即可。以下講解具體操作步驟 步驟分主伺...