azkaban 的基本使用見:
問題描述
執行df -h
命令看到系統磁碟使用率已達到92%,然後用命令du -sh
排查那些目錄占用的空間比較多時,並沒有發現。
執行lsof | grep deleted
命令後如圖:
將 temp 目錄改到 資料磁碟目錄下
修改 executor 結點的配置,重啟
project.temp.dir=/data9/var/log/azkaban/temp
重啟azkaban後,後台刪除檔案的程序已經釋放,執行新的任務後台依然有刪除檔案的程序如:
該問題目前並沒有解決
azkaban學習筆記總結
現成的開源排程系統,比如ooize azkaban。azkaban是由linkedin開源的乙個批量工作流任務排程器。用於在乙個工作流內以乙個特定的順序執行一組工作和流程。azkaban定義了一種kv檔案格式來建立任務之間的依賴關係,並提供乙個易於使用的web使用者介面維護和跟蹤你的工作流。它有如下...
azkaban簡單學習
mysql 建立資料庫 ankaban編譯並拷貝出tar.gz solo server配置使用 編譯 gradlew build x test 拷貝出編譯後的 tar.gz 官網配置安裝描述 使用上述 編譯後的azkaban solo server 3.82.0 6 g1ecc79e1.tar.gz...
Azkaban的架構(三)
azkaban的功能特點 二 不多說,直接上乾貨!azkaban的架構 azkaban是一種類似於oozie的工作流控制引擎,可以用來解決多個hadoop 或spark等 離線計算任務之間的依賴關係問題。也可以用其代替crontab來對週期性任務進行排程,並且更為直觀,可靠,同時提供了美觀的視覺化管...