Azkaban 問題總結

2021-10-06 04:41:24 字數 553 閱讀 6984

azkaban 的基本使用見:

問題描述

執行df -h命令看到系統磁碟使用率已達到92%,然後用命令du -sh排查那些目錄占用的空間比較多時,並沒有發現。

執行lsof | grep deleted命令後如圖:

將 temp 目錄改到 資料磁碟目錄下

修改 executor 結點的配置,重啟

project.temp.dir=/data9/var/log/azkaban/temp

重啟azkaban後,後台刪除檔案的程序已經釋放,執行新的任務後台依然有刪除檔案的程序如:

該問題目前並沒有解決

azkaban學習筆記總結

現成的開源排程系統,比如ooize azkaban。azkaban是由linkedin開源的乙個批量工作流任務排程器。用於在乙個工作流內以乙個特定的順序執行一組工作和流程。azkaban定義了一種kv檔案格式來建立任務之間的依賴關係,並提供乙個易於使用的web使用者介面維護和跟蹤你的工作流。它有如下...

azkaban簡單學習

mysql 建立資料庫 ankaban編譯並拷貝出tar.gz solo server配置使用 編譯 gradlew build x test 拷貝出編譯後的 tar.gz 官網配置安裝描述 使用上述 編譯後的azkaban solo server 3.82.0 6 g1ecc79e1.tar.gz...

Azkaban的架構(三)

azkaban的功能特點 二 不多說,直接上乾貨!azkaban的架構 azkaban是一種類似於oozie的工作流控制引擎,可以用來解決多個hadoop 或spark等 離線計算任務之間的依賴關係問題。也可以用其代替crontab來對週期性任務進行排程,並且更為直觀,可靠,同時提供了美觀的視覺化管...