OssImport系列之三分布式部署

分布式部署目前只支援linux，windows暫不支援。

ossimport ├── bin │ ├── console.jar # console模組jar包 │ ├── master.jar # master模組jar包 │ ├── tracker.jar # tracker模組jar包 │ └── worker.jar # worker模組jar包 ├── conf │ ├── job.cfg # job配置檔案模板 │ ├── sys.properties # 系統執行引數配置檔案 │ └── workers # worker列表 ├── console.sh # 命令列工具，目前支援只linux ├── logs # 日誌目錄

└── readme.md # 說明文件，使用前請仔細閱讀

注意：

分布式部署有三個個配置檔案conf/sys.properties、conf/local_job.cfg、conf/workers，配置項的含義請看介紹章節。

注意：

分布式部署時，執行任務的一般步驟是修改任務配置檔案、部署服務、清除同名任務、提交任務、啟動遷移服務、檢視任務狀態、重試失敗子任務、停止遷移任務。詳細說明如下：

提示：

任務提交後，master分解成task，有worker執行task，tracker收集task狀態。任務執行完成後workdir目錄內容如下:

workdir ├── bin │ ├── console.jar # console模組jar包 │ ├── master.jar # master模組jar包 │ ├── tracker.jar # tracker模組jar包 │ └── worker.jar # worker模組jar包 ├── conf │ ├── job.cfg # job配置檔案模板 │ ├── sys.properties # 系統執行引數配置檔案 │ └── workers # worker列表 ├── logs │ ├── import.log # 歸檔日誌 │ ├── master.log # master日誌 │ ├── tracker.log # tracker日誌 │ └── worker.log # worker日誌 ├── master │ ├── jobqueue # 存放尚未分解完成的任務 │ └── jobs # 存放任務執行狀態 │ └── xxtooss # 任務名稱 │ ├── checkpoints # master分解job到task的checkpoint點記錄 │ │ └── 0 │ │ └── ed09636a6ea24a292460866afdd7a89a.cpt │ ├── dispatched # 已經分配給worker尚未執行完成的task │ │ └── 192.168.1.6 │ ├── failed_tasks # 執行失敗的task │ │ └── [email protected] │ │ ├── audit.log # task執行日誌，通過該日誌可以檢視錯誤原因 │ │ ├── done # task執行成功標誌，失敗為空 │ │ ├── error.list # task錯誤列表，可以檢視錯誤檔案列表 │ │ ├── status # 任務狀態標誌檔案，內容為failed或completed，表示子任務失敗或成功 │ │ └── task # task描述資訊 │ ├── pending_tasks # 尚未分配的task │ └── succeed_tasks # 成功執行的task │ └── [email protected] │ ├── audit.log # task執行日誌，通過該日誌可以檢視錯誤原因 │ ├── done # task執行成功標誌 │ ├── error.list # task錯誤列表，成功為空 │ ├── status # 任務狀態標誌檔案，內容為failed或completed，表示子任務失敗或成功 │ └── task # task描述資訊 └── worker # worker正在執行的task狀態，執行完成後由master管理 └── jobs ├── local_test2 │ └── tasks └── local_test_4

└── tasks

提示：

請參看常見錯誤及排除。

OssImport系列之三分布式部署

Redis之（三）分布式鎖

分布式計算（三）分布式的昨天

分布式學習筆記（三）分布式選舉

OssImport系列之三 分布式部署

Redis之（三） 分布式鎖

分布式計算（三）分布式的昨天

分布式學習筆記（三） 分布式選舉

相關推薦

OssImport系列之三分布式部署

Redis之（三）分布式鎖

分布式學習筆記（三）分布式選舉