開源分布式計算框架 DC4C

1        概述

1.1        簡介

dc4c是乙個通用的分布式計算框架，研發初衷來自於2023年初我開發網際網路資料探勘平台的任務排程的技術需求。經過2023年4月乙個月的研發，發布 第一版原型，而後不斷優化完善，擴充套件功能，目前最新版本為v1.5.5。只依賴開源庫fasterjson。

dc4c借鑑了hadoop、fourinone等分布式產品的設計，加入自有特色，充分考慮高可靠性、高伸縮性，也是業界首先實現有向無環圖任務排程引擎的分布式計算框架之一，特別適合批量任務流處理的分布式架構。

目前已實施某銀行批量處理平台上線穩定執行半年。

* 所有型別節點可自由部署在任意臺機器內；支援最多8個註冊節點和（理論上）6萬個計算節點。

開源專案首頁

開源分布式計算框架 DC4C

1 概述 1.1 簡介 dc4c是乙個通用的分布式計算框架，研發初衷來自於2015年初我開發網際網路資料探勘平台的任務排程的技術需求。經過2015年4月乙個月的研發，發布 第一版原型，而後不斷優化完善，擴充套件功能，目前最新版本為v1.5.5。只依賴開源庫fasterjson。dc4c借鑑了hado...

Dubbo （開源分布式服務框架）

provider 暴露服務方稱之為 服務提供者 consumer 呼叫遠端服務方稱之為 服務消費者 registry 服務註冊與發現的中心目錄服務稱之為 服務註冊中心 monitor 統計服務的呼叫次數和呼叫時間的日誌服務稱之為 服務監控中心 1 連通性 註冊中心負責服務位址的註冊與查詢，相當於目錄...

分布式計算框架MapReduce

mapreduce思想在生活中處處可見。或多或少都曾接觸過這種思想。mapreduce的思想核心是 分而治之 適用於大量複雜的任務處理場景 大規模資料處理場景 map負責 分 即把複雜的任務分解為若干個 簡單的任務 來並行處理。可以進行拆分的前提是這些小任務可以平行計算，可以提高並行度。彼此間幾乎沒...