演算法落地會涉及到原始資料加工、原始資料採集、工作流排程和快取等，以下是今年工程化涉及到的一些開源產品、
資料同步：
datax：離線資料同步工具/平台，基於xxl-job
canal：實現解析binlog然後同步到其他地方
otter： 基於資料庫增量日誌解析，準實時同步到本機房或異地機房的mysql/oracle資料庫.
canalx：基於 `canal` 的資料感知服務框架. 可用於圍繞資料庫`mysql`進行資料相關的各式業務開發, 並建立各式各樣的服務平台。最基礎的是更新到redis，和相關的業務進行松耦合
大資料相關：
clickhouse：新崛起的olap分析工具
kylin：開源的olap分析工具
向量化產品
milvus：海量特徵向量的近似最近鄰搜尋(anns)
faiss：facebook向量化解方案
工作流排程引擎：
oozie: hadoop工作流排程
xxl-job：成熟的排程工具
easy scheduler：去中心化呼叫引擎
快取系統：
pika：360開源相容redis協議的儲存
專案管理涉及到的文件
業務聯絡函 業務需求說明書 立項報告 立項評審報告 專案實施方案 專案組通訊錄 專案計畫與執 況跟蹤 需求規格說明書 系統介面規格說明書 總體設計 系統建設整體解決方案 軟體配置管理計畫 軟體質量保證計畫 編碼規範 源 sit測試報告和測試用例 uat測試報告和測試用例 效能測試方案與報告 上線實施...
簡歷專案涉及到的知識點
今天列舉一下簡歷中專案涉及到的知識點，逐漸補全。一 基於內容的遙感影象檢索系統 1 hadoop框架，mapredce並行運算，hdfs檔案系統分布式儲存。1 如何讓每次map讀取一整幅？1 四叉樹分割 在灰度均勻分布的區域內，灰度的標準方差較小 而在灰度非均勻分布的區域內，灰度的標準方差較大。灰度...
專案週期所涉及到的文件控制說明
專案從需求調研到專案實施，要求有乙個良性的管理過程，其中在專案週期中涉及到的文件如下 1.調研日誌包 主要包括每日調研日誌檔案 接收文件檔案夾 調研過程控制表 2.溝通與會議資料夾 包括了與對應單位的往來會議記錄 通知訊息 專案干係人說明文件 專案情況介紹ppt等內容 3.需求文件 包括了調研報告檔...