一. 資料的同步方式主要分為兩種方式
全量同步
對源資料進行全部抽取到目的源上，相當於將檔案完全複製乙份到目的地，該方式可以完全保證資料的一致性問題。
增量同步
對源資料上次增量增量操作後的新增的資料進行同步的過程，比如，同步昨天的增量的資料，那麼就
只需將源資料中的昨天產生或變化的資料同步即可。由於需要將新增的資料同步到目的端，中間需要一些策略判斷，多次同步後就難以保證源資料和目的資料的一致性。
二. 兩種同步方式的使用場景
全量同步主要是對資料量少的表，比喻電商專案中的商品表、使用者表、商戶表、地區表、訂單狀態等實體和維度表，這類資料量少，可以使用全量同步。
增量同步主要是針對資料量龐大的大的場景，比喻訂單表，每天產生的訂單表資料量龐大，如果使用全量同步，資料占用磁碟的將會非常恐怖，所以一般會採用增量同步的方式。
MySQL資料以全量和增量方式，同步到ES搜尋引擎
知識的廣度來自知識的深度，學習如果不成體系那是多可怕的一件事兒，希望我們在未來的學習道路上堅守初心，不要給自己留下遺憾，以自己喜歡的方式生活，做自己喜歡做的事，寵愛自己，做乙個獨一無二的自己！有任何想要討論和學習的問題可聯絡我 cittaksana qq.com 二 es客戶端工具 場景描述 mys...
Sqoop的全量匯入和增量匯入
增量匯入 2.lastmodify方式 基於時間列 sqoop import connect jdbc mysql username scfl password scfl123 query select from test table where conditions target dir user...
專案過程中的角色和職能
專案管理的角色 1。專案經理 2。業務專家 3。系統設計師 4。程式工人 5。程式研發員 6。標準化監控人員 7。產品質量管理員 8。專案資源管理員 1。專案經理 專案的主管人員，也是專案的決策者。1。負責把握專案範圍，與客戶談判 處理商務事情。2。要負責專案開發的進度，調配專案資源。3。掌握專案變...